★上海宝信软件股份有限公司程玉宝

1　背景

当前，互联网数据中心IDC与新型智算中心AIDC集约建设的规模越来越大，地方政府出台的建设导则要求新建大型数据中心单项目规模不低于3000个标准机架，平均单机架IT功率不低于6kW，单个数据中心的IT总功率达到18000kW（即18MW），互联网客户的大型应用集群对数据中心IT容量定制化建设需求一般也在单模块10MW左右，从建筑、电气、制冷、消防、安防等机电基础设施模块化配套建设投资角度考虑，这也是一个比较经济的建设规模。

10MW IT设备自身满载每年运行中就要消耗8760万度电能，绝大部分会转换成热能，如果不能及时把设备的发热量转移出建筑体量约15000平方米的数据中心，热量累积将会使得数据中心室内环境温度不断升高，以致超出IT设备正常运行允许的温度范围。因此数据中心采用风-风换热、风-水-风换热、风-液间接换热乃至将IT设备浸没在绝缘导热液中直接换热手段，通过应用这些传统或新颖的空调冷却技术，将机房内设备散发的热量转移出机房，再由设置在机房外的冷却塔或干冷器放散到大气环境中，也可用水盘管形式放散到天然水体中。

尽管液冷技术的应用在迅速发展中，大型数据中心机房采用冷冻水型的精密空调风冷仍然是主流的冷却方式。末端精密空调送风机通过送风道为IT设备输送冷风，与IT设备换热升温后的热风经机房内的回风道循环吸入精密空调回风口，与空调冷冻水盘管翅片换热后降温后的冷风再次被空调风机送至IT设备。空调盘管中的低温冷冻水与机房热风交换升温后，被冷冻水泵吸入转移到数据中心冷源冷却后，再返送回机房精密空调，周而复始，一旦投用，将一直运行至合约项目的终止日，因此要求末端精密空调与冷源系统均具有高可用性与高可靠性，还要为低概率的设备故障维修场景配置适量的冗余设备。

冷源系统担负的任务就是为数据中心内的末端精密空调连续不断提供低温循环冷冻水，民用建筑供水温度7℃，回水温度12℃，节能型数据中心供水温度提升至12℃，回水温度18℃，甚至更高，因为每提升1度水温约可减少3%的制冷能耗。

根据经验数据测算，一座10MW级的数据中心模块峰值时段机房与电气室内精密空调总热负荷约13500kW，需要3台4500kW（约1300冷吨）的冷水机持续运行产出循环冷冻水。考虑冗余备用，一般每个10MW数据中心模块需配置4台（3+1冗余）1300RT（冷吨）的变频离心冷水机组，配套4台变频冷冻水循环水泵、4台变频冷却水循环水泵、4组变频风机蒸发式冷却塔、4台免费制冷用板式换热器（以下简称板换）、大量的手动隔离蝶阀、用于自动控制的电动开关蝶阀与流量调节的电动调节阀，若干流量、水温、压力、压差、空气湿球温度传感器测点，还需要在专业的冷源BA自动控制系统协调控制下，才能在长达八至十年的合约服务期内安全平稳运转。

2　项目实施

数据中心行业内冷源BA自动控制系统大多采用DDC或PLC技术构架，在本案例实施前未见有采用DCS技术构架的报道，综合技术可靠性、成熟度、设备采购交付期、建设成本以及我们已实施过的PLC与DDC控制系统项目经验教训等多方面考量，宝信自动控制技术人员选择采用DCS技术构架建设一个高可用、节能型的冷源BA控制系统，图1是数据中心冷源DCS控制系统网络结构图。

图1 数据中心冷源DCS控制系统网络结构图

冷水机组在部分负荷下运行效率远高于满载下的运行效率，如图2所示，某型1200RT冷水机满负荷下的COP能效比为6.956，而在30%-70%部分负荷下COP均高于12，采用全变频设备，可灵活适应不同上架率下数据中心的实际负荷，通过启用冗余设备，平分所有负荷，冷源BA控制系统将每一台运行的冷水机设备均控制运转在其安全且高效率负荷区段、水泵与风机设备运行在高效率曲线段，不但可降低数据中心制冷总电耗，变频低转速下设备的磨损减少，有利于延长设备机械运转寿命周期。

图2 某型1200冷吨冷水机组满负荷与部分负荷技术参数

水泵、风机类设备的流量与转速的一次方成正比，它们的轴功率与转速的三次方成正比，当降低转速时流量等比例下降，而轴功率却以转速比的三次方比例下降，这是风机与泵采用变频调速节能的主因，大部分数据中心内负荷都不会满载，而且还有冗余备用的设备可以征用共同分担总负荷，为冷机变负荷运行、风机与泵变流量运行节能创造了有利的条件。

除了利用设备变频运行节能外，节能型数据中心配置了与冷水机组既可并联，也可串联运行的板换，通过控制每组冷水机与板换组合连接管路上的八个电动开关蝶阀工作状态，可以选择以下三种运行模式：冷水机组独立运行（夏季电制冷）模式、板换独立运行（冬季免费制冷）模式、冷水机与板换串联组合运行（过渡季板换预冷）模式。

板换独立运行模式启用的条件是冬季室外大气湿球温度低于设定的模式转换温度值，冷却塔循环冷却水的出水温度已持续低于冷水机设计的冷冻水出水温度至少2℃（假定板换的换热温差值为2℃），此时切换电动开关蝶阀，让冷却塔循环冷却水出水直接进入板换一次侧换热，待板换二次侧循环冷冻水出水温度趋近冷水机蒸发器侧出水温度时，可关闭冷水机，冷源系统低电耗运转，俗称冬季冷却塔-板换免费制冷，是降低数据中心PUE值最有效的手段。

过渡季的节能方法是通过板换一次侧与冷水机冷凝器串联，板换二次侧与冷水机蒸发器串联，冷却塔循环冷却水出水先进入板换的一次侧，与二次侧来自机房精密空调的高温冷冻循环水换热，将冷冻循环水温度先降低一部分，再送入冷水机的蒸发器降至设计的出水温度值，而板换一次侧换热后升温的冷却循环水仍能满足冷水机冷凝器循环冷却水进水温度要求。冷水机与板换各自承担的换热比例取决于大气的湿球温度，湿球温度越低，冷却塔循环冷却水出水温度越低，板换承担的换热比例越大，冷水机运行电耗越低，节能越多。

前述三种运行模式在冷源BA控制系统中被互锁，每次只有一种模式能被激活。当模式之间切换时，如果模式切换不成功，将退回至原模式，确保冷源运行安全。

图3是数据中心冷源水系统简化原理框图，四套冷水机与板换组合，可以大致了解冷水机与板换的管路连接方式与电动开关蝶阀设置的位置，便于理解如何在冷源BA控制系统中编写切换控制逻辑。图4是DCS组态控制画面上1号冷水机与板换运行状态画面局部截图。

图3 数据中心冷源水系统简化原理框图

图4 DCS控制画面上1号冷水机与板换运行状态局部截图

系统中可以实现冷水机组与水泵、冷却塔开启与关闭的顺序连锁控制，冷水机只有在循环冷却水与循环冷冻水及冷却塔开启运转后才能启动，关闭时顺序相反，保护冷水机，防止铜管冻裂爆管。

系统可根据数据中心的实际负荷，按预定的规则自动加载或减载冷水机运行台数，使每台承担的负荷百分比落入最优效率负荷段范围内，不会因负荷过小而落入易发生喘振故障的小负荷区内。冷冻水泵变频运行除了要满足冷水机与机房精密空调的水流量要求外，还要保证机房内供回水管路上最不利环路处的供回水压差和温差满足机房设计要求。

大型数据中心均配有全容量应急备用供电的柴油发电机组，但从外市电意外停电时刻起，到备用柴发启动向数据中心供电，是有数十秒到2分钟的市电供电间断，其间冷水机、冷却泵与冷却塔会因供电间断而停止运行，在柴发供电下重新启动冷水机到满载供冷需要几分钟时间延迟，这会导致循环冷冻水升温与机房内升温，因此高可用数据中心均需设置冷冻循环水应急蓄放冷罐，在UPS电源支持下，可实现市电断电后15分钟连续放冷运行，保障数据中心机房供冷连续不中断。在供电恢复正常，冷水机组开启，制冷系统逐步恢复正常供冷后，自动切换应急蓄冷罐为充冷工况，充满后进入小流量保冷工况。图3中示出了应急蓄冷罐蓄冷与放冷切换的管路与电动开关蝶阀与电动调节阀在管路上的设置位置。

此外系统中还设置有设备自动防冻保护功能，在冬季极低气温来临时，自动开启室外补水箱内的电加热带，自动开启减载停运的冷却塔水盘内的防冻电加热器，防止设备冻害事故发生。

3　项目创新性

该项目首次在国内大型数据中心应用DCS集散控制系统实施数据中心冷源BA控制系统，单系统控制的点数接近2500个。

数据中心从建成投运初期低上架率到高上架率接近满载，有一个较长的负荷增长爬坡期，特别是上架率低的投运初期，冷水机低负载易发生喘振现象，不利于设备安全，需要重点解决。应对方法是兼用应急蓄放冷罐的周期充放冷逻辑，将蓄冷罐模拟为冷水机负载或循环冷冻水运行缓冲罐，可解决数据中心投用上架初期低负荷时冷水机安全稳定运行的需求，图5是DCS主控画面蓄冷罐放冷电动阀状态截图。

在工期紧的条件下如何保障冷源系统工程按期完工交付，也是一个重难点问题。应对方法是工程技术人员做好充分准备，理清冷源运行工艺控制要求和全部控制逻辑、各功能应用的进入与退出时机，梳理清全部信号点表，通过设备出厂前检验环节，争取DCS控制设备成套盘箱零缺陷出厂。安装调试中认真仔细打点测试校核，确认来自现场的信号与发往现场执行器的动作命令执行无误后，再进入系统联调，逐个模拟验证每一个功能控制逻辑和运行参数的正确性，投运后还需在相应季节来临后再进行复核、优化。

图5 DCS控制画面应急蓄冷罐放冷运行状态局部截图

4　效益分析

该冷源BA系统投运后，不仅满足高可靠性、高可用性、可维修性、易操作性等多方面需求，而且节能效果显著，实现了冷冻水型精密空调风冷型数据中心年平均电能利用效率PUE在华东地区低于1.26的实绩，每年可为用户节约可观的运行电费。

虽然控制系统的架构与以往不同，但系统监控组态画面与园区内运行的其他数据中心画面风格一致，没有改变数据中心运维操作者的使用习惯，方便老员工向新员工传帮带。

此外，还充分利用DCS冷源控制系统软硬件资源富余的能力，将数据中心楼宇中为暖通与消防设置的空调新风机组、排风机、正压送风机、机械排烟风机、补风机、排烟防火阀、电动风阀等通风设备的状态监视、报警、自动启停控制与远程手动操作等功能全部集成在本系统中，并设置相应的操作、监视与报警画面，降低了数据中心总体建设成本，也为降低投运后的运维人工成本创造了有利条件。

5　项目意义

此项目的成功实施证明可以基于工业级的DCS技术构建大型数据中心冷源BA控制系统，工程师站兼实时数据库运行主备服务器，所有控制逻辑均驻留在DCS控制器模块中，在模块级冗余容错、应对复杂的多设备群控、通信网络安全性等方面优于DDC构架的系统。对于18~24MW或更大体量的数据中心与智算中心，可拆分为两个或多个冷源系统模块进行实施，这也是10MW级冷源系统采用模块化设计、可快速复制的意义所在。

摘自《自动化博览》2024年10月刊