直面国内数据中心机房高热密度问题

直面国内数据中心机房高热密度问题 来源：《机房技术与管理》07月 作者：机房360 更新时间：2010/8/17 16:26:59 摘要：数据显示，近十年来我国服务器功耗增加近15倍，机架供电密度也提高了10倍。过去一个机架的功耗一般为1.5-2kW，现在却出现局部高达20-30kW的情况，IT设备用电量的与日俱增，给基础设施造成了巨大的压力。 第1页:高热密度数据中心运行特点决 高热密度数据中心的形成与现状 随着用户业务的发展，存储量的增加，越来越多的数据中心机房开始承担起更多的业务系统，设备的数量和数据量也呈现出快速增长的态势。统计表明，2000年到2010年，国内用户实际的计算需求增加了六倍，存储方面更是增加了几十倍。同时，随着数据中心普遍进入到一些重要领域的应用，计算需求的增长，数据量的膨胀以及对安全性提出的更加苛刻的要求，使更多机房的空间密度快速增长，那么用户应如何构建高效、智能、绿色的数据中心机房呢？显然不计成本的追求高性能计算的方案已不合时宜，解决复杂问题的高性能系统也同样在考虑降低成本。为避免由于服务器大幅增加而造成机房面积增加过快、过大以及随之剧增的各种运行维护费用，很多用户开始大规模使用刀片服务器及虚拟化技术等，以求大幅压缩设备的占地面积，增加计算密度，达到高密度计算的需求。但数据中心也是一个有机体，像人和动物一样，这一机体的“过热和集中”也会对其各部分的机能造成严重影响，甚至可能会摧毁整个系统。因此，如何有效、合理、安全的“医治”数据中心高热密度问题就成为业内探讨的焦点。 对于计算与存储需求较高的银行、证券、基金等行业，业务发展具有不确定性，因为金融业务很容易受到整个社会经济发展的影响，需要随时进行调整。正因为如此，IT建设更要走在金融业务的前面。以前，很多证券公司对数据中心的建设不太重视，导致业务量在急剧增加时，根本来不及增加服务器或相关应用。 万和证券信息部刘经理向我们介绍说：“尽管受金融危机的影响，目前公司的日资金进出额规模依然达到几十亿甚至上百亿元。在这样的情况下，确保作为数据处理中枢的公司总部数据中心的正常持续运行无疑异常关键。”他认为,证券行业对数据中心的要求比较高，不仅要保证IT系统的高可靠性和高可用性，更要保证高可扩展性，给业务增长一个弹性的可扩展的空间。为了适应业务快速发展的需要，万和证券已经开始对数据中心进行重新升级配置。 确实，还有很多金融用户认为，受IT硬件规模大幅度增长的影响，大多数机房也必然相应发生改变。而导致这种变化的一个最重要的原因，是IT设备以及数据中心密度的增加所引发的诸多问题。嘉实基金信息技术部执行总监向宁宁先生认为，作为金融行业的数据中心，还是要求做到成熟、稳定，甚至可以说是稳定压倒一切。所以嘉实基金在最初设计金地数据中心时就把机房的密度做到相对较低的水平，并且尽量应用一些市场上比较成熟的技术，力争把出现状况的可能性降到最低。同时，也为今后公司业务增长而可能增加数据中心的密度做了充足的储备。

就目前国内数据中心机房的发展状况而言，高功率密度数据中心现在主要指每平米平均功率数大于2.5Kw的数据中心，具体详细划分，如表1所示。

同时，在《中国电信数据中心机房电源、空调环境设计规范》中，根据机房设备和耗电密集度等指标也对机房进行了分类，将机房分为低负荷机房、中负荷机房和高负荷机房三种，也可以作为划分高热密度机房的依据。其单位面积和单机柜耗电指标、单机柜设备配置数量限值如表2所示。

从表2我们可以看出，通信机房将高负荷数据中心机房机架的发热量规定为4kW以下；当单个机柜负荷大于4kW时，如果气流组织不合理就会产生热点；当单机架负荷达到6kW以上，即使气流组织设计适合，机柜局部也会过热，这一类机柜就称为高热密度机柜。高密度数据中心机房等级的区分依据表2中的两个量化指标，即：单位面积平均功率密度和标准单个机柜的最大功率。两个指标中任意一个量化值都是确认机房密度等级的依据。

高热密度数据中心运行特点决定其特殊性

高性能计算需求的增长，使机房建设逐步向着高度集中的方向发展，机房面积逐渐减小,单位面积功耗逐步增加，高密度部署的确缓解了空间上的紧张压力。但换个角度来看，压缩空间所带来的好处没有想象大。高热密度数据中心机房虽然与大多数数据中心一样，致力于提高效率。但是由于其密度的增高，使数据中心机房在供电、散热及承重等方面都对机房基础设施的容量规划和电源及制冷设施建设提出了更高的要求。

IT咨询公司拓源信息的张建中指出：“在高密度机房出现前，机房对几分钟的制冷中断是可以接受的；但在高密度机房出现后，短短30秒可能就造成过热宕机。当高密度应用产生的热空气与机房中冷空气混合后，数据中心内的气流状况将变得无法预测，会出现局部的热点。”另据调查显示，在数据中心中，单纯用在IT设备及服务器、存储上的电力输入只占其中的30%。也就是说，当数据中心消耗100瓦的电能，实际用在IT设备或服务器上的只有30瓦。因此，有专家认为国内50%的数据中心都面临着低效的动力供给和冷却能力达不到高密度设备要求的问题。由于刀片服务器、虚拟化技术等被大规模应用，要实现数据中心的高效、安全与节能，一方面需要合理规划供电和制冷等基础设施，另一方面还要在数据中心进行精确的制冷分配和部署，最后还要对机房里整个变化和容量进行实时的管理和应用，以保证一旦发生变化，数据中心能主动应对。

高热密度机房应考虑多方面的因素，包括：优化机房的布局，明确制冷设备的功率和位置，建立隔离的冷热通道，消除可能造成气流混合的布局；消除影响空气流通的因素，如优化线缆布局、预留足够的通风空间、整理地板下的电缆；提高散热效率，提高送风区静压、设立吊板回风区、建立双送风区、在天花板上安装换热器等。更重要的是，高密度机房内部热源分布和发热都非常集中，过去一个机架功耗为1.5-2kW，现在往往高达20-30kW。早期的机架配电方式已无法满足不断增长的电力需求。因此，必须采用新的机架配电技术来确保高密度机架的持续稳定运行。

机房的散热系统应从集中散热向按需散热模式发展。传统的散热系统设计大多采取集中制冷模式，将机房考虑成一个均匀空间，按当时最大需求量考虑。这种模式散热效率较低、成本较高，造成不少机房过度供电、过度制冷，但仍无法满足高密度计算的需要。动态智能散热方法是通过传感器与管理软件使机房内的计算设备与散热基础设施实现互动，不仅能显著提高机房的散热效率、实现40-50%的节能，而且能及时发现和消除瞬时和局部的热点，确保机房安全运行。

在承重方面，有些设施，特别是原来安装了高架地板的设施，具有地板承载限制。较高功率密度的IT设备通常也会产生较大的机架重量，有时候，这是对高密度部署能力非常实际的限制。所以，应该考虑是否会超出相应的设施地板承载限制，并尽可能使架空地板的承载大于2.5kN/㎡。

直面问题寻求解决之道

数据中心机房热密度的增高，不仅增加管理和维护的难度，同时设备的高负荷运行状态也给数据中心的稳定性带来隐患。面对不容回避的问题，作为行业从业者应该勇于面对，妥善处理，认真解决，把大问题变为小问题，小问题变为没问题。

我们建议用户应从以下三方面去处理数据中心高热密度问题：一、合理配置数据中心里的机架和空调设备，通过定量计算每个机架的功率密度和热负荷，优化服务器设备在机架中的布局以及机房内机架和空调的布局，为高效供电和制冷创造条件；二、优化供电设施，给每个机架供给足够和适度的电力，满足高密度计算的需要；三、优化散热制冷系统，把高密度计算设备在每个机架内部产生的高热量带出机架，避免由于局部热点而影响设备的稳定运行，甚至损毁部件、造成灾难性的后果。

数据中心的配置主要是围绕功耗和热负荷与机房供电和制冷能力来配合。在设计高热密度数据中心时，应根据设备商提供的数据估算每个机架的功率和热负荷，按需配置足够的电源，并留有足够的余量。避免因配置容量不足而影响设备正常运行，又避免余量过大而导致能效降低。配电系统的建设应充分考虑分期建设或后期逐步进行内部处理的特点，在满足目前使用要求的同时充分考虑远期业务发展的扩容需求。

以前，大多数用户首先考虑的是机房整体的制冷，认为机房整体的温度降到符合国标的水平，设备的温度也在安全范围之内，就可以保证设备的安全、稳定运行。但由于机房设备的密度不同，如果盲目给整个机房降温，就会造成过度制冷，增加额外支出。通常我们采用冷热风通道隔离、自下而上送风的方式为机架中的IT设备提供制冷。这种制冷方式，在单个机柜发热量小于5kW时，如果设计合理，能使机房的总体温度得到控制。为了解决高密度机架的制冷问题，还可采用机架制冷方案效果更好，可降低风扇运行功率，防止冷热气混合。具体参看图2。

分散负载也是目前较多采用的高密度解决方法。目的是将负载超过平均值机柜中的服务器分散到多个机柜中,实现整个机房电力和散热平衡。当每个机柜都不超出设计的功率密度时散热性能是可预

测的。当负载可预测时，就可以设定一个专门的高密度区，将高密度机柜限制在这一区域内，用户就可以在这个区域采用专门的高密度技术。划分不同的密度区域有很多好处。例如，刀片服务器和存储器之间有很大的密度差异，将它们分别安置到不同密度区域，虽然总负载没变，但如果服务器和存储器的机架位置是随机的，则在供电和制冷分配时必须确保在任何位置提供最大密度；如果事先确定了低密度区域，那么在该区域就可以降低供电和制冷系统的容量，从而降低投资和运行成本同时提高了用电效率。

总结与展望

通过分析，我们可以看出高热密度数据中心机房的建设与运维正处在快速发展的阶段，但目前还不完善、不系统，仍然有一些技术难点需要解决。同时，目前业内也没有一个统一的指标和标准，能够为设计和配置供电和制冷设备提供明确的指导。针对这些问题，国家主管部门和行业协会组织应适时推出《高密度数据中心机房设计施工规范》，以便为新建、改建和扩建的数据中心机房提供科学的，具有前瞻性理论和技术指标的依据，进而推动我国数据中心机房行业的健康、持续发展。