|
面向HPC的服务器整机柜液冷解决方案
今天给大家分享一些液冷的知识，和一个面向英特尔高性能计算平台的整机柜液冷解决方案，我们刚刚与合作伙伴完成联合验证测试并整理成交钥匙解决方案，分享有需要液冷整机柜需求的小伙伴。
在数字化创新浪潮下，为了支撑快速发展的计算密集型应用，数据中心基础设施逐渐向大规模、高密度的发展方向发展，冷却成为数据中心不得不重视的问题。在此背景下，液冷技术凭借更高的冷却效率、更低的运行成本、更小的占地面积、更高的可靠性以及更低的噪声，成为重要的发展趋势。
能效指标PUE是什么意思？
PUE = Power Usage Effectiveness，用来评价数据中心能源效率的指标，数据中心总能耗 / IT负载消耗的能源的比值。
PUE = 数据中心总能耗/IT设备能耗，其中数据中心总能耗包括IT设备能耗和制冷、配电等系统的能耗，一般来说值大于1，越接近1表明非IT设备耗能越少，即能效水平越好。
为什么需要液冷？
大数据和云计算的时代，计算密度越来越大，拿数据中心举例，随着算力越来越强，数据中心的能效指标也越来越重要。更高的功率密度，计算密度的提高带来更高的热密度，散热成为计算机发展的瓶颈之一。更节能的冷却技术，计算技术的发展从性能转向了效率，关注与能耗和排放，绿色数据中心成为发展趋势。
液冷的类型：
液冷主要有两种类型，按照冷却液体与设备之间的接触方式来看，一种叫做直接接触型液冷，一种叫做间接接触型液冷。间接接触型液冷的一个典型应用是冷板式液冷。将需要散热的设备固定在一块冷板上，而液体在通过冷板的时候将设备的热量带走，以达到散热的目的。
以DSG的支持液冷的服务器为例，
从上图可以看到，除了传统风冷的风扇散热以外，还添加了冷管。冷管主要为高TDP的CPU散热，机箱内部的硬盘，内存等部件，还是靠机箱中的风扇来散热。
这种液冷方式对用户既有机房或数据中心的改动较小，噪音低，能效高和成本可控。对于那些较高热密度的数据中心散热比较合适。PRC前三的CSP客户，百度，阿里和腾讯，均有冷板式液冷服务器的部署。
进出水管如下图所示：
直接接触型液冷的一个典型应用是浸没式液冷，浸没式液冷通常将服务器等需要散热的IT设备完全浸没在冷却液中。依靠液体的循环流动带走热量。一般来说是将服务器放在特殊设计的容器中。冷却液在将热量带走以后会被气化，再通过其他装置冷却后循环利用。这种方式由于冷却液和设备充分接触，所以散热效率更高，再加上没有风扇，所以比冷板式液冷的噪音更低。
浸没式散热优势明显，能极大提升能源使用效率，较适合新建数据中心。但是也有一些限制，需要搭配能支持浸没式液冷的配件，还有服务器的质保和更换配置等问题。虽然制冷效果较好，但由于需要直接将冷却液和发热器件接触，数据中心设备改造的动作更大，因此浸没式更适合新建数据中心。阿里巴巴已经在其北京冬奥云数据中心进行浸没式液冷的规模化部署。
液冷需要在服务器之外投资散热设备，改建数据中心，早用在一些HPC领域。现在由于更高的散热效率，对建筑物的依赖度更低，以及静音安全的特点，那些对场地，电力要求较高的数据中心也会采用液冷技术。除了传统的大规模数据中心以外，随着边缘计算时代的来临，未来的边缘计算数据中心也会有大概20%采用液冷技术。
液冷的液体到底是什么？
所谓的液冷，并不是指水，一般来说主要是高比热容的液体。
水：成本也低的冷却液。但由于水并非绝缘体，所以只能应用于间接接触型液冷。除此以外，安全防护十分重要，一旦发生泄漏，对服务器等IT设备的损害很大。
矿物油：成本比水高一些，性价比高。单相矿物油无毒无味不易挥发。粘性较高，可能在设备表面形成残留。另外，虽然燃点较高，但是在某些特定条件下有安全隐患。
氟化液：成本高。这种液体大的特点是绝缘，且不燃。在数据中心液冷技术中是安全的一种，也是目前应用广泛的。
近刚刚和合作伙伴CoolTera（一家致力于高性能计算和数据中心的先进冷却系统的技术开发、产品制造和应用服务的合作伙伴）完成了整机柜液冷的联合验证测试，先分享几张图片：
整机柜远景图：
整机柜后视图：
打开机柜的样子，机柜门这么厚是因为里面是散热水管：
一共有三个版本，第一个方案是基于S9200WK 48核心处理器的1536个物理核心的1.4米机柜方案（BGA封装），参考如下：
第二个方案是基于S9200WK 56核心处理器的1792个物理核心的1.4米机柜方案（BGA封装），参考如下：
第三个方案是基于Xeon 处理器的四子星液冷解决方案（LGA封装），参考如下：
控制面板长这个样子：
为了突破传统风冷的限制，液冷技术由于具有更高的效率和更低的能耗，已经用作了众多数据中心的液冷方案。液冷技术可以提供更高的换热效率，冷却液温度的提高，带来机房PUE降低。
|
3180038393
