复旦:用浪潮高性能探索微世界"新来客"

　　　　【IT168 资讯】“一沙一世界”，在量子和分子所在的微观世界里这句话被体现的淋漓尽致，一个细微的沙粒中包含着成千上万肉眼无法看到的分子、原子，他们有着不一样的运动规律，相互作用后又会生长出新的结构。物理和化学就是研究这种微观世界的科学。近期，复旦大学采用了浪潮高性能计算集群，在运算速度、功耗控制、易管理、易维护等方面有效支持了学校在物理和化学方面的科研工作。

　　复旦大学是教育部重点大学，承担着多项国家重点研究项目，在物理、化学等领域具有突出的研究成果，曾多次获得国家自然科学奖、在《科学》等国际著名学术刊物上发表多篇研究成果，深受业内认可。

　　然而，随着物理、化学、环境、气象、环保、生物等学科的高速交叉发展，复旦大学的科学计算工作越来越多，数据量也相应的急速增长，原有的高性能系统常常因巨量访问而超过高峰阈值，存储系统的空间也存在严重不足的情况。在这种情况下，复旦大学计划对原有的高性能计算集群进行扩容，新建的高性能计算集群将主要支持该校在物理和化学领域的应用研究。

　　微世界：大的超出想象

　　在物理和化学学科中，随着理论计算方法的发展和成熟，以及计算机软、硬件技术的不断进步，计算机模拟研究渐趋普及，已成为继实验手段、理论推导之后的第三类重要的科研方法。

　　计算化学和物理主要研究非周期性结构的分子体系和模拟微观物质运动规律，研究对象十分庞大，一般在一万到一百万个原子。同时，这些原子在不同的温度、不同的速度下在不停的运动，这些运动是人类肉眼无法看见的。比如你在一杯静止的水中到入一滴墨水，然后水在墨汁的扩散下逐渐变成了黑色，这是人们看到的样子，但这背后其实是大量肉眼看不见的原子运动的轨迹。这是一个无法想象的“微世界”，说它很小，但其实内涵变化万千，仿佛一个独立存在的“世界”，这个世界居住着跟人类不一样的“生物”。

　　计算化学和物理就是要研究这些原子之间的相互作用、不同的运动轨迹下是否可以产生未知的新型元素，探索“微世界”中的新来客，以便合成新型材料，用于航天、锂电池、发光材料等。

　　高性能计算：侦察“微世界”的显微镜

　　借助现代高性能计算机，研究人员可以从理论层面上对实验观测到的现象进行深入分析，可以开展那些实验上无法或难以进行的研究，也可以通过计算机模拟去取代一些投入高、周期长的实验研究，从而大幅度降低研发投入的人力、物力成本，显着加快研发周期。

　　物理、化学等应用基本都属于计算密集型和访存密集型应用，对处理器的浮点运算能力和内存性能要求很高;大部分主流软件都是基于MPI的并行程序，从并行算法分析，属于通信密集型应用，对计算网络的延迟和带宽性能求较高;部分应用软件运行时会有频繁的I/O操作，对高性能计算集群的共享存储或者计算节点的本地存储的性能要求较高。

　　复旦大学要求在优化和整合现有集群的基础上，增加投入进行系统扩充，建设一个性能强大的、统一的、易管理的高性能计算平台，满足日益增加的教学和科研需求，为各学科的科研任务提供强有力的支撑。

　　浪潮高性能计算：应用导向解决实际问题

　　基于计算物理和计算化学的应用特点，浪潮为复旦大学定制了一套基于英特尔?至强?E5-2600V3系列的高性能天梭TS10000集群系统，采用瘦节点、异构计算节点结合的方式：瘦节点主要用于GAUSSIAN、VASP等适合分布式内存计算应用，而异构计算节点主要用于用户自编软件及可支持GPU的商业计算软件。因此，本系统能更好的满足不同计算任务的需求，充分发挥系统效能，并具备以下特点：

　　高性能、高密度刀片系统：高性能、高密度一直以来就像“鱼与熊掌”一样困扰着每个高性能用户，因为越高的计算性能总会占据更多空间。然而，浪潮为复旦大学设计构建的这套系统在56U的空间内实现了百万亿次的计算性能，使高密度与高性能“共结连理”。

　　高密度计算系统在保证高计算性能的同时最大限度地降低了机柜占用空间，节省机房面积。因此浪潮在构建系统时选取浪潮新一代NX5440M4刀片服务器作为主力计算系统，每刀片节点0.4U，在8U的空间内可扩展20个刀片计算节点，共计40颗CPU，400个计算核心，超高的计算密度为用户后期扩展带来了方便。

　　同时，NX5440刀片服务器被部署在浪潮新一代刀片机箱I8000中，I8000基于模块化设计理念开发，关键部件(刀片、通信模块、电源和管理模块)全部采用冗余和热插拔设计，确保关键业务不会因为单点故障而中断。电源转换效率高达92%，通过国际节能80 plus认证,更加高效节能。此外I8000采用E5-2660V3处理器，单刀箱可达16.64万亿次浮点计算性能，单机柜可达近50万亿次浮点计算性能，从而使高性能与高密度完美融合。

　　异构计算系统也具备高性能、高密度的特点。该集群异构计算系统采用浪潮NF5568M4双路机架服务器，该服务器单机支持4个GPU/MIC卡业内领先，还可实现机架塔式互转，电源转换效率高达94%。

　　低功耗，降低系统运行成本：在满足高密度、高性能的同时，浪潮还将系统功耗尽可能降低。整体主力计算系统全部采用Intel高端企业级SSD硬盘，低容量的基于闪存的固态硬盘在工作状态下能耗和发热量非常低，仅为机械硬盘(SAS/SATA)耗电量的三分之一，节省大量的电能，从而节约费用支持，实现新系统绿色节能要求。整套系统能效比达到每瓦特2120MFlops，在最新的Green500统计中位列前茅。

　　高主频、高计算效率：考虑到计算化学应用软件对处理器主频要求较高，浪潮采用 E5-2660V3处理器 2.6GHz主频迎合了VASP、Gaussian等对CPU主频要求比较高的应用，软件加速比比较明显，推动用户提高计算效率。

　　高带宽存储，支持Hadoop：计算化学Gaussian MP2等应用软件对I/O要求较高，浪潮采用浪潮TStor2000并行存储系统，IEEL文件系统最大可提供2.5TB/s的聚合带宽，本次集群实测聚合I/O带宽3GB/秒，完全满足Gaussian MP2等计算方法较高IO带宽要求;满足集群数以千计的客户端、服务器和存储设备之间实现完全并行的I/O吞吐量;同时元数据和数据存储在不同的服务器，方便对每个系统不同工作负荷的实时优化以及提供小规模文件的高效快速分布式存储;支持用户、组级的配额管理，支持基于空间和文件数的配额管理、在线数据迁移和数据分层存储，Hadoop应用可直接运行在并行文件系统之上，提供管理软件，支持图形化界面显示、图形化安装与部署。采用硬件和软件上冗余化设计，保证系统的稳定运行。

　　低延迟、端到端高效网络：除了高带宽存储外，计算化学应用如VASP等要并行处理原子、分子、团簇、纳米线(或管)、薄膜、晶体、准晶和无定性材料时，需要提供较高的网络性能。因此本次集群采用Intel? True Scale端到端的模块化交换机，在10U空间提供216端口互联所有计算节点、管理节点、登录节点和存储系统，完全的电源、风扇、管理模块的冗余设计;自适应路由支持及MPI接口优化，保障所有计算节点全线速计算，超高的MPI信息传输率及微妙级的点对点延迟，提供更好的应用程序计算性能和更高的可扩展性。

　　智能化操作系统：方便易用的浪潮Cluster Engine云服务平台，让用户管理整套集群系统就像管理一台计算机一样方便，大大简化了机器的管理工作，使科研工作者有更多的时间投入到科学研究中去。

　　Cluster Engine支持图形化界面显示，支持图形化安装与部署，可实现计算资源的量化和用户配额制，对各种计算资源(CPU、GPU、MIC等)及磁盘容量进行有效的统筹、分析和调度，能够按项目(组)和用户进行精确统计并生成统计报表, 提供图形化的作业流机制，对常用应用的算例生成数据处理及计算结果处理，并提供所见即所得的作业模板管理界面。此外，Cluster Engine还考虑了用户作业安全性问题，提供md5加密的方式与用户进行验证，且发送全部采用密文的方式发送，保证网络传输的安全，提供安全证书的方式进行访问ClusterEngine服务平台，多方位的安全体制保证系统可靠运行。

　　最终，复旦大学新集群系统上线后在用户实际作业下满负荷(CPU利用率超过70%)连续运行4周时间，运行期间计算服务器没有1个节点次的单点故障，其它服务器均没有发生软硬件故障。

（编辑：ASP站长网）