持续技术创新 
更好的用户体验
热门文章
HP 集群解决方案
来源: | 作者:pmtd78d11 | 发布时间: 2018-04-25 | 64 次浏览 | 分享到:
惠普HPC集群解决方案
HP集群系统简介
1)      惠普与高性能计算
 
惠普高性能集群系统部门,可向用户提供基于惠普集群管理软件(CMU)的 Linux 集群系统解决方案。该系统可由惠普公司集群技术部门进行设计和配置,由惠普专业集群系统工程师进行安装、集成和调试。致力于为用户提供基于相对低成本的 PC Server(刀片服务器)的高性能计算系统,并让用户充分利用 Linux这种开放的平台以及丰富的开源软件,组建起一套成本经济的、性能强大的、标准开放的集群计算系统,提高计算能力,加快问题求解速度,以解决困扰用户的棘手的计算难题。



Linux机群系统也叫做Beowulf Cluster机群系统。惠普公司亚太地区高性能计算机部门,可向用户提供基于惠普机群管理软件(CMU)的Linux机群系统解决方案。该系统可由惠普集群技术部门(CTG)进行设计和配置,惠普亚太地区的生产工厂( APIC )进行组装、集成、软件预装和产品测试。
惠普 Beowulf 机群的逻辑架构如下:






硬件部分包括:
              计算/IO节点
              管理工作站
              互连系统
软件部分应包括:
l  操作系统,如RedHat Linux
l  机群管理软件,如CMU
l  开发环境,如GNU compilers
l  数学库、并行库,如MPICH 、PVM
l  作业管理系统,如OpenPBS
l  文件系统,如NFS、Ext3
l  客户应用软件
l  标准应用软件
 
2)      系统设计原则
 
HP 高性能集群系统方案设计基于以下的原则:
l  先进性
并行计算系统是目前业界较为先进的计算体系,是融合了计算、存储、网络与软件的综合体,在构架整个系统的过程中,要保证架构的每个环节采用业界先进且成熟的产品与技术,要均衡各环节之间的关系,消除系统构架的瓶颈,保证整个系统的高效率运行,可以满足未来数年技术和应用发展的需要,保护用户投资。
 
l  高性能
集群系统的重量考核指标是整体性能,即计算、存储、I/O 能力与智能管理的体现。系统中所有节点均配置了基于最新四核处理器,保证充足的计算能力;节点间使用40Gbps 的 Infiniband 高速互连,保证了通信密集型并行应用对互连网络的性能要求;存储采用光纤 SAN 结构,并且根据存储量与 I/O 带宽的关系配置并行文件系统,可以较好满足应用对 IO的性能要求。
 
l  高可扩展性
集群系统区别于传统 SMP/MPP 计算体系的独特优势就是优异的扩展性,用户可以根据自己的需求随时增减系统中节点的数量,在将来计算能力需要扩充的时候,只需要增加一定数量的节点数目,即可在不影响当前应用的情况下,扩展整个系统的计算与存储能力。
 
l  环保节能
集群系统是由多个服务器节点、大容量存储及复杂网络构成的大规模应用系统,是一个巨大的耗电/发热体,除了本身的能耗,随之配备的空调系统也是耗电大户。因此,在系统设计之时除了性能效率之外,必须考虑节能与环保的问题以减少对社会环境资源我过多占用与破坏。HP刀片服务器的高密度、能量智控、气流导向有效散热与自动管理特性可以使整个系统保持在较低的功耗,减少对电力的消耗、保护社会环境资源。
 
集群解决方案
设备选型
本次高性能计算工作台硬件系统包括刀片服务器、存储设备、配套设备。方案将根据实际应用方式和用户计算要求合理提供选型及配置方案。
l  瘦节点
选用HP BL460c Gen8作为本次集群的瘦节点。
l  胖节点
选用HP DL580 G7作为本次集群的胖节点。
l  管理登录节点
选用HP DL380p Gen8作为本次集群的管理管理节点。
l  I/O节点
选用HP DL380p Gen8作为本次集群的I/O节点。
l  存储节点
选用EMC NS480作为本次集群的存储节点。在当前设备配置基础上扩充DAE磁盘柜和FC硬盘。
 
HP集群部署说明
本次惠普高性能集群系统包括集群网络、节点服务器与存储系统三部分。
l  集群网络:在HPBeowulf集群网络架构中包括功能不同的3套网络,即
n  计算网(数据网):此网络用于节点运算过程中的高速通讯和数据交换,由于此网络对带宽和响应时间均有较高要求,一般会采用Infiniband、Myrinet等高速低延迟网络。
n  管理网:管理网用于管理节点对其他节点进行管理通讯,同时可以作为外部登入集群各节点的登陆网络。
n  iLO/OA控制网络:本网络也叫做监控网,是惠普服务器和刀片机箱独有的一套基于网络的硬件管理、监控机制形成的专有网络,利用百兆或千兆以太网交换机将管理节点的一个百兆或千兆以太网端口和其他节点的iLO或OA专用端口相连,保证其正常连接,使管理节点具备监视节点硬件状态、控制节点硬件操作的特性。同时提供从集群外部监控、管理服务器硬件甚至进行远程KVM和远程系统部署等操作。
l  瘦节点:瘦节点作为集群的核心组成部分,在完成高速网络互联的前提下提供大规模的运算性能输出。同时在管理和监控网络的协助下,瘦节点能够被更方便的管理。
l  IO节点:IO节点用于直接或间接连接磁盘阵列等存储系统,同时通过高速网络与瘦节点连接,为瘦节点提供高性能的数据存储服务。
l  管理节点:管理节点并不包含在经典beowulf集群内,他的作用是让使用者更方便的管理和监控集群中其他节点的工作情况。管理节点作为逻辑概念存在,它可以是接入集群网络的任何一台节点服务器。
l  胖节点:胖节点支持用户通过远程命令行、Web模式和可视化图形界面登录,并提交计算作业;支持远程三维加速功能,可远程流畅运行CAE三维建模程序,而且支持多客户端并发开启远程三维加速功能。
本次项目的逻辑连接遵循惠普beowulf集群架构。
 
拓扑结构
1)      拓扑结构图

2)      软件部署说明

 

软件类型    软件名称    部署范围
操作系统    Redhat Linux企业标准版操作系统    10个瘦节点;1个管理节点;2个IO节点;1个胖节点。
驱动程序包    HP ProLiant Support Pack for Linux    10个瘦节点;1个管理节点;2个IO节点;1个胖节点。
集群管理软件    Cluster Management Utility    1个管理节点安装管理服务器;10个瘦节点安装监控代理程序;2个IO节点安装代理程序;1个胖节点安装代理程序。
 
惠普集群系统优势
 
l  卓越计算性能的HPC计算平台
HP刀片瘦节点主板经过严格优化设计,采用高品质的芯片组、控制器等核心部件,在同样CPU、内存、硬盘配置下,拥有更出色的计算能力。单机 LINPACK测试达80%以上并行效率。
l  专业的高性能计算网络
HP 刀片采用业届性能领先的 INFINIBAND 高性能计算网络,是全球最大的销售商。而且HP刀片针对INFINIBAND做了进一步的优化,采用HP公司设计生产的INIFINIBAND交换机,高带宽低延迟,为用户提供更出色的网络交换性能。
l  高可用的硬件品质
在HPC计算中计算任务经常要持续几天、十几天乃至几十天,一旦计算中途出现硬件故障,就会导致计算结果的前功尽弃,极大的影响科研生产效率。因此计算平台的可靠性非常重要。
HP刀片系统采用了高可靠性的冗余设计,整个系统无单点故障,能够充分胜任高可靠计算要求。HP刀片机箱系统采用了业界可靠性最高的3+3全冗余电源,10个全冗余主动散热式风扇,能够胜任7*24小时持续运行和极端情况多个部件同时损坏的连续运行。
HP刀片服务器全部支持双热插拔硬盘RAID1,进一步提高了刀片服务器的可靠性,从而保证机群系统7*24小时不宕机的持续运行。运行中即使一块硬盘发生故障,系统的持续运行不受任何影响;可以不宕机的情况下系统自动恢复。而且热插硬盘可以直接从刀片前面面板更换故障部件,不用插拔和打开整个刀片,提高维护效率减少管理人员工作量。
 
l  智能节电技术
惠普刀片服务器提供的能量智控技术(Thermal Logic),采用了嵌入式温度测量和控制技术,能够根据刀片计算负载状态、电源功率、以及环境温度,自动调整供电功率和进行温度控制。
通过HP智能节电技术能够显著为用户节电,降低用户运行维护成本。根据网上第三方公开的测试数据,采用节电技术的HP刀片比未采用该节电技术的其他厂家刀片平均节电20%左右。
 
l  硬件监控与软件集中管理结合
在惠普集群系统方案中,通过HP硬件监控模块—iLO2,与专业集群管理软件—HP CMU,软硬件相结合的方式为用户提供方便快捷的系统监控、系统管理、远程管理、并行命令、机群快速布署等功能。
通过HP iLO2硬件监控模块,能够有效实现与操作系统无关的对服务器远程操作和实时的状态监控,如开关机、重启、暂停等操作,使管理能够更高效率的维护计算平台。
通过HP CMU管理软件实现整个集群系统管理维护。HP CMU集群管理软件是唯一一款商业版本机群管理软件,并经实际检验能高效管理1000个以上瘦节点的管理工具,能够大大的减少管理员在为大规模集群系统布署系统及应用软件的工作量,并保证系统中节点的科学分配。使管理员能够方便智能的布署和管理整个系统。HP CMU具有完整的Java图形用户界面(GUI),同时支持命令行界面(CLI)。能够有效实现软件分发、快速部署、机群配置、并行命令、用户管理、进程管理、网络管理、性能统计、全部节点状态集中监控等各种机群的日常管理。
上一篇:
×
×