|
HrtStor高性能计算解决方案应用需求 HPC(高性能计算High Performance Computing,也称超级计算)是科研、能源、气象、生物、遥感测绘等行业常用的计算模式,随着处理器性能迅速提高,标准化硬件成本迅速降低,相对廉价的Linux并行集群系统逐渐成为HPC 的主流,并使HPC 进入更广阔的工业和商业应用市场,如金融证券、政府信息化、电信、教育、企业等。高性能计算是一种数据密集型和计算密集型相结合的应用,对计算和I/O的处理能力都有较高的要求,存储系统已经成为决定高性能计算集群效率的重要因素。随着HPC 应用范围的扩大,高性能计算对存储系统提出了更为复杂的挑战: 1、数据规模不断攀升 随着科学研究规模的不断扩大和并行软件的不断发展,高性能计算系统产生了前所未有的海量数据,PB级甚至EB级的数据逐渐增多,给存储系统带来了巨大的挑战。 2、持续增加的带宽要求 在HPC系统中,当一个计算任务被加载到HPC系统时,各计算节点首先从存储系统中获取数据,然后进行计算处理,最后将计算结果写入存储系统。在此过程中,计算任务的开始和结束阶段数据读写的I/O负载非常大,GB级的带宽需求非常普遍。以勘探数据处理系统为例, 在一个32计算节点的叠前处理系统中,每个计算节点约需要35~50MB/s的带宽,对后端存储的总体带宽(即聚合带宽)要求大约为1GB/s~1.5GBMB/s。
3、数据统一存储与数据共享 HPC 环境中运行着大量的MPI 程序,往往需要多个计算节点之间协同工作,这就需要存储系统能够提供全局一致的数据映象以保证可靠性和一致性的前提下实现灵活的数据共享。 方案描述
采用HrtStor集群NAS系统实现数据的统一存储。HrtStor集群NAS是一套高性能,动态扩展的集群NAS系统,支持1024个全活存储节点,在实现无缝故障切换的同时实现极强的负载均衡,带宽性能最高可达100GB,可满足多个计算节点并发访问的带宽需求。 各计算节点经由千兆/万兆/IB网络与集群NAS系统连接,通过标准的NFS协议即可实现数据的共享访问。可配置SAS/SATA/SSD磁盘介质,结合多副本、文件镜像技术实现高等级的数据冗余;支持自动化的文件迁移,可以按既定策略实现数据的自动分层;基于其强大的带库管理和数据归档功能,可灵活方便的实现数据的生命周期管理。 方案优势 1、 高可用存储,数据多副本,存储多活,持续服务; 2、 先进的集群NAS架构,按需动态扩展,实现容量和性能的同步提升; 3、 EB级海量存储系统,弹性存储,支持在线快速扩容; 4、 高性能存储,可实现GB-百GB的整体带宽; 5、 统一命名空间,便捷的共享实现; 6、 支持NFS/POSIX协议,可根据需求灵活选择不同的接入模式; 7、 高达25GB的持续输出带宽,大幅度减少计算任务的数据I/O 时间,提高集群工作效率。 典型应用 1. 石油勘探、能源气象; 2. 金融证券、政府信息化; 3. 基因预测及分析; 4. 电信、教育、企业、科研; 5. 遥感测绘、地震探测; 6. 材料、力学、高能物理等科研应用。 |
