HrtStor军工高性能计算解决方案
应用需求
高性能计算系统在军工科研众多细分领域有着非常广泛的应用,高性能计算是一种数据密集型和计算密集型相结合的应用,对计算和I/O的处理能力都有较高的要求,因此其底端存储系统将对高性能计算集群的效率起决定性作用。随着技术的快速发展,高性能计算系统的复杂度与响应要求越来越高,对存储系统提出了更为复杂的挑战:
1、数据规模不断攀升
随着科学研究规模的不断扩大和并行软件的不断发展,高性能计算系统产生了前所未有的海量数据,PB级甚至EB级的数据逐渐增多,给存储系统带来了巨大的挑战。
2、持续增加的带宽要求
在HPC系统中,当一个计算任务被加载到HPC系统时,各计算节点首先从存储系统中获取数据,然后进行计算处理,最后将计算结果写入存储系统。在此过程中,计算任务的开始和结束阶段数据读写的I/O负载非常大,GB级的带宽需求非常普遍。以勘探数据处理系统为例, 在一个32计算节点的叠前处理系统中,每个计算节点约需要35~50MB/s的带宽,对后端存储的总体带宽(即聚合带宽)要求大约为1GB/s~1.5GBMB/s。
3、数据统一存储与数据共享
HPC 环境中运行着大量的MPI 程序,往往需要多个计算节点之间协同工作,这就需要存储系统能够提供全局一致的数据映象以保证可靠性和一致性的前提下实现灵活的数据共享。
4、可靠性要求进一步提升
随着处理规模的扩大,计算模型的复杂,数据处理的时间进一步增加。在整个计算处理过程中,计算节点需不断的进行数据I/O,一旦数据存储出现故障,将导致计算中止,此前的工作成果也很有可能丢失。因此,存储及文件系统必须具有极强的可靠性,以满足长时间密集计算模式下的数据持续吞吐需求。
方案描述

采用HrtStor集群NAS系统实现数据的统一存储。HrtStor集群NAS是一套高性能,动态扩展的集群NAS系统,支持1024个全活存储节点,在实现无缝故障切换的同时实现极强的负载均衡,带宽性能最高可达100GB,可满足多个计算节点并发访问的带宽需求。
各计算节点经由千兆/万兆/IB网络与集群NAS系统连接,通过标准的NFS协议即可实现数据的共享访问。可配置SAS/SATA/SSD磁盘介质,结合多副本、文件镜像技术实现高等级的数据冗余;支持自动化的文件迁移,可以按既定策略实现数据的自动分层;基于其强大的带库管理和数据归档功能,可灵活方便的实现数据的生命周期管理。
方案优势
1、 高可用存储,数据多副本,存储多活,持续服务;
2、 先进的集群NAS架构,按需动态扩展,实现容量和性能的同步提升;
3、 EB级海量存储系统,弹性存储,支持在线快速扩容;
4、 高性能存储,可实现GB-百GB的整体带宽;
5、 统一命名空间,便捷的共享实现;
6、 支持NFS/POSIX协议,可根据需求灵活选择不同的接入模式;
7、 高达25GB的持续输出带宽,大幅度减少计算任务的数据I/O 时间,提高集群工作效率。
典型应用
1. 石油勘探、能源气象;
2. 金融证券、政府信息化;
3. 基因预测及分析;
4. 电信、教育、企业、科研;
5. 遥感测绘、地震探测;
6. 材料、力学、高能物理等科研应用。
推荐
-
-
QQ空间
-
新浪微博
-
人人网
-
豆瓣
