HrtStor数字图书馆存储容灾备份解决方案

方案概述

数据的产生及信息爆炸带来的挑战

为了更清晰的认识我们所生存的环境,提高人际沟通效率,人们收集和创造了大量的数据,有些是对物理世界的客观描述,如原子和分子的组成,或是DNA螺旋结构;也包括烟波浩渺的宇宙中的星系和星云;亦或是人类对自身历史的记录;还有一些数据被用于人们相互沟通,如Facebook上每天新增数十亿条内容,或每天被发送的数千亿封邮件。

随着人们对客观世界的逐步认知,人际沟通的效率越来越高,人们的沟通与生活也越来越丰富,人类收集和创造的数据也越来越多,这些数据饱含信息与知识,是人类智慧与勤劳的结晶,是人类宝贵的信息资产。一部《史记》,共52万6千500字,约1MB数据;一组用于基因研究的染色体照片数据量超过2TB;欧洲核子研究中心(CERN)每年有超过20PB数据通过全球最大的大型强子对撞机(LHC)被收集起来用于微观粒子研究。根据IDC的分析,2011年全球数据产生量达到1.8ZB,到2020年这个数字将增长50倍(1ZB=1,000EB=1,000,000PB),如此大规模的数据给存储系统带来了巨大的挑战,人类将如何应对咆哮而来的数据洪流?

应用需求

数字图书馆(Digital Library)是用数字技术处理和存储各种图文并茂文献的图书馆,实质上是一种多媒体制作的分布式信息系统。它把各种不同载体、不同地理位置的信息资源用数字技术存贮,以便于跨越区域、面向对象的网络查询和传播。它涉及信息资源加工、存储、检索、传输和利用的全过程。通俗地说,数字图书馆就是虚拟的、没有围墙的图书馆,是基于网络环境下共建共享的可扩展的知识网络系统,是超大规模的、分布式的、便于使用的、没有时空限制的、可以实现跨库无缝链接与智能检索的知识中心。

依据对教育行业数字图书馆IT应用模式及特点的深入分析,结合多年来在该行业咨询,规划及实施经验,我司为该校量身定制针对数字图书馆的集数据存储、数据备份、业务连续性保护以及远程容灾于一体的典型性解决方案。

解决方案(HrtStor分布式统一存储系统)

 

HrtStor数字图书馆统一存储集群系统1.jpg

方案要点

1、通过HrtStor分布式统一存储系统构建一套云存储平台,满足SAN和NAS数据的统一存储;

2、基于HrtStor分布式统一存储系统的多副本功能实现大量非结构化数据的实时备份;

3、通过HrtStor容灾一体机实现非结构数据的实时备份和异地容灾;

4、通过HrtStor分布式统一存储系统的远程复制功能定期将本地的非结构化数据增量同步至容灾站点。

方案描述

本方案采用HrtStor分布式统一存储集群系统构建一个动态可扩展,多节点负载均衡、故障自愈的集群存储架构,实现此类数据的统一、高效存储。HrtStor分布式统一存储集群系统可构建一套高性能、可扩展、集中化、弹性可扩展的云存储平台。采用虚拟化的资源管理,具有弹性的扩展能力,可按需实现容量,性能的线性扩展,可从较小的数据与性能配置升级到海量存储规模和超高的带宽、

iops平衡性能配置,满足不同业务时期的数据存储规模与效率要求。

HrtStor分布式统一存储集群系统在逻辑上可分为SAN存储功能模块与NAS存储功能模块,可分别满足数字图书馆业务系统中的结构化索引数据和非结构化的图片、文本、扫描件、视频等数据不同的存储特点和需求。

数字图书馆系统中比重最大的数据是非结构的文档数据,取决于数字图书馆系统的服务规模,数据体量从TB级到EB级不等,且此类数据呈现出数据规模大,数据类型庞杂,文件数量多,共享与检索要求高的显著特点,针对此类数据,HrtStor分布式统一存储集群系统是最佳的存储选择,结合数据规模与数据效率的不断提升需求,可动态扩展的集群系统可完美承载存储、共享、检索的多重需求。

在云计算模型下,会有多台服务器组成档案处理集群,在此应用中,采用SAN模式不仅建设成本高昂,维护和管理也极其复杂,采用传统NAS则又会面临扩展性、数据存储能力、性能方面的制约,采用基于集群NAS技术的云存储架构则可以通过近乎无限的扩展能力轻松为用户构建一个海量、分布式、虚拟化的动态资源池,并在逻辑上向无限数量、不限类型的主机呈现为统一命名空间,从而解决多主机、跨平台、大数据量、海量文件并发的存储和共享难题。

HrtStor分布式统一存储集群系统对于架构与数据安全亦有充分的考虑,主要体现在以下几个方面:

1、分布式架构,多节点协同工作,避免节点级的单点故障;

2、采用成熟的RAID机制进行数据保护;

3、可选采用多副本机制进行存储级的数据复制;

4、访问安全,具有丰富的权限管理功能,可实现存储的分区或分域模式,授权用户只能访问授权的资源,可与AD、LDAP、NIS等权限管理机制充分集成;

5、可灵活设定卷的读写权限;

6、磁盘加密功能,可实现是数据块级的信息加密;

7、可利用存储系统自身的快照、复制功能实现进一步的数据保护;

8、完善的磁盘定期扫描与校验修复机制,确保能够定期检查,主动发现,智能纠错。

HrtStor分布式统一存储集群系统支持1024个节点,可实现有效的故障切换和负载均衡,是一套高可靠,高性能,动态扩展的集群存储系统;支持200亿个文件和EB级存储能力,可有效承载网站海量小文件存储;采用分级存储的磁盘设计,通过SSD、SAS、SATA三种成本、性能各不相同的磁盘分别满足最高性能数据(热点数据)、较高性能数据(温数据)和一般性能数据(冷数据)的存储需求,并通过智能数据分层功能,根据访问频率,时间等多种条件进行自动化的数据迁移,以动态实现数据结构的最优化和系统性能的最佳化。HrtStor分布式统一存储集群系统采用控制引擎与存储模块分离设计,存储模块保留了传统磁盘存储系统的可靠性设计和RAID功能,可有效保障数据安全。同时支持条带化和镜像化的文件写入模式,结合后端RAID功能,可实现多种数据副本策略,数据副本策略还可和数据迁移功能相结合,实现文件副本数目的自动增减,便于云计算模式下不同服务等级的设置。

HrtStor数字图书馆统一存储集群系统2.jpg

HrtStor分布式统一存储集群系统支持NFS、CIFS、HTTP、 FTP等丰富的协议,便于各类windows、Linux、Unix客户端的灵活接入和各类文件共享业务的灵活开展;内置的智能迁移模块可根据数据的访问频率实现快速的自动分层,优化数据存储架构。HrtStor分布式统一存储集群系统支持标准的NDMP协议并内置归档模块,可直接连接HrtStor VTL虚拟磁带库系统,实现海量数据的高速备份和智能归档。虚拟带库可以直接连接传统物理磁带库,实现虚拟磁带到真实物理磁带的智能数据导出,便于磁带离场管理。

 

数据容灾的实现同样简洁高效,利用HrtStor容灾一体机的智能复制功能,可实现1:1、1:N等模式的复制,迅速实现主数据中心数据在同城或异地的容灾。

 

通过以上的分析不难看出,基于HrtStor容灾一体机可构建一个涵盖本地和远程,能够从按数据访问频度和数据保留周期特点智能实现数据动态分布的智能化存储保护平台,有效实现海量非架构化数据的存储、共享、备份、分发,容灾及生命周期管理。

 

HrtStor数字图书馆统容灾及生命周期管理.jpg

 

对于ILAS,教育科研系统及等关键应用,采用双机热备软件保障其7*24小时在线,从而保障其持续服务能力。

数字图书馆的期刊,文献,资讯库等数字资源一般都是通过光盘的形成导入系统,这部分数据变化较少,且有完善的光盘备份,一般不需要再做额外的数据备份,但现代数字馆系统中还活跃着大量其他类型的数据,如索引数据,教学科研数据,注册用户信息数据等,且这些数据具有明显的动态变更的特性。针对此类数据的备份及容灾,方案亦有充分的考虑。通过部署在校园网中的HrtStor容灾一体机实现数据的快速实时备份与高效容灾。在数字图书馆部署一套HrtStor容灾一体机,将各业务系统中的Windows操作系统数据及应用数据(包括数据库数据)在线实时备份到HrtStor统一存储集群自带的大容量存储中。HrtStor统一存储集群系统会为这些操作系统数据和应用数据创建多个版本的快照,从而保证了各业务系统的操作系统和应用数据的安全,并且可以做到任意时间点的恢复。HrtStor统一存储集群同时接入局域网和SAN网络,通过IP网络实时同步业务数据的变化,利用强大的SAN映射功能,HrtStor统一存储集群通过高速万兆/IB网络将某一时间点的数据或系统映像映射给前端业务主机,可在2分钟内恢复数据,3分钟内恢复windows操作系统。

 

在灾备中心部署另一台HrtStor容灾一体机,利用HrtStor容灾一体机的远程容灾功能,自动同步生产中心和灾备中心的数据。可将本地HrtStor统一存储集群中保护的系统和应用数据通过IP容灾链路持续复制到远程灾备中心的HrtStor容灾一体机设备中,实现分钟级的RPO和RTO。

 

方案优势

该方案立足于数字化图书馆信息基础架构规划与实践,着眼于安全,优化,业务连续三大主题,在实现数字图书馆的立体信息管理的基础上助理IT运营效率的提升,最终推动学校的管理及运营效率。具有如下整体优势:

 一套方案完整实现业务连续,信息可靠存储,及数据的有效灾备多个技术和管理主题,具有整体性和全局融合性;

 借助分布式集群存储技术实现存储规模化,性能最优化,满足数字图书馆海量数据统一存储与资源集中管控的需求;并具备高度灵活的横向扩展存储体系,动态可扩展的信息存储架构,自动精简的存储容量规划与管理,满足数据中心当前与未来动态信息管理需求;

 使用业界最前瞻的存储架构与产品,利用分层存储(Tier)技术,应对数字图书馆类型多样,数据模型与业务逻辑复杂,数据存储性能要求严苛的需求特点;

 整体规划,存储/备份/容灾/应用保护统一考虑,构建安全的信息架构,满足数据安全,数据效率与业务持续的多重需求;

 利用HrtStor容灾一体机实时备份与快速恢复系统实现高效,富于性价比的智能数据灾备,构建一套先本地备份再异地容灾的创新灾备体系,从而实现层次化的数据保护,有效降低灾备中心的启用机率;

 全面而高效的信息保护体系,从系统,数据,应用三个层面保障信息系统的整体安全,基于数据数据镜像,数据实时同步,CDP等新一代数据保护技术,实现数据的高效备份及容灾,利用IP链路,以较低的成本实现了较高分钟级的RTO和RPO;

 数据增值功能,可采用备份或容灾数据进行数据分析,数据挖掘,提升数据价值,可随时进行恢复演练;

 良好的投资保护,今后新增设备或应用,只需增加许可模块,即可融入当前的存储灾备系统,一次构建,长期受益;

 选用成熟可靠,技术优势突出的软硬件产品,保障方案的整体可靠性和可实施性,并在一定时间内保持技术领先性;

 综合考虑成本,性能,总体IT投资等多方面因素,结合应用及数据自身特点,为用户推荐最适用的产品。



0

推荐

  • QQ空间

  • 新浪微博

  • 人人网

  • 豆瓣

取消
建站ABC 建站ABC提供技术支持