华为Oceanstor9000存储产品介绍
一、产品定位
OceanStor 9000作为大数据存储产品,具有大容量、高性能和易扩展性等方面的突出优势,同时提供丰富的增值特性,可广泛应用于广电媒资、高性能计算、数据中心、互联网运营和大型企业等各行业领域。
大数据是海量、高增长率和多样化的信息资产,大数据需要提供高效的分析处理模式才能提供更强的决策力、洞察发现力和流程优化能力。大数据的常见特点是:Volume、Velocity、Variety。大数据时代的到来,对存储系统的诉求也随之而来:
lVolume特征包括容量和数量,需要存储具备灵活的扩展性。
lVelocity特征需要采用分布式处理和分布式存储,采用Scale-out架构并使用通用硬件,在成本可控的前提下提供高性能。
lVariety特征需要存储提供更丰富的接口,以应对不同业务访问存储需求。
OceanStor 9000是针对大数据的特点,使用通用x86架构硬件以Scale-out NAS系统为基础,推出的大数据存储平台。OceanStor 9000采用全对称架构,提供3~288节点的弹性无缝扩展,支持如下功能:l自研分布式文件系统OceanStor DFS支持海量非结构化数据存储,实现全局统一命名空间。
提供对象存储服务,兼容Amazon S3接口、兼容OpenStack Swift接口,支持媒体云向云计算架构迁移,支持接入主流云计算生态链。
支持对接由开源Hadoop组件封装而来的FusionInsight Hadoop/Cloudera Hadoop,让用户轻松构建企业级大数据分析平台。
OceanStor 9000采用全互联全冗余的组网机制,允许系统中所有节点并发访问整系统的任何数据;支持从多个节点并发访问相同数据的不同区域,实现高并发高性能读写,对外提供标准的NFS/CIFS/FTP/HDFS/对象存储服务兼容Amazon S3/对象存储服务兼容OpenStack Swift接口。OceanStor 9000系统架构如图1-1所示。
二、产品特点
oceanStor 9000具有卓越性能、弹性空间、融合开放、高可靠性和简化管理等特点,可有效降低企业CAPEX(capital expenditure)和OPEX(operating expense)。
卓越性能
OceanStor 9000提供业界领先的读写性能,可充分满足媒体编辑和高性能计算等领域的性能要求。
OceanStor 9000针对文件系统应用提升性能的关键技术包括:
并发访问
传统的NAS系统由引擎和存储单元组成。数据的全部并发访问需要先由NAS引擎处理,因此引擎容易成为性能瓶颈。
OceanStor 9000采用全对称的逻辑架构,每个节点均可提供外部业务访问。通过负载均衡设计,数据访问在集群内均匀分布,可大幅提升系统并发访问能力。
全局缓存
数据在缓存中的读写速度远高于硬盘,但单节点的缓存提升空间有限。同时如果各节点的缓存相互独立,则缓存命中率难以提升,数据的一致性保证机制也会趋于复杂。
OceanStor 9000通过全局缓存模式,整合所有节点缓存,使同一文件的数据在缓存池只缓存一份,任意节点均可命中,有效提高数据访问命中率,减少硬盘读写次数,降低访问时延,提升系统整体性能。
高速互联
OceanStor 9000支持10GE高速以太网,单个节点可提供4个10GE端口。OceanStor9000还同时支持IB(InfiniBand)网络,可满足更加苛刻的性能要求。
OceanStor 9000可适配用户的不同组网需求,通过节点间高速互联,降低系统内部时延,提供卓越性能。
SSD加速和自动分级存储
SSD硬盘可解决数据读写性能的瓶颈,提供低延迟和高吞吐量。OceanStor 9000可自动识别小文件和热点数据,根据热度在系统内不同存储介质之间进行数据迁移,使用SSD硬盘存储热点文件,提升资源利用率。
磁盘碎片整理
OceanStor 9000提供磁盘碎片整理功能,在指定时间段,周期性的执行磁盘碎片整理任务,保证系统长时间运行的整体性能。
弹性空间
OceanStor 9000采用分布式架构,集群支持3~288节点弹性无缝扩展。集群内部各节点完全对称,数据和元数据均匀分布于各个节点上,有效消除系统瓶颈。
OceanStor 9000能够根据业务增长进行平滑扩容,容量和性能支持线性扩展,最大可提供100PB规模的单一文件系统,可有效降低企业CAPEX和OPEX,真正实现“应需而变”。
OceanStor 9000提供多种节点类型,分别对应如下业务应用:
P12/P12E、P25/P25E和P36/P36E为高性能存储节点,应用于OPS密集型应用场景和高带宽应用场景。
C36/C36E和C72为大容量归档节点,应用于大容量应用场景。
融合开放
OceanStor 9000是一个融合开放的存储系统,支持多种接口。
支持对象存储、HDFS、NFS、CIFS、NDMP、FTP多种接口,实现文件,对象等数据类型支撑。
l能够很好的对接Amazon和OpenStack公有云系统。
支持OPS密集型、带宽密集型、大容量等多种节点类型,支持承载多种应用。
前端业务网络支持IPv4协议和IPv6协议,不支持IPv4协议和IPv6协议混合部署,管理网络支持IPv4协议和IPv6协议,同时支持IPv4和IPv6组网混合部署。
高可靠性
OceanStor 9000采用分布式集群架构,系统全冗余部署,无单点故障。存储节点的关键部件,如风扇模块、电源模块、接口模块均采用冗余设计,有效提升硬件可靠性。OceanStor 9000提升可靠性的设计还包括:
N+M数据保护级别
应用Erasure Code技术实现节点间RAID功能,支持整节点故障而不影响数据完整性,可对文件系统内任意空目录指定采用N+1、N+2、N+3、N+4、N+2:1或N+3:1保护级别。
镜像
应用镜像方式存储多份元数据于多个存储节点,相比数据具有更高的保护级别。
数据重构
支持节点故障自动检测和数据自动恢复,当硬盘或节点故障时,通过数据重构任务找回数据,避免再次发生故障而导致数据失效。
物理分域
物理分域是一种隔离故障的有效手段。启用物理分域后,单个域(节点池或节点池组)内的硬盘或节点故障,将不会导致其他域的数据可靠性降级或失效,也不会因执行数据重构任务而影响其他域的读写性能。l数据一致性扫描也称为数据擦洗(Data Scrub),指在不影响业务的情况下,通过在后台周期性校验系统中的数据,提早发现硬盘的部分错误,避免因发生静默损坏而导致硬盘数据丢失.
简化管理
OceanStor 9000支持可视化自动部署、灵活的空间配额、全面的性能监控、网络拓扑统一管理和统一的命名空间,管理维护高效集中,简洁易用。
管理员通过访问DeviceManager,可以完成对硬件、软件、集群和业务的统一管理.
OceanStor 9000采用灵活的配额空间,在目录、用户、用户组的级别对存储进行精简资源调配。
当存在多套OceanStor 9000,比如在视频监控、远程复制等应用场景中,可通过eSight实现集中管理和维护。
SystemReporter作为OceanStor 9000的性能分析工具,采用数据采集、归档、分析、预测等方法,提供实时监控、历史趋势分析、对比分析、诊断分析和容量预测等功能,便于您合理利用资源。l软件平台自动化部署和配置,支持“一键式”快速扩容。
OceanStor 9000采用灵活的配额空间,在目录、用户、用户组的级别对存储进行精简资源调配。l当存在多套
OceanStor 9000,比如在视频监控、远程复制等应用场景中,可通过eSight实现集中管理和维护。
SystemReporter作为OceanStor 9000的性能分析工具,采用数据采集、归档、分析、预测等方法,提供实时监控、历史趋势分析、对比分析、诊断分析和容量预测等功能,便于您合理利用资源。l软件平台自动化部署和配置,支持“一键式”快速扩容。
OceanStor 9000作为大数据存储产品,具有大容量、高性能和易扩展性等方面的突出优势,同时提供丰富的增值特性,可广泛应用于广电媒资、高性能计算、数据中心、互联网运营和大型企业等各行业领域。
大数据是海量、高增长率和多样化的信息资产,大数据需要提供高效的分析处理模式才能提供更强的决策力、洞察发现力和流程优化能力。大数据的常见特点是:Volume、Velocity、Variety。大数据时代的到来,对存储系统的诉求也随之而来:
lVolume特征包括容量和数量,需要存储具备灵活的扩展性。
lVelocity特征需要采用分布式处理和分布式存储,采用Scale-out架构并使用通用硬件,在成本可控的前提下提供高性能。
lVariety特征需要存储提供更丰富的接口,以应对不同业务访问存储需求。
OceanStor 9000是针对大数据的特点,使用通用x86架构硬件以Scale-out NAS系统为基础,推出的大数据存储平台。OceanStor 9000采用全对称架构,提供3~288节点的弹性无缝扩展,支持如下功能:l自研分布式文件系统OceanStor DFS支持海量非结构化数据存储,实现全局统一命名空间。
提供对象存储服务,兼容Amazon S3接口、兼容OpenStack Swift接口,支持媒体云向云计算架构迁移,支持接入主流云计算生态链。
支持对接由开源Hadoop组件封装而来的FusionInsight Hadoop/Cloudera Hadoop,让用户轻松构建企业级大数据分析平台。
OceanStor 9000采用全互联全冗余的组网机制,允许系统中所有节点并发访问整系统的任何数据;支持从多个节点并发访问相同数据的不同区域,实现高并发高性能读写,对外提供标准的NFS/CIFS/FTP/HDFS/对象存储服务兼容Amazon S3/对象存储服务兼容OpenStack Swift接口。OceanStor 9000系统架构如图1-1所示。
二、产品特点
oceanStor 9000具有卓越性能、弹性空间、融合开放、高可靠性和简化管理等特点,可有效降低企业CAPEX(capital expenditure)和OPEX(operating expense)。
卓越性能
OceanStor 9000提供业界领先的读写性能,可充分满足媒体编辑和高性能计算等领域的性能要求。
OceanStor 9000针对文件系统应用提升性能的关键技术包括:
并发访问
传统的NAS系统由引擎和存储单元组成。数据的全部并发访问需要先由NAS引擎处理,因此引擎容易成为性能瓶颈。
OceanStor 9000采用全对称的逻辑架构,每个节点均可提供外部业务访问。通过负载均衡设计,数据访问在集群内均匀分布,可大幅提升系统并发访问能力。
全局缓存
数据在缓存中的读写速度远高于硬盘,但单节点的缓存提升空间有限。同时如果各节点的缓存相互独立,则缓存命中率难以提升,数据的一致性保证机制也会趋于复杂。
OceanStor 9000通过全局缓存模式,整合所有节点缓存,使同一文件的数据在缓存池只缓存一份,任意节点均可命中,有效提高数据访问命中率,减少硬盘读写次数,降低访问时延,提升系统整体性能。
高速互联
OceanStor 9000支持10GE高速以太网,单个节点可提供4个10GE端口。OceanStor9000还同时支持IB(InfiniBand)网络,可满足更加苛刻的性能要求。
OceanStor 9000可适配用户的不同组网需求,通过节点间高速互联,降低系统内部时延,提供卓越性能。
SSD加速和自动分级存储
SSD硬盘可解决数据读写性能的瓶颈,提供低延迟和高吞吐量。OceanStor 9000可自动识别小文件和热点数据,根据热度在系统内不同存储介质之间进行数据迁移,使用SSD硬盘存储热点文件,提升资源利用率。
磁盘碎片整理
OceanStor 9000提供磁盘碎片整理功能,在指定时间段,周期性的执行磁盘碎片整理任务,保证系统长时间运行的整体性能。
弹性空间
OceanStor 9000采用分布式架构,集群支持3~288节点弹性无缝扩展。集群内部各节点完全对称,数据和元数据均匀分布于各个节点上,有效消除系统瓶颈。
OceanStor 9000能够根据业务增长进行平滑扩容,容量和性能支持线性扩展,最大可提供100PB规模的单一文件系统,可有效降低企业CAPEX和OPEX,真正实现“应需而变”。
OceanStor 9000提供多种节点类型,分别对应如下业务应用:
P12/P12E、P25/P25E和P36/P36E为高性能存储节点,应用于OPS密集型应用场景和高带宽应用场景。
C36/C36E和C72为大容量归档节点,应用于大容量应用场景。
融合开放
OceanStor 9000是一个融合开放的存储系统,支持多种接口。
支持对象存储、HDFS、NFS、CIFS、NDMP、FTP多种接口,实现文件,对象等数据类型支撑。
l能够很好的对接Amazon和OpenStack公有云系统。
支持OPS密集型、带宽密集型、大容量等多种节点类型,支持承载多种应用。
前端业务网络支持IPv4协议和IPv6协议,不支持IPv4协议和IPv6协议混合部署,管理网络支持IPv4协议和IPv6协议,同时支持IPv4和IPv6组网混合部署。
高可靠性
OceanStor 9000采用分布式集群架构,系统全冗余部署,无单点故障。存储节点的关键部件,如风扇模块、电源模块、接口模块均采用冗余设计,有效提升硬件可靠性。OceanStor 9000提升可靠性的设计还包括:
N+M数据保护级别
应用Erasure Code技术实现节点间RAID功能,支持整节点故障而不影响数据完整性,可对文件系统内任意空目录指定采用N+1、N+2、N+3、N+4、N+2:1或N+3:1保护级别。
镜像
应用镜像方式存储多份元数据于多个存储节点,相比数据具有更高的保护级别。
数据重构
支持节点故障自动检测和数据自动恢复,当硬盘或节点故障时,通过数据重构任务找回数据,避免再次发生故障而导致数据失效。
物理分域
物理分域是一种隔离故障的有效手段。启用物理分域后,单个域(节点池或节点池组)内的硬盘或节点故障,将不会导致其他域的数据可靠性降级或失效,也不会因执行数据重构任务而影响其他域的读写性能。l数据一致性扫描也称为数据擦洗(Data Scrub),指在不影响业务的情况下,通过在后台周期性校验系统中的数据,提早发现硬盘的部分错误,避免因发生静默损坏而导致硬盘数据丢失.
简化管理
OceanStor 9000支持可视化自动部署、灵活的空间配额、全面的性能监控、网络拓扑统一管理和统一的命名空间,管理维护高效集中,简洁易用。
管理员通过访问DeviceManager,可以完成对硬件、软件、集群和业务的统一管理.
OceanStor 9000采用灵活的配额空间,在目录、用户、用户组的级别对存储进行精简资源调配。
当存在多套OceanStor 9000,比如在视频监控、远程复制等应用场景中,可通过eSight实现集中管理和维护。
SystemReporter作为OceanStor 9000的性能分析工具,采用数据采集、归档、分析、预测等方法,提供实时监控、历史趋势分析、对比分析、诊断分析和容量预测等功能,便于您合理利用资源。l软件平台自动化部署和配置,支持“一键式”快速扩容。
OceanStor 9000采用灵活的配额空间,在目录、用户、用户组的级别对存储进行精简资源调配。l当存在多套
OceanStor 9000,比如在视频监控、远程复制等应用场景中,可通过eSight实现集中管理和维护。
SystemReporter作为OceanStor 9000的性能分析工具,采用数据采集、归档、分析、预测等方法,提供实时监控、历史趋势分析、对比分析、诊断分析和容量预测等功能,便于您合理利用资源。l软件平台自动化部署和配置,支持“一键式”快速扩容。
本文为作者 北京金宇视通科技有限公司 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/95501
北京金宇视通科技有限公司
点击了解更多
北京金宇视通科技有限公司作为一家专业的解决方案提供商和服务商,公司拥有完善的研发、生产、销售和服务体系,能够提供专业、系统的音、视频解决方案和运维服务。公司自成立以来,一直秉承“客户至上,创新进取”的经营理念。金宇视通坚持“客户第一”的原则为广大厂商和客户提供最优质、贴心的产品和服务。
通过不断的成长,公司发展成为知名的专业视音频产品的提供商,并形成了深厚的人才、技术和资金积累。
扫码关注
北京金宇视通科技有限公司
北京金宇视通科技有限公司