Active存储知识:数据中心存储演进

2020-07-21 10:37

在当今的业务中,数据正以爆炸性的速度增长。大数据正在以几年前无法想象的方式增加存储需求。在过去的五年中,典型数据记录的大小增加了三倍,即使没有增加三倍,但是现在该数据具有多种形式,包括结构化,半结构化和非结构化。实际上,根据IBM®最近的一项研究,每天写入2.5万亿字节的数据,仅在最近两年中就创建了90%的全局数据。显而易见,数据库的大小呈指数级增长。


除了公司的人力资源,数据已成为有形和无形的最有价值的公司资产。如何有效地存储,访问,保护和管理关键数据是IT部门面临的新挑战。存储区域网络(SAN)将网络模型应用于数据中心中的存储,SAN在服务器后面运行,以提供服务器与存储设备之间的公用路径,与基于服务器的直接附加存储(DAS)和面向文件的网络附加存储(NAS)解决方案不同,SAN可提供对在计算和人员资源之间共享的数据的块级或文件级访问,尽管新的配置(包括iSCSI和以太网光纤通道(FCoE))正在流行,但主要的SAN技术是在光纤通道(FC)配置中实现的。

随着SAN的增长和Internet协议(IP)在世界范围内的广泛应用,使用IP网络传输存储流量已成为技术发展的前沿,IP网络提供了更高级别的可管理性,互操作性和成本效益。通过将存储与现有IP网络(LAN / MAN / WAN)融合,可以通过存储合并,虚拟化,镜像,备份和管理看到直接的好处,融合还提高了容量,灵活性,可扩展性和可伸缩性。


利用IP协议的两个主要标准是FCoE(以太网光纤通道)和iSCSI(ip小型计算机系统接口),两者都携带并入IP数据报的光纤通道或SCSI命令,FCoE的不同之处在于,将光纤通道命令封装到IP流量中,但这需要聚合网络适配器(CNA),该适配器必须能够同时说出光纤通道和以太网以进行封装,iSCSI在称为启动器的边缘设备上通过标准以太网和标准以太网适配器运行。


如今,作为10G千兆以太网已成为企业数据中心中的首选横向应用,要在企业中部署10 Gb以太网来获得竞争优势,就需要强大的IT基础架构,10GBASE-T和10Gb SFP +应用程序越来越为数据中心的网络组件和SAN网络提供可靠的基础,通过具有10GBASE-T功能的结构化布线系统,可以为用户提供基于开放式和行业标准的基础架构,可以支持多个融合应用程序。


存储技术


随着Internet的出现,大数据,企业内部网,电子邮件,电子商务,企业对企业(B2B),ERP(企业资源计划),客户资源管理(CRM),数据仓库,CAD / CAM ,富媒体流,语音/视频/数据融合以及许多其他实时应用程序,对企业存储容量的需求突飞猛进,数据本身对于企业成功运营至关重要,与人员和系统一样重要,保护这一战略资产的需求远远超出了磁带备份的能力,磁带访问和容量根本无法满足不断增长的需求,数据存储的增长意味着必须实现磁带库。即使这样,


停机时间是当今企业的关键因素之一,根据邓白氏公司(Dun&Bradstreet)最近发表的一项研究,《财富》 500强公司中有59%的公司每周最少停机1.6个小时,仅工资一项就造成每周896,000美元的停机成本,或每年超过4,600万美元,Gartner最近的一项保守研究显示,停机成本为每小时42,000美元,美国今天对200名数据中心经理的调查发现,超过80%的人报告其停机成本超过每小时50,000美元,另有20%的人称停机成本超过每小时500,000美元,仅这些成本就促使存储行业提供冗余和高可用性。此外,由于合规性要求,针对医疗和金融行业的联邦法规已经为安全性和高可用性创建了另一法规。


存储网络技术已经在以下三个主要配置中得到发展:直接连接存储(DAS),网络连接存储(NAS)和存储区域网络(SAN)


直接附加存储(DAS)


DAS是通过服务器和存储设备之间的直接通信路径将存储设备本地连接到服务器的传统方法。如图1所示,服务器和存储设备之间的连接位于与网络电缆分离的专用路径上。可通过智能控制器进行访问。只能通过直接连接的服务器访问存储。开发此方法主要是为了解决主机系统上驱动器托架中的缺点。当服务器需要更多驱动器空间时,将附加一个存储单元。此方法还允许一台服务器镜像另一台服务器。镜像功能也可以通过将服务器直接连接到服务器接口来实现。


网络附加存储(NAS)


NAS是一种文件级访问存储体系结构,其存储元素直接连接到LAN。它提供对异构计算机系统的文件访问。与其他存储系统不同,如图2所示,可通过网络直接访问存储,添加了一个附加层来处理共享存储文件。该系统通常使用均为IP应用程序的NFS(网络文件系统)或CIFS(公用Internet文件系统)。通常,一台单独的计算机充当“文件管理器”,它基本上是用于存储的流量和安全访问控制器,可以将其合并到设备本身中。该方法的优势在于,多个服务器可以共享一个单独单元上的存储。与DAS不同,每个服务器都不需要自己的专用存储,从而可以更有效地利用可用存储容量。只要服务器都使用IP协议,它们就可以是不同的平台。

存储区域网络(SAN)


像DAS一样,SAN连接在服务器后面,SAN提供对共享数据存储的块级访问,块级访问是指与文件级访问相反的存储设备上的特定数据块,一个文件将包含几个块,SAN为关键数据环境提供了高可用性和强大的业务连续性,SAN通常是使用光纤通道(FC)进行连接的交换结构体系结构,如图3所示,术语交换结构是指每个存储单元通过多个SAN交换机(也称为SAN导向器)连接到每个服务器,这些SAN交换机在到存储单元的路径内提供冗余,这提供了更多的通信路径,并消除了一个中央交换机作为单点故障的情况。


以太网具有许多类似于光纤通道的优势,可支持SAN。其中一些功能包括高速,交换结构拓扑的支持,广泛的互操作性以及大量管理工具。在存储网络应用程序中,交换机是关键要素,随着大量千兆端口和10个千兆以太网端口的交付,在某些环境中,利用IP和以太网进行存储是自然而然的过程。


IP上的SAN


IP被开发为具有组件完全互操作性的开放标准,两种新的IP存储网络技术是基于以太网的光纤通道(FCoE)和基于IP的SCSI(iSCSI),通过光纤通道隧道或存储隧道在标准IP网络上进行IP通信的好处是,使用光纤作为传输介质时,在超过直接连接的近10 km限制的位置使用存储,在数据中心内部,传统光纤通道也可以通过同轴电缆或双绞线电缆运行,但距离要短得多,IP标准并入这些存储系统可通过速度,更高的可用性,容错性和可扩展性提供性能优势。正确实施的这些解决方案几乎可以保证100%的数据可用性,基于IP的管理协议还为网络管理员提供了上一代存储技术专有的一组新工具,警告和触发器,安全性和加密解决方案也得到了极大的增强,随着10G的普及和新的更快的WAN链接的可用性,这些解决方案可以按需提供真正的存储。


光纤通道(FC)和以太网光纤通道(FCoE)


Native FC是受地理位置限制的数据中心内部和之间的基于标准的SAN互连技术,它是一个开放的高速串行接口,用于将服务器互连到存储设备(光盘,磁带库或CD光盘机)或将服务器互连到服务器。FC具有强大的寻址能力,与SCSI相似,每个设备在通道上接收一个数字,它是当今主要的存储网络接口,光纤通道可以完全啮合,从而提供出色的冗余性,FC可以以下速度运行:1、2、4、8、16和32 Gb / s,其中8Gb / s至16 Gb / s目前是主要速度,传输距离随速度和媒体而变化,使用FCoE,将按照以太网提供的长度和距离来处理数据包,并且根据速度和媒体的不同而有所不同,根据IEEE 802,光纤10G以太网的3ae标准,使用单模光纤电缆时,支持的距离为10公里;使用激光优化的50微米OM3多模光纤时,支持的距离为300m;与OM4相比,使用OM4时,支持的距离为400m,距离为只有130m,激光优化的OM3和OM4光纤是10Gb / s传输的光纤选择中的重要考虑因素。


FC拓扑


本机光纤通道支持三种不同的连接拓扑:点对点,仲裁环路和交换结构。顾名思义,交换结构是更好的解决方案,因为它允许在光纤通道内建立网格,它也可以配置在所谓的结构岛中,光纤岛连接地理上不同的光纤通道光纤,这些结构可能在没有IP的介质范围内的任何位置,使用IP通过路由器和结构外部的链接扩展结构可以达到更大的距离,它们可能还包含不同的拓扑(级联,环形,网格或核心到边缘),但可能需要其他连接才能共享数据访问,资源整合,数据备份,远程镜像或灾难恢复。


FCoE拓扑


光纤通道是在不同于以太网的单独网络上完成的,借助以太网光纤通道,融合网络适配器可代替以太网适配器使用,并允许单个通道通过标准IP网络传递以太网和光纤通道封装的数据包,从而扩展了整个企业的距离,而无需考虑通过以太网路由器和网桥的地理位置。为了通过广域网在存储系统之间进行复制,FCoE提供了一种机制,可以通过IP基础架构(LAN / MAN / WAN)互连FC SAN或FCoE SAN的孤岛,以形成单个统一的FC SAN结构。


本机光纤通道SAN典型组件和元素


光纤通道硬件将存储设备与服务器互连,并通过以下连接形成光纤通道结构:

  • 互连设备:开关,导向器
  • 转换设备:安装在服务器,适配器,网桥,路由器和网关中的主机总线适配器(HBA)
  • 存储设备:非RAID或RAID(独立磁盘冗余阵列)磁盘阵列,磁带库
  • 服务器:服务器是光纤通道SAN中的启动器,并提供IP网络的接口。服务器通过HBA与光纤通道结构交互。
  • 物理层/介质:同轴电缆,双绞线和/或光纤电缆,但是光纤是最主要的。

FC SAN交换机分为交换机或导向器,SAN光纤交换机的端口数从低到中,而导向器是端口数高的交换机(通常在64个端口以上),光纤通道交换机可以联网在一起以构建更大的存储网络,HBA比传统的以太网卡复杂,它通过网络布线子系统将光纤通道网络连接到IP网络,桥接器可用于将旧式SCSI或ESCON(企业系统连接)存储设备连接到光纤通道网络,该网桥将用于翻译和/或封装各种协议,从而允许通过SAN与旧式存储设备进行通信。


IP(iSCSI)上的小型计算机系统接口(SCSI)


iSCSI协议将存储和IP网络结合在一起,iSCSI使用现有的以太网设备和IP协议来承载和管理存储在SCSI SAN中的数据,它是一种简单,高速,低成本,远距离的存储解决方案,传统的SCSI连接设备的问题之一是距离限制,通过使用现有的网络组件并利用IP网络的优势,例如网络管理和其他用于LAN,MAN和WAN的工具,iSCSI正在存储市场中扩展,并在不受距离限制的情况下扩展了SAN连接性,由于使用现有设备和基础架构,因此更具成本效益,随着现有1G以太网到10G以太网的增长10倍,它将成为SAN市场的主要力量,使用10 Gb以太网,SAN达到了有史以来最高的存储传输速度。

iSCSI典型组件/元素:

  • iSCSI主机总线适配器(HBA)或NIC(安装在服务器中)
  • 存储设备磁盘阵列或磁带库
  • 伺服器
  • 标准IP以太网交换机和路由器
  • 存储交换机和路由器
  • 网关
  • 物理层介质-光纤,双绞线

通常,要在数据中心中部署iSCSI存储网络,可通过iSCSI主机总线适配器(HBA)或存储NIC提供连接性,该适配器通过IP以太网交换机或IP存储交换机和路由器将存储资源连接到现有的以太网。指定的存储IP路由器和交换机具有iSCSI接口和其他存储接口(例如SCSI或光纤通道)的组合,它们提供了常规IP和以太网交换机无法提供的多协议连接。

连接到FC SAN时,需要IP存储交换机或路由器才能将FC协议转换为iSCSI。IP存储路由器和交换机扩展了FC SAN的范围,并将FC SAN桥接到iSCSI SAN。例如,除了以太网到以太网交换,IP存储交换机还允许用户执行FC到FC交换,FC到iSCSI交换或FC到以太网的交换。


混合架构存储网络


灵活性和低成本是实施iSCSI方法的重要驱动因素,尤其是对于长距离存储而言。另外,随着以太网速度的不断提高,人们认为基于10 Gb以太网的iSCSI将广泛用于数据中心的SAN。已经开发出许多设备来解决当今已有的本地FC存储解决方案的庞大安装基础。为了保护组织当前在存储技术上的投资,SAN的安装可能会从单个特定的存储网络演变为混合的光纤通道和iSCSI产品。

此外,预计NAS和SAN的融合或集成,以及多语言(组合)光纤通道和以太网交换机的发展。集成的SAN和NAS网络将可扩展且具有成本效益,它将支持多种协议和接口。这种集成将使客户能够通过使用以太网,光纤通道和iSCSI协议之间的融合,使用现有电子设备提供长距离可靠的连接,从而优化其本机光纤通道SAN。


不断发展的SAN标准


FC标准由国家信息技术标准委员会(NCITS)的技术小组委员会NCITS / T11制定。最初的FC标准在1994年由ANSI X.3230批准。第一个SCSI标准在1986年由ANSI批准。从那时起,已有许多修订反映了行业内的变化。

互联网工程任务组(IETF)通过将IP协议增强到上述现有接口和操作标准来扩展这些标准。2003年2月,iSCSI规范被IETF正式批准为“建议标准”。此外,存储网络行业协会(SNIA),光纤通道行业协会(FCIA)和其他行业组织也在致力于SAN标准的实施和开发。数据中心是组织的关键基础架构中心。除了SAN / NAS组件外,典型的数据中心还包括各种其他组件和连接性。为了应对数据中心的发展,TIA TR-42.1.1组制定了“数据中心电信基础设施标准” 发布为ANSI / TIA / EIA-942,后来进行了修订并发布为TIA 942-A。该标准涵盖了布线系统的设计,路径和空间。同样,ISO为数据中心开发了ISO 24764国际布线标准。

SAN的布线注意事项和设计因素在数据中心最为普遍,但它们还包括视频,语音和其他融合应用程序。强大的网络布线基础至关重要。在数据中心环境中,电缆系统的基本要求是:

  • 基于标准的开放系统
  • 支持10GbE,8、16和32Gb / s FC
  • 支持多种类型的SAN / NAS和协议
  • 支持融合应用程序的累积带宽需求
  • 高可靠性
  • 冗余
  • 灵活,可扩展并提供了轻松部署MAC的机制
  • 非常需要使用性能最高的光纤和低损耗的连接器,以允许重新配置而无需运行新的光纤。

为了满足上述所有要求,首选10GbE铜缆和激光优化的多模光纤,建议将6A类作为最低的铜缆布线标准,现在将OM4作为最小的光纤标准,ISO 24764建议铜的最小电流为6A,光纤的最小电流为OM3。如今,在数据中心中,具有10GbE功能的基础架构已成为主流,其中40GbE和100GbE快速接近骨干应用,为了提高通信基础设施的可靠性,冗余是数据中心的主要设计考虑因素,可以通过提供物理上分离的服务,交叉连接的区域和路径,或通过在结构拓扑中提供冗余电子设备来实现冗余。


结论


存储解决方案种类繁多,没有一种绝对适合当今的数据中心,实际上,某些数据中心会根据应用程序要求使用各种存储架构,尽管本机形式的光纤通道是存储的主要架构,但iSCSI和FCoE势头强劲,当光纤通道SAN补充以太网网络时,将提供用于移动数据的双路径。

北京博恒视创科技有限公司是一家专业多媒体存储系统集成商。我公司联合美国Active Storage公司共同开发了Active媒体私有云共享系统、满足4k视频剪辑和大型真人秀节目制作的Active Storage光纤存储在线实时剪辑系统、满足每天100T的源数据同城或异地的数据分发与共享的远程数据复制与内容分发系统。8K电影全流程跨平台共享实时剪辑系统,现场实时调色及DIT管理系统,影视素材归档备份管理系统、海量数据自动化迁移保存系统、全媒体制播网系统等多种完全“订制化”的解决方案。2018年本公司开发出一套完整的数据安全保存系统,以“在线编辑,近线备份,离线保存”的三维立体式的解决方案,让客户数据在“生命周期”内安全的保存,没有后顾之忧,我们始终将客户的需求放在第一位,持之以恒,坚持创新,引领产品走向高容量、高带宽、高集成和人工智能化。


大型真人秀后期非编网部分成功案例:

深圳卫视《加油吧,新郎》、爱奇艺《流行之王》、北京卫视《歌手是谁》、湖南卫视《完美假期》、江西卫视《带着爸妈去旅行》、央视三套《幸福账单》、央视三套《急速少年》、湖南卫视《旋风孝子》、湖南卫视《妈妈的牵挂》、安徽卫视《国剧盛典》、安徽卫视《合唱先锋》、腾讯《拜托了冰箱》、黑龙江卫视《嘿,大兄弟》、山东卫视《家游•好儿女》、江西卫视《七天爱上你》、芒果TV《透鲜滴星期天》、CCTV《警察特训营》、爱奇艺《大学生来了》、爱奇艺《娜就这么说》、爱奇艺《我去上学啦》、浙江卫视《喜剧总动员》、芒果TV《黄金单身汉》、芒果TV《香蕉打卡》、芒果TV《不一样的偶像》、江西卫视《玫瑰之旅》、浙江卫视《开心俱乐部》、优酷《火星实验室》、内蒙古卫视《嗨,马上出发》、芒果TV《爸爸去哪儿》、芒果TV《我是大侦探》、央视《朗读者》、湖南卫视《我家那小子》、湖南卫视《幻乐之城》、湖南卫视《亲爱的客栈》、腾讯视频《创造101》、爱奇艺《偶像练习生》《青春有你》,湖南卫视《中餐厅》《亲爱的客栈3》等等真人秀节目后期机房


欲了解详情,欢迎咨询

魏 明

-------------------------------

电话: 18611689687(同微信号)

Add: 北京市朝阳区三间房东路一号懋隆文化产业创意园34栋

网址:www.active-storage.com.cn

本文为作者 魏明 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/129188