Active存储知识:未来5种颠覆性存储技术

2020-09-14 13:25

研究表明,NVMe、存储类内存以及基于意图的存储管理等前沿技术有望改变IT组织存储、管理和使用数据的方式。

 

几十年来,存储技术的进步主要是以容量和速度来衡量的。近年来,通过使存储变得更智能、更灵活且更易于管理的先进新技术和方法,这些稳定的基准得到了增强。

 

而在2020年,随着IT领导者寻求更有效的方式来应对由人工智能、物联网设备和众多其他来源产生的数据海啸,有望给原本发展平稳的存储市场带来更大的颠覆。以下是随着企业采用率的提高将在2020年带来更大颠覆的五种存储技术。

 

1.软件定义存储

 

由于得到自动化、灵活性、增加存储容量,以及提高员工效率的吸引,越来越多的企业正在考虑向软件定义存储(SDS)过渡。

 

软件定义存储(SDS)将存储资源与其底层硬件分开。与传统的网络附加存储(NAS)或存储区域网络(SAN)系统不同,软件定义存储(SDS)设计可在行业标准的x86系统上运行。软件定义存储(SDS)采用者受益于工作负载与存储之间更智能的交互、灵活的存储消耗以及实时可扩展性。

 

技术研究和咨询机构ISG公司首席顾问Cindy LaChapelle解释说:“软件定义存储(SDS)技术虚拟化了可用的存储资源,同时还提供了简化的存储管理界面,该界面将不同的存储池表示为统一的存储资源。”

 

软件定义存储(SDS)提供抽象、移动性、虚拟化以及存储资源管理和优化。该技术还要求管理者将对硬件作为最重要的企业存储元素的看法转变为对支持程度较低的参与者的看法。在2020年,管理人员将出于各种原因部署软件定义存储(SDS)。

 

LaChapelle说:“通常,我们的目标是通过减少管理工作量来降低运营成本。固态硬盘(SSD)技术正在改变组织使用和管理其存储需求的方式,使它们成为向软件定义存储(SDS)过渡的主要候选产品。这些技术为组织提供了更大的控制和可配置性,以实现正确的性能和容量级别,同时还优化了利用率和控制成本。”

 

选择对软件定义存储(SDS)的颠覆最小的方法要求对容量和性能的应用程序要求有清晰而透彻的了解。潜在的采用者还需要诚实评估其组织管理软件定义存储(SDS)环境的能力。根据内部专业技术水平的不同,具有预包装软件和硬件的软件定义存储(SDS)设备通常会提供最佳的采用过程。

 

2.NVMe/NVMe-oF

 

早期的闪存设备通过SATA或SAS连接,这是数十年前为机械硬盘(HDD)开发的传统接口。NVMe(非易失性内存Express)运行在外围组件互连Express(PCIe)层之上,是一种功能更强大的通信协议,专门针对高速闪存存储系统。

 

NVMe支持低延迟命令和并行队列,旨在利用高端SSD硬盘的性能。

 

卡内基梅隆大学TEPPER学院商业技术助理教授Yan Huang说,“与现有协议相比,它不仅为现有应用程序提供了更高的性能和更低的延迟,而且还为数据中心、云计算和边缘环境中的实时数据处理提供了新功能。这些功能可以帮助企业在大数据环境中脱颖而出。” NVMe对于数据驱动型业务特别有价值,尤其是那些需要实时数据分析或以新兴技术为基础的业务。

 

NVMe协议不仅限于连接闪存驱动器。它也可以用作网络协议。NVMe-oF(NVMe over Fabrics)的到来现在使组织可以创建具有与直接附加存储(DAS)相当的延迟的高性能存储网络。因此,可以在需要时在服务器之间共享闪存设备。

 

与以前的产品(例如SATA和SAS)相比,NVMe和NVMe-oF代表了性能和低延迟方面的飞跃。

 

存储制造商Viking Enterprise Solutions公司首席架构师Richard Elling说:“这可以实现以前无法实现或成本过高的新解决方案、应用和用例。”

 

迄今为止,缺乏健壮性和成熟度限制了NVMe/NVMe-oF的采用。Elling指出,“通过增强功能,例如新发布的基于TCP的NVMe,我们看到新应用程序和用例的采用急剧加速,尽管在早期采用阶段仅经历了适度的增长,但我们现在看到NVMe和NVMe-oF取得了长足发展,并在2020年加速了部署。”

 

3.计算存储

 

一种允许在存储层而不是由服务器CPU在主存储器中执行某些处理的方法,计算存储吸引了越来越多的IT领导者。

 

新兴的人工智能和物联网应用需要更大数量的高性能存储和额外的计算资源,但将数据移动到服务器的处理器既昂贵又低效。富士通公司解决方案实验室技术孵化器高级存储架构师Paul von Stamwitz说,“由于高性能的固态硬盘,将计算移近存储的趋势已经持续了好几年。”观察家认为,2020年将是该方法最终进入IT主流的一年。

 

von-Stamwitz解释说,“可以通过几种不同的方式来使用计算存储,从使用小型边缘设备在将数据发送到云平台之前过滤数据,到为数据库提供数据分类的存储阵列,再到为大型数据应用转换大型数据集的机架级系统。”

 

von-Stamwitz建议说:“NVMe和容器是计算存储的主要支持者。因此,如果他们还没有这样做,则IT经理应该计划过渡到基于NVMe和基于容器的基础设施。此外,管理人员可以确定可以从提高的计算存储效率中受益最多的应用程序,并与合适的供应商合作。”

 

4.存储级内存

 

预计存储类内存(SCM)的广泛采用已经有好几年了,而2020年可能是它最终实现的一年。虽然英特尔Optane、东芝XL Flash和三星Z-SSD内存模块都已经推出一段时间了,但到目前为止,它们的影响还没有完全发挥。

 

企业存储软件开发商Weka.io公司首席技术官Andy Watson说:“现在最大的不同是,英特尔公司已经使他们的Optane DCPMM永久性内存模块版本能够正常工作。这改变了游戏规则。”

 

英特尔公司的设备融合了快速但易失的内存和较慢但持久的NAND存储的特性。这种两个步骤旨在提高用户处理大型数据集的能力,同时提供内存的速度以及NAND的容量和持久性。

 

存储类内存(SCM)不仅比基于NAND的闪存要快,而且速度要快1000倍。Watson说:“这是微秒延迟,而不是毫秒。我们将需要花费一些时间来解决应用程序和基础设施意味着什么。” Watson预测,存储类内存(SCM)最初的大发展将是扩展内存,并指出第三方软件已经允许内存中的应用程序使用Optane来实现高达768TB的占用空间。

 

计划采用存储类内存(SCM)的数据中心将仅限于部署在使用最新一代Intel CPU(Cascade Lake)的服务器上,这一事实可能会削弱该技术的直接影响。。Watson说:“但是投资回报率可能变得不可抗拒,以至于它可能会推动数据中心升级的浪潮,以迎接与这场重大变革相关的不断发展的机遇。”

 

5.基于意图的存储管理

 

基于意图的存储管理将基于软件定义存储(SDS)和其他最新的存储创新,有望在2020年及以后改善存储架构的规划、设计和实施,尤其是对于那些处理关键任务环境的组织。

 

企业存储软件开发商Datera公司首席技术官Hal Woods说,“基于意图的方法可以为网络和现有应用程序带来与我们在网络中看到的相同优势,例如快速扩展,运营敏捷性。”他补充说,与传统的存储管理相比,该方法还可以将部署时间和管理工作压缩几个数量级,同时更不容易出错。

 

借助基于意图的存储管理,指定期望结果(例如“需要快速存储”)的开发商不会被管理开销所消耗,因此可以更快地配置容器、微服务或常规应用程序。

 

Woods说:“基础设施运营商可以管理应用程序和开发人员的需求,其中包括性能、可用性、效率和数据放置,并允许软件中的智能来优化数据环境,以满足应用程序的需求。此外,借助基于意图的存储管理,开发人员可以简单地调整存储策略,而不必费更多的时间人工调整每个阵列。”

 

Woods表示,部署、消耗、遥测、分析和软件定义存储(SDS)技术的连续和自主循环使基于意图的存储成为可能。”然后,软件定义存储(SDS)系统可以采用人工智能/机器学习技术,以持续确保满足客户指定的意图,甚至允许在人工智能/机器学习引擎提供有关改善客户环境的反馈时无中断地调整意图。

 

与任何颠覆性技术一样,基于意图的存储管理的缺点是部署与承诺价值之间的障碍。Woods指出,“基于意图的存储并非一刀切的技术。它在分散、大规模、关键任务的环境中提供了最大的价值,在这种环境中,提供开发人员的速度和操作敏捷性将对业务产生最大的影响。对于规模较小或不太重要的环境,诸如直接连接存储或超融合基础设施之类的方法通常就足够了。”

北京博恒视创科技有限公司是一家专业多媒体存储系统集成商。我公司联合美国Active Storage公司共同开发了Active媒体私有云共享系统、满足4k视频剪辑和大型真人秀节目制作的Active Storage光纤存储在线实时剪辑系统、满足每天100T的源数据同城或异地的数据分发与共享的远程数据复制与内容分发系统。8K电影全流程跨平台共享实时剪辑系统,现场实时调色及DIT管理系统,影视素材归档备份管理系统、海量数据自动化迁移保存系统、全媒体制播网系统等多种完全“订制化”的解决方案。2018年本公司开发出一套完整的数据安全保存系统,以“在线编辑,近线备份,离线保存”的三维立体式的解决方案,让客户数据在“生命周期”内安全的保存,没有后顾之忧,我们始终将客户的需求放在第一位,持之以恒,坚持创新,引领产品走向高容量、高带宽、高集成和人工智能化。


大型真人秀后期非编网部分成功案例:

深圳卫视《加油吧,新郎》、爱奇艺《流行之王》、北京卫视《歌手是谁》、湖南卫视《完美假期》、江西卫视《带着爸妈去旅行》、央视三套《幸福账单》、央视三套《急速少年》、湖南卫视《旋风孝子》、湖南卫视《妈妈的牵挂》、安徽卫视《国剧盛典》、安徽卫视《合唱先锋》、腾讯《拜托了冰箱》、黑龙江卫视《嘿,大兄弟》、山东卫视《家游•好儿女》、江西卫视《七天爱上你》、芒果TV《透鲜滴星期天》、CCTV《警察特训营》、爱奇艺《大学生来了》、爱奇艺《娜就这么说》、爱奇艺《我去上学啦》、浙江卫视《喜剧总动员》、芒果TV《黄金单身汉》、芒果TV《香蕉打卡》、芒果TV《不一样的偶像》、江西卫视《玫瑰之旅》、浙江卫视《开心俱乐部》、优酷《火星实验室》、内蒙古卫视《嗨,马上出发》、芒果TV《爸爸去哪儿》、芒果TV《我是大侦探》、央视《朗读者》、湖南卫视《我家那小子》、湖南卫视《幻乐之城》、湖南卫视《亲爱的客栈》、腾讯视频《创造101》、爱奇艺《偶像练习生》《青春有你》,湖南卫视《中餐厅》《亲爱的客栈3》等等真人秀节目后期机房


欢迎咨询

魏明

-------------------------------

北京博恒视创科技有限公司

电话: 18611689687(同微信号)

Add: 北京市朝阳区三间房东路一号懋隆文化产业创意园34栋

网址:www.active-storage.com.cn


本文为作者 魏明 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/130742