Active存储知识 云计算的数据存储的关键技术

2020-08-07 10:46

随着整个社会信息化程度的不断提高,特别是在物联网和移动互联网的大力推动下,各行业的应用信息处理和数据服务的规模越来越大,各类数据密集型应用层出不穷,企业的信息系统、搜索引擎、各类互联网服务、航天、新能源、核能模拟、地球物理、气候预测以及生物信息、太空探索等科学计算类应用所产生的数据总量呈现几何级数增长,IDC的研究报告指出,到2025年全球新创建的数据将达到175ZB;企业对实时数据需求增加,到2023年实时数据占全球数据圈24.5%的份额;未来全球将有超过70%的企业选择多云部署模式,到2023年42.4%的企业将采用边缘 核心的组合架构,核心数据中心的数据存储容量占比将超过50%。数字化信息规模的爆炸式增长推动了人们对信息存储的巨大需求。图灵奖获得者 Jim Gray提出了一个存储界的新摩尔定律,即每18个月新增的存储量等于有史以来存储量之和,UC Berkley研究显示,未来3年内所产生的数据将超过过去4万年中产生数据的总和,且93%新生成的信息将以数字形式存在。庞大的数据量在为人们提供更加智能和便捷服务的同时,也极大地增加了人们发现有用知识的难度。

云计算环境下,海量的数据存储在云中,云的数据存储能力和计算能力以资源服务的方式呈现给用户,而云中的存储和计算资源则是由大量不可信节点动态组合构建而来,云中海量数据的存储最终分布式地落在各个不可信节点上,这就对部署在不可信节点上的分布式存储模型提出了新的挑战。如何高效地对云存储系统中的海量数据进行存储和管理,最终以资源服务的方式呈现给用户,已经成为云计算时代面临的新考验,也成为当前热点研究领域之一。


Gartner研究显示,我国目前在全球云计算服务市场中所占份额虽然仍较低,但增长迅速,年均增速达到40%,未来与国外在云计算方面的差距将逐渐缩小。其中,大型互联网企业是目前国内主要的公有云计算服务提供商,百度推出了网盘、相册、通讯录等云服务;新浪和百度推出了面向开发者的PaaS云平台服务,已经吸引了大量的中小企业和开发人员;腾讯、阿里巴巴和盛大等互联网企业也先后推出了不同层次、不同类型的云服务,包括云主机、云服务器等IaaS服务,云数据库、云引擎、云存储和云硬盘等PaaS服务,以及通讯录同步、个人网盘等SaaS服务。


用友、金蝶等传统企业管理软件厂商也在云计算领域加大了投入,用友发布了云战略白皮书,将其传统的企业管理软件以SaaS模式对外服务,同时也开始构建企业私有云PaaS平台。另外,随着用户对云计算服务认可程度越来越高,使用Zoho、八百客等国内领先的SaaS服务提供商云服务的用户越来越多。国内的云计算产业环境和技术条件已经具备相当的基础,进入了快速发展期。

在如今的云计算时代,特别是在移动互联网的推动下,新的互联网服务类型层出不穷,博客、SNS、微博、视频共享、图片共享、位置服务等后Web2.0应用不断涌现,产生的数据量呈爆炸式增长,如何有效对这些数据进行存储、管理和处理已经成为当今互联网公司面临的严峻挑战。

云中的数据存储问题是伴随着云计算而产生的,云计算带来的IT变革,带动了大量云服务的产生,方便了人们的生活,推动了社会信息化程度的快速提高,各行业的应用信息处理和数据服务的规模快速增长,信息的处理需求越来越大,企业的应用数据、互联网服务数据和科学计算应用的数据规模迅速增大,从KB、MB、GB到TB直到现在的PB级别,而且很快就会对更高的ZB和EB级别的数据存储处理提出要求。


为了适应存储容量不断增长的要求,存储技术和结构也在不断地进化,先后经历了从顺序访问的磁带到支持随机读取的磁盘、从单块磁盘到多块磁盘组成的RAID磁盘阵列,从单节点存储阵列到多节点阵列,再到存储网络系统的发展历程。目前广泛应用的网络存储系统主要有四种:面向对象存储(Object Store Based,OSB)、存储区域网络(Storage Area Network,SAN)、直接附加存储(Direct AttachedStorage,DAS)和网络附加存储(Network Attached Storage,NAS),在云计算环境下,存储结构也在发生新的变化。


在云计算环境中,一切皆服务,用户使用云进行数据的存储,并不是直接使用某一个存储设备,而是使用整个存储系统提供的数据存储服务。面向云计算的数据存储系统一方面作为云计算服务的底层数据存储的基础设施,另一方面又可以作为存储服务,提供直接针对最终用户的数据存储服务和通过应用系统的间接数据访问等服务形式,Dropbox、iCloud、Skydrive和GoogleDrive等网络硬盘、在线存储、在线备份服务都是众多存储服务形式之一。因此,面向云计算的数据存储系统的核心是应用软件与存储设备的结合,将位于网络中的大量不同类型的存储设备通过分布式文件系统、集群软件等整合到一起协同工作,构建出一个虚拟的存储资源池,然后基于资源池对外提供数据存储接口和业务访问服务,实现存储设备向存储服务的转变。首先,云存储系统要保证高可用、高可靠和经济性,通常将数据分布式存储,采用副本冗余的方式保证数据的可靠性和可用性;其次,云存储系统要具备良好的扩展性,可以在不中断服务的情况下,通过简单添置机器或者磁盘存储来扩展系统,满足不断增长的数据存储和用户服务需求;最后,云存储系统需要能够支撑大量用户的并发访问,尽可能地为所有用户提供服务。因此,面向云计算的数据存储技术还必须具有低时延、高吞吐率和高传输率的特点。

北京博恒视创科技有限公司是一家专业多媒体存储系统集成商。我公司联合美国Active Storage公司共同开发了Active媒体私有云共享系统、满足4k视频剪辑和大型真人秀节目制作的Active Storage光纤存储在线实时剪辑系统、满足每天100T的源数据同城或异地的数据分发与共享的远程数据复制与内容分发系统。8K电影全流程跨平台共享实时剪辑系统,现场实时调色及DIT管理系统,影视素材归档备份管理系统、海量数据自动化迁移保存系统、全媒体制播网系统等多种完全“订制化”的解决方案。2018年本公司开发出一套完整的数据安全保存系统,以“在线编辑,近线备份,离线保存”的三维立体式的解决方案,让客户数据在“生命周期”内安全的保存,没有后顾之忧,我们始终将客户的需求放在第一位,持之以恒,坚持创新,引领产品走向高容量、高带宽、高集成和人工智能化。


大型真人秀后期非编网部分成功案例:


深圳卫视《加油吧,新郎》、爱奇艺《流行之王》、北京卫视《歌手是谁》、湖南卫视《完美假期》、江西卫视《带着爸妈去旅行》、央视三套《幸福账单》、央视三套《急速少年》、湖南卫视《旋风孝子》、湖南卫视《妈妈的牵挂》、安徽卫视《国剧盛典》、安徽卫视《合唱先锋》、腾讯《拜托了冰箱》、黑龙江卫视《嘿,大兄弟》、山东卫视《家游•好儿女》、江西卫视《七天爱上你》、芒果TV《透鲜滴星期天》、CCTV《警察特训营》、爱奇艺《大学生来了》、爱奇艺《娜就这么说》、爱奇艺《我去上学啦》、浙江卫视《喜剧总动员》、芒果TV《黄金单身汉》、芒果TV《香蕉打卡》、芒果TV《不一样的偶像》、江西卫视《玫瑰之旅》、浙江卫视《开心俱乐部》、优酷《火星实验室》、内蒙古卫视《嗨,马上出发》、芒果TV《爸爸去哪儿》、芒果TV《我是大侦探》、央视《朗读者》、湖南卫视《我家那小子》、湖南卫视《幻乐之城》、湖南卫视《亲爱的客栈》、腾讯视频《创造101》、爱奇艺《偶像练习生》《青春有你》,湖南卫视《中餐厅》《亲爱的客栈3》等等真人秀节目后期机房


欲了解详情,欢迎咨询


魏 明

-------------------------------

电话: 18611689687(同微信号)

Add: 北京市朝阳区三间房东路一号懋隆文化产业创意园34栋

网址:www.active-storage.com.cn

本文为作者 魏明 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/129760