大数据时代长期存储面临的挑战与对策
长期存储提出的挑战
很多人对数据存储的时间考虑的比较短，能有五年就不错了。长期存储提出了什么样的挑战？这里有两个词，一个叫“Big Data”，是热词，还有一个“Long Data”是一个冷词。目前主流存储介质在保存时间方面是短板，硬盘平均寿命是5年，固态盘也只有5年，磁带长一点，大概10年，而人的平均寿命75岁，与人相关的信息至少要保持75年，包括银行存款、保险、住房等个人资料，以及手机拍摄的照片，最好一辈子保存下来；也包括政府、企事业单位、军队的数据都需要长期保存；重要档案还需要永久保存。
除了国家级的单位，需要长期保存的传统电影资料也是很困难的，胶片保存几十年，都已经很失真了。中央电视台资料馆，他们是用的磁带库有八万多磁带，长期保存下去也存在很大的问题，还有国家图书馆，国家投了大量资金。省级的保护工作就差多了，某文化大省古书有五十万册，现在有半数都损坏了，对我们文化遗产是非常大的损失。
一是数字资源的长期保存，对我们国家而言是极为重要的。比如说中国科学院有那么多所，所有科研项目都要永久存档保存；二是他们因此成立了国家数字资源长期工作保存体系工作组（NDPP），从法律法规到管理制度到技术体系，全方位都考虑到了，工作做的非常细致，三是正在规划建设国家文献战略储备库，投入巨大，一个建筑群都设计好了；四是技术层面还面临非常大的挑战，采用现有的技术，维持费用是与日俱增的，希望有更好的技术。在发言中，他们提到了我们十年前提出的概念——池光电融合的技术。经过十年努力，我们已经推出了相应的产品来。
对于国家级长期存储甚至是永久存储的需求，我们从事存储的研究机构和企业能不能满足需要？
很多行业信息非常重要，是丢不得的，一丢就会产生很大的损失。所以很多国家出台了强制性的法律。最有名的就是安然事件以后美国出台的塞班斯法案，强制企业要永久保留数据，用于打官司什么的，必须拿出不可篡改原始数据。美国各个行业有长期保存的法案，欧盟也规定了数据保留法案，规定每个行业数据要保存多少年，我们国家也陆续出台了各种各样的法案，去年规定要求电子病例最少要保存三十年，人的寿命75年，最少保存三十年。
互联网企业的冷数据存储负担将越来越不堪承受
除了很重要的信息以外，我们还有很多冷数据也是要长期保存的。
比如大家都在用的微信朋友圈。腾讯开发者大会讨论了这个问题，说每天光朋友圈上传的照片就是十亿张，第一天发布的时候很多人点赞，非常热，第二天数据急剧的变冷，第三天就没有人访问了。但朋友圈的照片又不能扔掉，腾讯从微信开始那天到现在的数据都在保留，保留在硬盘当中（三个副本），而且会一直保留下去，一天十亿张照片，应该说有上百万台硬盘在不停的运转，这就是越来越大的能源负担。虽然有一种技术使它休眠，但控制起来其实也有一定的问题。除了消耗硬盘运转的能源以外，还有冷却，这么多硬盘在一起发热很严重，硬盘一旦没有空调是很容易损坏的，这样这个成本是与日俱增。
互联网之父的担忧
还有一个更深刻的问题，互联网之父Vint Cerf先生2015年在一个大型科技会议上担心今天保留在计算机和互联网上的图片文件都将丢失，人类将进入一个数字黑暗时代，未来的人可能都不知道今天人的历史记录。他现在在谷歌的工作，就是研究如何长期保存互联网上的信息，也开展了范围极为广泛的调查，就是保存信息一百年的需求，结果调查回来的结论是信息的长期保存和在线是一个相当普遍的任务，这也引发了国际上研究的课题How preserve information for 100years？就是如何保存信息一百年。除了谷歌，还有学术界的CMU等也都做这方面的研究工作。
大数据长期存储面临四大挑战
一是寿命，现在存储介质的寿命与实际的需求有数量级的差别。我们的关注和研究才几年，却要它能使用几十年百年甚至更长的时间，有数量级的差距。
二是成本。信息越来越多，而且信息增长的速度是指数级的增长，都要保存下去，面临巨大的成本。
除了设备成本，还有数据迁移成本。数据迁移是目前的长期存储主要手段。75年各种数据迁移成本的比较。如果用硬盘五年就要换一次，把5个PB的数据需要1000个硬盘，五年换1000个，这样下来上百万个硬盘才能保存75年，设备成本很大。再一个，数据迁移的时候，还要花很多人力物力，能耗成本也是非常大的。总之，这个成本是相当大的挑战。
三是更新的挑战，以前用的软盘，技术的更新以及设备的更新，存储产品也在不断升级。
四是协议的更新。
来看看什么叫协议的一致性。
埃及象形文字保存的真好，每一个字都清清楚楚，但是谁也不知道是什么意思，信息其实是丢失了。这个问题怎么解决的？在18世纪法国一个探险队到埃及一个港湾城市罗塞塔（Rosetta）发现一块石碑（在英法两国战争之中辗转到了英国大英博物馆），上面有三个部分，分别是古埃及的象形文字，古希腊文和当时的通俗体文字，刻的是同样的内容，考古学家根据这个碑把协议找出来了，破解了失传千余年的埃及象形文之意义与结构，在博物馆里就知道写的什么意思了。为了表示感谢，埃及赠送了一个方尖碑给法国，安置在法国广场。有个翻译软件叫罗塞塔，就是根据这个故事来的。这就是协议的长期一致性，光物理保存下来还不行，软件这个协议还要一致。
如何应对挑战？
对策有两个，一是开发更长寿命更廉价的大容量存储设备，二是解决协议的一致性问题。
主流非易失性存储介质的寿命分析
目前主流存储介质，硬盘五年、磁带十年，固态盘靠电荷保存信息，更不可靠，随着密度提高，电荷越来越少，寿命越来越短，我们用很多技术保证它保存五年。
光盘寿命会长一些。CD刚出来的时候我就买了，到现在快40年了，还能放出歌曲来，后来又一个出了染料DVD，寿命短的，三年就会坏。蓝光可以保存50年，现在有一种M—Disc（千年光盘），一种熔融石英玻璃光盘，几乎可以永久保存。
对比认为，光存储是寿命潜力最大的存储介质。
光存储为什么寿命比较长呢？给大家一个启示。我们古老的东西保存都很长，中东古巴比伦谟拉比法典距今3800年，埃及莎草纸死亡之书，都是光存储。传统存储，如石刻、竹简、纸张上书写本质上都是对光的反射差别形成的信息记录，只要是光反射的介质寿命足够长，信息就可以长期保存。
光存储在大数据存储领域的优势
光存储的优势：一是长寿命，二是节能，介质与驱动器分离的，不存储的时候可以存放起来，抗电磁干扰、防水，飓风来的时候磁带、硬盘都会损坏，只有光盘还有。日本人把蓝光光盘放在海里泡两个月数据还能读出来。光存储还有一个优势是成本低廉，就在塑料片镀一层模板，对环境要求也不高。
光存储的劣势：一个是容量小，第一代蓝光光盘只有25G，后来50G，现在最高300G，硬盘固态盘起码高一个数量级；二是速度慢，光驱速度10M/s，比硬盘慢，比固态盘更慢，接近两个数量级的差别。
十年前，光盘当时音视频分发的功能和软件分发的功能即将被取代的前夜，光存储界探讨能否开发新的产品，发挥光存储的优势来克服光存储劣势，国内外工作者工作用了将近十年时间交出了答案——超大容量的光盘库。
没有一种各方面都理想的存储介质
谈到用途，应该说是这样，热数据用闪存介质，温数据用磁记录介质。冷数据和归档数据用光介质的时机已经到了，当前用磁盘更多，磁带库也不少，但Facebook已经用光存储存冷数据。
光存储未来有三种变革性的技术
光存储技术，在蓝光光盘容量到了1TB以后就到了极限，几乎就没有突破的可能了。如果再往后就靠波层，这个路走不很远了。
蓝光之后下一代变革性光存储技术。
2014年得了诺贝尔奖的突破光的衍射极限项目，澳大利亚科学家就是把这个技术用到光上，把光斑从300纳米理论上可以减少到九个纳米，这是非常大的容量上巨大的提高，至少可达15TB每盘，理论上可实现PB级。
最近有个新闻，说是微软公司将今年好莱坞影片“超人”刻在玻璃上可以永久保存。这个技术来源于英国南开普敦大学开发的纳米晶玻璃5维光盘，存储寿命可超过300亿年，1000度高温下不丢失信息。
结语
大数据长期保存，在当前和未来都是十分重要的技术。随着时间的演进，人们将越来越认识到它的重要性。光存储在数字资源长期保存具有独特的优势，目前已经有合适的产品，超大容量光盘库已经商品化、实现了实用，市场可以越来越多采用这种技术。
三种变革性的技术正在取得突破，使未来光存储在长期冷数据存储方面，应该具有绝对的优势。一个物理长效和协议的长效，一个硬的问题一个软的问题都是值得关注的问题。
来源：DOIT
QUALSTAR-超过35年的创新
为全球客户提供存档，备份和电源解决方案 中国区服务商
北京博恒视创科技有限公司是一家专业多媒体存储系统集成商。我公司联合美国Active Storage公司共同开发了Active媒体私有云共享系统、满足4k视频剪辑和大型真人秀节目制作的Active Storage光纤存储在线实时剪辑系统、满足每天100T的源数据同城或异地的数据分发与共享的远程数据复制与内容分发系统。8K电影全流程跨平台共享实时剪辑系统，现场实时调色及DIT管理系统，影视素材归档备份管理系统、海量数据自动化迁移保存系统、全媒体制播网系统等多种完全“订制化”的解决方案。2018年本公司开发出一套完整的数据安全保存系统，以“在线编辑，近线备份，离线保存”的三维立体式的解决方案，让客户数据在“生命周期”内安全的保存，没有后顾之忧，我们始终将客户的需求放在第一位，持之以恒，坚持创新，引领产品走向高容量、高带宽、高集成和人工智能化。
大型真人秀后期非编网部分成功案例：
深圳卫视《加油吧，新郎》、爱奇艺《流行之王》、北京卫视《歌手是谁》、湖南卫视《完美假期》、江西卫视《带着爸妈去旅行》、央视三套《幸福账单》、央视三套《急速少年》、湖南卫视《旋风孝子》、湖南卫视《妈妈的牵挂》、安徽卫视《国剧盛典》、安徽卫视《合唱先锋》、腾讯《拜托了冰箱》、黑龙江卫视《嘿，大兄弟》、山东卫视《家游•好儿女》、江西卫视《七天爱上你》、芒果TV《透鲜滴星期天》、CCTV《警察特训营》、爱奇艺《大学生来了》、爱奇艺《娜就这么说》、爱奇艺《我去上学啦》、浙江卫视《喜剧总动员》、芒果TV《黄金单身汉》、芒果TV《香蕉打卡》、芒果TV《不一样的偶像》、江西卫视《玫瑰之旅》、浙江卫视《开心俱乐部》、优酷《火星实验室》、内蒙古卫视《嗨，马上出发》、芒果TV《爸爸去哪儿》、芒果TV《我是大侦探》、央视《朗读者》、湖南卫视《我家那小子》、湖南卫视《幻乐之城》、湖南卫视《亲爱的客栈》、腾讯视频《创造101》、爱奇艺《偶像练习生》《青春有你》，湖南卫视《中餐厅》《亲爱的客栈3》等等真人秀节目后期机房
欢迎咨询
魏明
大客户部 Customer Department
-------------------------------
北京博恒视创科技有限公司
电话: 010-85368858 手机 : 18611689687（同微信号）
Q Q: 245606702
Add: 北京市朝阳区三间房东路一号懋隆文化产业创意园34栋