Active影视后期网络云制作中央存储解决方案

2020-09-11 11:10

随着4K摄影机的普及,越来越多的视频后期制作公司及个人都在寻找可满足4K编辑的主机和存储系统。由于4K的素材量远远大于标清和高清,因此存储系统的容量需求也不断攀升。目前企事业单位很多还局限于单机非编系统的应用下,一台非编主机连接一台非编存储系统,担负着视频编辑的重任,而随数据量不断的增加,拍摄机位的增多,一套非编系统的问题凸显:它不能多人协同编辑、它不能将视频素材直接共享,而满足4K编辑需求的网络共享存储非常少,导致很多企事业单位都还在使用原始的单机非编状态下,虽然有些单位已经拥有NAS存储系统,可以实现素材共享,但是由于NAS的读写性能偏低,无法直接在线编辑4k素材,导致用户只能将NAS存储系统中的素材下载到本地存储系统中再行4K编辑,编辑完成之后再将完成的数据导回NAS存储,以供他人使用,复制数据耗时过长,不是理想的应用方式。


雷电3存储:

雷电3是一种直连界面协议,常见在苹果(Apple)系统中以桌上型直连存储(DAS)出现。磁盘驱动器或存储系统通过雷电通道直接连接到计算机,任何客户端想要访问存储设备上的资源必须通过此计算机。由于所有的数据流都必须经过此计算机转发,因此计算机的负担比较重,也将是整个系统的瓶颈,此计算机的CPU、内存及I/O均影响存储的性能。


雷电3存储在4K后期制作中有时用来做单机专用存储,以取其成本低廉并提供一定的带宽供单机使用。由于单机作业工作站之间没有信息交流通道,难以进行有效的团队协作,造成效率低下,仅适合制作小型节目。常见的桌上型雷电3存储机关键组件多无冗余,有单点故障,其数据可用性和系统可靠性均低下,不适合在重要的后期制作项目中使用。

分布式存储:

广义地说分布式存储是把独立的存储单元(块存储或文件存储),用网络协议的方式和文件系统连接起来成为一个大的存储池。在中国的存储市场中,大家说的分布式存储通常是指横向扩展的网络连接存储(Scale-Out NAS),是用TCP/IP 网络传输协议和文件系统把多台独立带硬盘的服务器连接起来的文件存储池。我们在这一节主要探讨这种文件存储的特点。

分布式存储系统采用可扩展的系统结构,只需要IP网络和服务器就能够解决数据增加带来的容量问题,利用多台存储服务器分担存储负荷。分布式存储的IOPS较低不善长处理视频元数据这样的小文件,其在节点较少时有性能和效率瓶颈。当节点数达到一定规模后,其性能可达到很高的聚合带宽,提高了系统的可用性和存取效率,有效解决存储空间问题,还可以合理降低成本。


分布式存储因为其架构的灵活性、采用标准服务器和局域网(LAN)硬件使成本降低等方面的原因,让它有能力承担更多行业的需求。下面是使用分布式存储应该考虑的几个因素:


一致性:分布式存储系统需要使用多台服务器共同存储数据,而随着服务器数量的增加,服务器出现故障的概率也在不断增加。为了保证在有服务器出现故障的情况下系统仍然可用,一般做法是把一个数据分成多份存储在不同的服务器中。但是由于故障和并行存储等情况的存在,同一个数据的多个副本之间可能存在不一致的情况。


可用性:分布式存储系统需要多台服务器同时工作。当服务器数量(节点)增多时,其中的一些服务器出现故障是在所难免的。常见的分布式存储系统仅具有节点级别的硬件冗余,可能会对整个系统的可用性造成影响。


分区容错性:分布式存储系统中的多台服务器通过专用网络进行连接,对于网络环境和带宽要求相对较高。如果网络异常或者不稳定,会影响分布式存储的运行。由于无法保证网络是一直通畅的,分布式系统需要具有一定的容错性来处理网络故障带来的问题,这样就增加了系统的成本和管理的复杂性。

光纤存储:

由于TCP/IP协议在传输大数据特别是非结构化数据时的开销太大延时过高造成性能低下,工业界制定了光纤协议(Fibre Channel protocol)来解决这个问题。光纤存储(FC-SAN)是一种基于光纤协议的高速块存储。同样硬件配置下,由于先进的光纤协议,数据传输效率可高达分布式存储的数倍,单机可提供极高的IOPS和带宽,能兼顾大文件(视频流)及小文件(视频元数据)对存储系统的要求。我们常见的光纤存储系统多由企业存储发展而来,硬件具有组件级的完全冗余,包含了控制器和电源等关键组件的冗余,并带有快照,远程复制和云端接口等数据服务软件,其数据可用性和系统可靠性都非常高。


光纤存储结构复杂,需要专用的光纤交换机和光纤网络,使得硬件成本昂贵和管理复杂,对小型后期制作公司造成了负担。由于光纤存储技术已经非常成熟,加上在视频后期制作中的广泛应用,产品性价比也相当不错,其高性能带来的较高成本已渐被广大用户接受。光纤存储的管理复杂性在高可靠的系统中也慢慢变得不是大问题,许多产品具有自行防错、容错、纠错功能,很少需要专业存储系统工程师介入,一个系统管理员可以轻松的管理数PB的光纤存储系统。


目前中国市场上部分光纤存储采用了超融合架构,双控制器上带有多台虚拟服务器和网络扩展接口,省去了装置存储文件系统和应用软件的服务器,提高了系统的可用性。许多高档的光纤存储也支持横向扩展(Scale-Out FC-SAN),常见的产品可扩展至8个控制器(节点),把光纤存储单机高带宽的特性提升到一个新的水平。


大型影视后期制作公司可以用高速IP网络把数个PB级的光纤存储制作岛连在一起,取高性能后期制作网和全台网之优势和便利。

选择和范例:

在影视节目制作中,综艺节目对存储系统的要求比新闻节目、体育赛事和电视连续剧高。现在我们用4K超高清综艺节目作为一个范例来讨论如何选择后期制作存储系统。我们的考虑因素分别为容量、带宽、可用性和成本。


容量:存储容量主要由前期的摄像机数量和素材编码格式决定,常见的节目裸容量需求在1PB到5PB。这是上述四个因素中最容易满足的因素,除了雷电3桌上型存储,分布式存储和光纤存储都可以满足要求。


带宽:这是大型后期制作存储系统最具有挑战的性能要求,更高的带宽可以支持更多的工作同时进行。存储带宽主要由剪辑软件、剪辑轨数、编码格式和同时工作的剪辑师人数决定。保守估计4K超高清存储系统的平滑聚合带宽需求在10GB/s到20GB/s。如果带宽不够,不能支持全部员工同时工作,剪辑终端工作站会出现掉帧、不能流畅播放视频和系统卡死现象,轻则会影响工作进度和效率,重则会使工作完全停顿。


可用性:4K超高清存储容量大、系统网络组件众多,任何人为操作错误、元器件损坏、供电不稳定和外界环境影响都会造成存储系统性能低下甚至崩溃丢失数据,严重影响工作,造成灾难性后果。目前市场上部分存储产品的可用性可以达到非常高的水平,高达6个9(99.9999%),是大型4K超高清节目制作的首选。


成本:存储系统成本是一个重要的考量。从技术上看一个好的存储系统必须同时满足对容量、带宽和可用性的要求,缺一不可。如果因为预算不足,无法满足其中一两项要求,将会对未来的使用带来难以弥补的损害,存储系统会难以胜任许多4K超高清节目的制作。


我们在选择4K超高清后期制作存储系统时首先要确认所选产品的容量、带宽和可用性都能满足基本要求,其次要看在同样容量和可用性的情况下,每个产品的单位带宽成本,以便选择性价比最高的产品。


我们挑选了以下的存储系统作为范例来展示一个优秀的4K影视存储系统网络应有的配置。这是一个以光纤存储为基础的后期制作网络,采用全冗余高可用性设计,支持跨平台终端工作站,用虚拟机做元数据服务器,系统裸容量可达2PB,系统聚合带宽可达20GB/s,可以支持一个20剪辑师的后期团队制作4K超高清综艺节目。


综艺节目由于素材量大,制作周期短的特性,需要团队同时协作完成,所以光纤存储网络成为了高清制作的首选存储系统网络。4K超高清制作需要最少4倍于高清制作的存储容量和带宽,使得非综艺节目例如新闻制作、体育赛事和电视连续剧的素材量也急剧增大,对存储系统提出了更高的容量和带宽要求,光纤存储网络成了默认选择。目前80%以上的好莱坞4K影视后期制作和国内绝大多数大型高清综艺节目后期制作都采用光纤存储系统网络,这些客户用他们的订单投票决定了市场对产品和解决方案的选择。

计4K超高清制作存储系统 Active 的几点建议:


1.存储性能要求:4K超高清的编解码方式相对其他格式来说更加复杂,要实现流畅剪辑制作,单位时间内的运算量相对高清格式来说大很多倍。对存储出的性能要求会越来越高, Active-storage 采用双英特尔最新的至强 8 核处理器,高达 256GB 高速缓存,读取速度较上一代提升了30%,写入速度提升高达50%,2U 机架式, Active/Active 双控制器,内嵌服务器系统,无需单独服务器;Active内嵌 Windows、MAC、Linux 三种跨平台 FC-SAN 组网服务器和管理软件,满足未来不可预期的业务增长。


2.存储带宽要求:针对4K超高清视频的编解码方式以及采用的更高码率,大大增加了素材文件的大小,单位时间内读取,写入的信息量非常大。后期需要对音频音效进行处理合成,动画、转场特效、画面调色等合成做处理,所以要建立后台批量迁移、转码、集群渲染、合成的服务,保证生产效率。Active 采用超融合 SAN 架构,内嵌服务器系统,无需单独配置服务器,一方面节省了机柜空间,另一方面降低了用电能耗,减少运维成本。


3.稳定可靠:随着 4K/8K 的发展,素材数据量成爆炸性增长,对可靠性要求会越来越高, Active-storage提供 99.9999%的可靠性,从部件可靠,产品可靠,方案可靠全面保障业务高可用,满足最苛刻的可靠性的要求。


4.跨平台VSAN系统:4K后期工作站平台基本以 Windows ,MacOS ,Linux 三种操作系统为主,VSAN允许多台计算机通过高速光纤通道同时高速访问 MRAID 中存储共享数据,系统支持跨多个异构平台同时访问文件,Linux、Windows 和/或 Macintosh 操作系统中运行的应用程序并行访问同一文件存储区。不仅体现在系统操作平台与物理接口的兼容,还包括管理/开发平台,多传输协议的支持性等等。

5.兼容各种编辑软件:全面兼容Avid mcFinal Cut Pro/EDIUS/AE/索贝/达芬奇等主流非编软件

6.Active 专为4K超高清影视制作流程打造:

1.磁盘阵列开机采用硬盘逐盘加电技术,提高安全性;

2.全系统冗余,所有关键部件的故障转移和故障恢复;

3.具备一键式开启/关闭设计,简单安全万无一失;

4.自动碎片整理和文件序列优化,无需人工介入 ;

5.最快的磁盘重建时间,一到两个小时重建一块10TB磁盘,快速高效;

6.断电保护,内置BBU电池缓存设计,非正常断电后保持 250 秒自动加电工作,保障素材安全;

6.磁盘介质完整性检查,磁盘上额外的 8 byte/sector 用于误差检测与校正;

7.成本性价比高:免费3年售后服务,我们向用户提供长期技术咨询和系统支持,对于客户的问题,提供客户满意的答复,对于客户对现有设备改进的要求,提供新技术支持,售后运维成本低。


北京博恒视创科技有限公司是一家专业多媒体存储系统集成商。我公司联合美国Active Storage公司共同开发了Active媒体私有云共享系统、满足4k视频剪辑和大型真人秀节目制作的Active Storage光纤存储在线实时剪辑系统、满足每天100T的源数据同城或异地的数据分发与共享的远程数据复制与内容分发系统。8K电影全流程跨平台共享实时剪辑系统,现场实时调色及DIT管理系统,影视素材归档备份管理系统、海量数据自动化迁移保存系统、全媒体制播网系统等多种完全“订制化”的解决方案。2018年本公司开发出一套完整的数据安全保存系统,以“在线编辑,近线备份,离线保存”的三维立体式的解决方案,让客户数据在“生命周期”内安全的保存,没有后顾之忧,我们始终将客户的需求放在第一位,持之以恒,坚持创新,引领产品走向高容量、高带宽、高集成和人工智能化。


大型真人秀后期非编网部分成功案例:

深圳卫视《加油吧,新郎》、爱奇艺《流行之王》、北京卫视《歌手是谁》、湖南卫视《完美假期》、江西卫视《带着爸妈去旅行》、央视三套《幸福账单》、央视三套《急速少年》、湖南卫视《旋风孝子》、湖南卫视《妈妈的牵挂》、安徽卫视《国剧盛典》、安徽卫视《合唱先锋》、腾讯《拜托了冰箱》、黑龙江卫视《嘿,大兄弟》、山东卫视《家游•好儿女》、江西卫视《七天爱上你》、芒果TV《透鲜滴星期天》、CCTV《警察特训营》、爱奇艺《大学生来了》、爱奇艺《娜就这么说》、爱奇艺《我去上学啦》、浙江卫视《喜剧总动员》、芒果TV《黄金单身汉》、芒果TV《香蕉打卡》、芒果TV《不一样的偶像》、江西卫视《玫瑰之旅》、浙江卫视《开心俱乐部》、优酷《火星实验室》、内蒙古卫视《嗨,马上出发》、芒果TV《爸爸去哪儿》、芒果TV《我是大侦探》、央视《朗读者》、湖南卫视《我家那小子》、湖南卫视《幻乐之城》、湖南卫视《亲爱的客栈》、腾讯视频《创造101》、爱奇艺《偶像练习生》《青春有你》,湖南卫视《中餐厅》《亲爱的客栈3》等等真人秀节目后期机房


欢迎咨询

魏明

-------------------------------

北京博恒视创科技有限公司

电话: 18611689687(同微信号)

Add: 北京市朝阳区三间房东路一号懋隆文化产业创意园34栋

网址:www.active-storage.com.cn

本文为作者 魏明 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/130684