非编系统:存储阵列方案,4K&8K存储解决方案
- 前言
自文化产业的支持力度越来越大,文化产业蓬勃发展,更随着的前后期拍摄产品价格的亲民化,以及后期制作软件的智能化,致使进入这个行业的人员越来越多,门槛也越来越低。更甚至由于新媒体网络视频的出现,网络大电影突然的兴起。这些发展,对音视频后期制作的需求也不断攀升,后期制作单位、制作工作室、个人制作也层出不穷。数据量的增长也突飞猛进,清晰度也从过去画质是标清和高清,到现在是2K、4K,以及未来的8K,工信部也在2018年末对广电行业的音视频应用提出了“加速4K普及,培育8K生态”的口号。
从前期的拍摄开始,所有提供摄像机厂家已经全部以4K为基本,甚至有些摄像机厂家已经推出8K摄像机(比如:美国RED公司),目前已经无法找到4K以下摄像机。因此各个视频拍摄者都已经采用了4K拍摄,根据不同的需求,最后提供不同格式的素材(比如提供给互联网流媒体行业的、提供给电视台行业的、提供给电影行业的等)。
2018年5月随着中央电视台的4K标准发布(XAVC格式等),标志着中国全面进入4K时代,各个省台和部分市级电视台都将陆续进入4K编辑和播出。
- 问题
前期已经以4K拍摄为基础,后期的音视频制作大部分编辑者也希望用直接拍摄的4K素材进行编辑,过去由于对清晰度要求不高,以及后期制作设备昂贵,甚至读写性能不佳,导致大部分用户还在对素材进行转码,降低视频码流,从而实现低成本制作。而现在编辑者为了节省转码的时间,基本都希望直接对摄像机拍摄的素材进行RAM档编辑,因此对制作的主机和存储系统都提出了较高的要求,尤其是对存储系统的读写性能要求提高了很多,不仅需要后期剪辑存储有大容量的支持,还需要有稳定的超高读写性能。
以往视频转码(将高视频码率转成低视频码率)以后再编辑对存储读写带宽要求不高,而现在直接对RAM档进行编辑,存储系统的性能成为了瓶颈。而且当数据量越来越大,剪辑工作流程的改变,如何提高剪辑效率,以及共享视频素材的编辑方式也越来越被用户所亲耐。简单、低成本、高效率的共享编辑也是大部分后期工作者希望用到的存储系统。
- 单机非编存储解决方案
Accusys单机非编存储系统解决方案,目前是解决4K和8K编辑的性价比最高的存储系统。
Accusys来自宝岛台湾,成立于1995年,具有着20多年的存储系统研发和生产经验,曾经也是美国Apple公司xServerRAID存储系统的供应商,美国Apple公司在2005年以xServerRAID一个存储系统问鼎全球存储供应商第五大供应商,也就是后面的实际存储供应商Accusys也成为了幕后的全球第五大存储供应商。Accusys在2009年进行了大范围的转型,看到了视频编辑行业的未来发展,大力研发和生产广电行业的超高性能存储系统,因此诞生了今天的PCIe存储系统和雷电存储系统,及共享存储系统解决方案。
a) PCIe存储系统
Accusys Exasan存储系统是QSFP接口(传输协议PCIe3.0x4 32G)的存储系统,采用了桌面型(A08S4-PS和A12S3-PS)和机架型(A16S3-PS)两种设计,满足不同用户对存储容量和性能的需求。Windows主机插入一张Accusys的Z2M-G3 PCIe通道卡,通过PCIe线缆与存储系统相连,根据不同的盘位数来提供不同的读写性能。Apple 的Macpro可以通过C1M-G2雷电2转PCIe转换器实现连接、而iMacpro也可以通过C2M-G3雷电3转PCIe转换器实现连接。A08S4-PS是8盘位PCIe存储系统,读写性能为1000-1300MB/s;A12S3-PS是12盘位PCIe存储系统,读写性能为2000-2300MB/s;A16S3-PS是16盘位PCIe存储系统,读写性能为2500-2900MB/s;
可以满足4K和部分8K的视频编辑,以及4K的视频调色应用等;支持不同操作系统的工作站,比如windows、mac和linux。
由于Exasan的灵活性,使得部分用户可以不用为某一台工作站都配置一台存储,只利用Exasan的不同连接配件,就可以实现多台不同接口的工作站连接一台Exasan存储系统。
b) 雷电3存储系统
雷电接口目前在PC主机厂家越来越被接受,部分PC主板以及将雷电3接口(TYPE-C/USB-C,40Gb)内嵌主板之上,还有一些PC工作站厂家已经研发生产了雷电3转接卡,因此PC主机工作站也可以通过雷电3接口与Accusys的Gamma系列存储连接,从而获得性价比更高的存储解决方案。而在Apple的工作站上雷电接口已经是标配。
Accusys的雷电3单机桌面存储系统,分为Gamma8和Gamma12两款,读写性能分别为1000-1300MBs/s和2000-2300MB/s。完全可以满足4K、和部分8K视频编辑、调色等应用。
c) 8K非编及调色解决方案
当其他存储厂家还在为4K存储奋斗的时候,Accusys已经开始布局8K的解决方案。Accusys的MAX24,采用了PCIe主机接口,两台12或16盘位存储结合,使用了硬件RAID50和60技术,不仅提高了存储的读写性能,还提高了数据的安全性。在此方案中,Windows/Linux工作站通过Z2N-G3 PCIe主机通道卡连接到MAX24上;而Apple的iMacpro系统,则通过C2M-G3雷电3转PCIe转换器连接至MAX24,工作站读写性能可以获得3500-4500MB/s。完全可以满足8K编辑和调色等后期制作的应用。
- 性价比超高的雷电共享编辑系统
有了高性能的单机存储系统,就够了吗?不,很多用户已经开始意识到高性能的单机存储系统虽然给他们带来了完全可以对RAM进行编辑、调色等应用,但是数据量过于庞大,到不同工作流程需要共享素材的时候,发现素材无法共享,比如编辑站点完成编辑以后,如果将素材和结果给调色、特效等工作站?以往只能讲数据进行复制,大量的数据复制耗时严重,降低了整个工作效率,因此后期制作者越来越意识到,素材共享,尤其是高画质的素材共享是多么的重要,制作网由此诞生。
制作网的出现为很多单位带来的福音,它不仅可以共享素材、流程化的方式,大大提高了制作效率。所以有条件的单位都在不断升级后期制作设备,也包含制作网的搭建。可以实现视频素材共享的方式只有两种,一种就是NAS架构(网络附属存储),和SAN架构(存储局域网)。NAS采用了我们熟悉的IP网络,部署方便快捷,成本相对低廉,但是传输性能有限,对标清高清的制作还可以支持,一旦上升到2k、4k甚至8k的制作,就有很大问题。及时采用全万兆网的方式,也有很大的局限,以及成本也非常高昂。SAN架构虽然性能扩展性很好,但它的复杂和高昂的成本,也让很多中小型用户望而却步。
Accusys依靠着强大的研发团队,在雷电存储市场中为全球用户提供了独树一帜的雷电共享存储系统,Accusys拥有全球领先的PCIe存储交换技术,在此基础之上研发出了雷电存储交换,2016年首次将此技术用于雷电2时代,2018年再次升级该技术,将雷电3接口和PCIe接口结合于一台存储系统之上,用于了雷电3接口共享存储系统(将雷电交换技术内嵌于存储系统控制器上)。
T-Share系列是Accusys的雷电3共享存储系列,其产品分为桌面型A12T3-Share和机架型A16T3-Share。每台T-Share存储系统都支持4个雷电3主机端口和一个PCIe主机端口,因此每台T-Share存储通常可以支持4-5台非编工作站。
a) 4-5台工作站非编网
T-Share存储系统采用了存储行业最先进的SAN架构,共享给每个工作站都是物理层的磁盘,因此需要第三方文件系统支持。
上图架构中,MDC服务器就是第三方文件系统(支持Stornext、Tiger、BWFS等)管理服务器,它通过PCIe通道卡与T-Share存储的PCIe端口连接(SAN架构为双网架构,以太网进行Metadata(元数据)传输,是进行此网络的管理控制。大量的数据是通过PCIe和雷电3端口进行传输),其余4个非编工作站采用雷电3接口直接与T-Share相连,同时连接以太网。一个简单、高效的共享非编网络就此形成。
用户完全可以在此解决方案中实现他们的素材共享,和一套完整的工作流程(剪辑、特效/合成、调色、音频)。“麻雀虽小,五脏俱全”这样的比喻太适合Accusys T-Share共享系列的存储解决方案了。此方案不仅可以解决4K剪辑,甚至还可以满足4K调色的应用。单台T-Share存储可以提供2000-2500MB/s的读写性能,当一台剪辑或调色工作站工作时就可以获得此性能。当4个工作站同时工作时,由于机械硬盘的随机读写性能比较差,因此总读写性能会降至1200-1500MB/s,即使这样的性能,也完全可以支持多层的4K剪辑。当然如果通过增加扩展柜,使得机械硬盘个数增加一倍甚至更多时,其读写性能也会恢复到2000-2500MB/s。
此方案时候小型工作组级的单位使用,或者是电视台某个栏目的应用等,总存储容量多达A12T3-Share 168-672TB、A16T3-Share 224-896TB。
当然此非编制作网,不仅仅可以支持Windows系统,Apple Mac系统也完全支持,比如iMacPro已经完全内嵌雷电3接口,只要我们配置合适的SAN共享文件系统,就可以实现Windows和MAC混合编辑。
此为全Mac系统非编网解决方案,MDC服务器采用了Macmini为主机,利用Apple xSAN共享文件系统实现数据共享。
b) 8-9台工作站非编网
在非编网中4-5台非编网有时候是不够的,T-Share存储系统的灵活性再次发挥了作为,灵活的扩展能力使得非编可以扩展到8-9个客户端。Accusys为了T-Share解决方案的灵活性,又研发生产了ThunderBox这个PCIe共享设备,它具有4个PCIe3.0x4端口,可以连接4台T-Share存储,也可以连接非编主机。
方案中,MDC服务器也是通过PCIe主机卡,连接到Thunderbox上,两台T-Share存储系统也是通过PCIe端口连接至Thunderbox上,8台联想P920工作站通过雷电3接口分别连接到两台T-Share存储的雷电3接口上,这样一个完整的SAN架构就实现了,当然SAN是不能缺少以太网的,所以以太网交换机是必不可少的。这样的非编网,不仅降低了搭建的难易度,还降低了总投资成本,又不失高读写性能。非常适合中小型的非编网应用。您可以在此非编网中,拥有多个剪辑工作站、一台调色工作站、一台特效/合作工作站、及一台音频工作站,一个完整的非编工作流程再次实现。
当然当遇到全Mac系统非编网时,T-Share依然可以通过Apple自身的xSAN共享文件系统实现共享编辑全流程。
以上方案支持的存储容量多达A12T3-Share 336-1344TB、A16T3-Share 448-1792TB。
- 多台混合非编网
- 雷电3混合非编网
在非编制作网的需求中,往往会有混合平台的出现,经常会发现后期制作单位有Windows工作站,也有Mac工作站。Accusys T-Share解决方案依然可以实现混合平台共享素材。
在混合共享制作网中,MDC服务器需要第三方同时可以支持Windows和Mac系统的共享文件系统(比如Tiger、Stornext等)。
Accusys T-Share的解决方案灵活多变,每个用户都有可能是一个独特的、且属于自己的T-Share雷电共享非编解决方案。具体需求请联系Accusys中国。
a) PCIe混合非编网
客户的需求是多种多样的,虽然我们雷电共享制作网可以满足混合编辑(Windows和Mac系统共存),但是由于客户端数量、存储容量、以及性能的限制,还是不能满足一些用户对大容量、高性能的需求。
Accusys的PCIe存储交换机解决了以上部分用户的需求,它是传统的SAN架构存储系统,可以支持11-12个非编工作站,通过第三方SAN文件系统,实现了混合非编网(Windows、Mac及Linux)。
Accusys A16Q4-G3是此解决方案的核心存储交换机,可以支持Accusys Exsan系列的所有存储系统。它具有12个主机端口,和4个存储存储端口。工作站不管是PC还是Mac系统,都有不同的配件实现PCIe的连接。MDC服务器依然需要,它依然是完成素材共享的主要部件。此方案的读写性能可以获得6000-8000MB/s的总读写带宽,可以满足4K甚至8K剪辑和调色等后期制作应用的需求。总存储容量从112-3584TB不等,可以满足所有中小型后期编辑的需求。
迪蓝科技为客户提供专业的解决方案和运维服务,产品包括:融媒体系统、演播室系统、录播系统、非线性编辑系统、影视调色系统、媒体资产管理系统、网络视频直播系统、共享存储系统、以及数字媒体内容管理平台等。