后期视频编辑如何选择存储系统
随着广电影视行业的发展,视频分辨率的不断提升,从标清、高清、2k到4k,甚至8k等。对非编软件、工作站及存储系统都提出了更高的要求。对于视频剪辑师来说,更多关心的是用什么剪辑软件,用什么平台的工作站,很少会有人想到用什么样的存储系统。因为存储系统对于后期制作人员来说是陌生的。所以我们写这篇文章对存储系统做个介绍,并且也介绍一下在后期非编应用中如何选择一个合适且专业的存储系统。
首先介绍存储系统的两个关键指标: IOPS值 和 带宽 。大部分存储介绍都不会涉及到对这两个指标,但是在这里必须要首先介绍,因为这两个指标是决定了存储系统是否适合用于广电领域的视频编辑应用。
1. IOPS。IOPS(input/output operations per second)是指每秒钟输入输出(读写)次数。它的意思是一个存储系统每秒可以处理多少个输入输出(读写),我们叫IO。可能太专业了,大家听不懂,没关系,我用通俗的语言解释。比如一个存储系统指标写着IOPS值是10W个,它代表着这个存储处理IO的能力,也就是一秒钟可以处理10W个输入输出。通常这样的应用是用在数据库领域,比如电信的计费系统,IO大小非常小,几KB甚至零点几KB的数据一个IO,但是IO量很大。比如一个地区有10W人同时打电话,计费系统就会记录这个时间内10W人在打电话、打了多长时间、打给了谁;这每个都是一个IO,数据很小,但是量很大,如果存储系统处理能力无法满足每秒10W个IO,那么就有可能丢失数据了。所以像这样的数据库应用就必须要求IOPS值越高越好。
上图中描述了存储系统的IOPS值
2. 带宽(Throughput吞吐量)。带宽是指存储系统的每秒最大的传输性能。比如600MB/s,或者2400MB/s。它代表每秒要有2400MB的数据量一次通过存储系统。这个和IOPS恰恰相反,IOPS是要求每秒小数据输入输出量的总和,带宽是每秒可以一次传输多大的数据量。两个指标是背离的,当存储系统IOPS值越高,带宽就越低;带宽越高,IOPS值就越低。因此专业存储系统就诞生了。把存储系统IOPS值调到最高时,它就适合数据库的应用;把存储系统带宽调到最高时,它就适合大数据传输应用,比如视频流,尤其是越大的视频文档,传输效果越好。如果某个存储系统说IOPS很高,带宽也高,那您就被忽悠了。两个指标都好,那它对哪个应用都不好。所以用于数据库应用的存储系统,就必须IOPS高;而用于视频编辑领域的存储系统,就必须要求带宽高。专业应用需要专业存储系统。
上图体现了IOPS和带宽之间的关系
有了好的带宽是不是对视频编辑就够了吗?答案是否定的,为什么呢?如果您的存储有很高的带宽,可是带宽却不稳定,即使带宽再高依然无法满足高性能应用的要求。这是为什么呢,因为视频流它需要一个稳定的性能(性能不平稳,就会导致丢帧、卡屏等现象),这对一个视频流来说是最低要求,比如4k无压缩视频要进行调色应用,按照4096*2160的分辨率,16bit色深,24帧每秒的画面,其码流大概为1215MB/s左右。这意味着在您编辑这个码流的视频时,其存储性能带宽最低值必须高于1215MB/s,仅仅高于它一点就够了吗,完全不行,您必须选择一个性能要高于1215MB/s的存储系统,甚至要高于20%才行,也就是您至少要选择一台1500MB/s以上的存储系统。
上图显示了一个读写性能都非常平稳的某存储系统。
影响存储系统性能有几个方面,一是硬盘,二是存储系统本身,三是数据量。怎么和数据量也有关系?对有很大关系,当数据量越来越多时,超过总容量50%以上,存储的性能就会下降,到80%-90%的时候,性能下降更明显,如果存储系统本身不行,说不定超过90%,基本就无法工作了。因此这1500MB/s还不能是存储系统最高性能,最好是最低性能。当然如果您选择这么高性能的存储去应用在标清、高清或2K,那就没有什么问题,因为毕竟这些视频对性能的要求远远低于4K的要求。
上图是一个读写性能不稳定的存储系统,虽然读有2299MB/s,此值是一个平均值,其最低的读性能已经降至1500MB/s以下,所以如果您是一个1900MB/s 4K的应用,这个存储就完全不适合。
存储系统的分类有3种:第一种是控制器上的分类;第二种是从连接上分类;第三种是从协议上分类。
1. 从控制器上分3类:RAID(Redundant Arrays of Independent Disks)卡+JBOD存储系统;RAID控制器存储系统;x86平台存储服务器。
a) RAID卡+JBOD存储系统,我相信视频行业用户用得很多,就是用在非编工作站上插入一张RAID卡,外接一台SAS JBOD(扩展柜),用最多的就是8盘位(也有12/16/24盘位)。这种方式成本低廉,受很多业内的工作者所青睐。RAID功能都在那张RAID卡上,而SAS扩展柜根本没有任何RAID功能。
b) RAID控制器存储系统,这是专业级存储系统普遍采用的架构,也就是在存储系统上配置了一片RAID控制器(通常采用的都是IOP处理器),所有RAID功能都在此控制器上实现,非编工作站只需要插入一张没有任何RAID功能的连接卡,我们称之为HBA(Host Bus Adapter)卡。有人可能会问,RAID卡和RAID控制器有什么区别,不都是可以做RAID吗?只不过前者插入在主机中,后者是放在存储系统中。其实区别大了,虽然都是具有RAID基础功能,但是RAID控制器由于是在整个存储系统中,它还具备很多的管理和监控功能,它需要管理和监控硬盘、风扇、电源。整个存储机箱设计,还要兼顾散热的结构设计、防静电等等。因此RAID控制器的设计和成本远远高于RAID卡。而RAID卡只需要有RAID功能和连接通道就可以了。
c) x86平台存储系统,这种架构是最近几年出现的,所谓x86平台是指基于Intel CPU体系结构而组建的主机系统(具体的技术内容在此不讨论,有兴趣可以去搜索引擎上搜索一下吧)。我们通俗一点讲,就是用基于Intel CPU的服务器主板(当然任何主板都行),然后通过软件RAID方式组建成的一种存储系统。比如用某种存储服务器机箱(24颗硬盘),嵌入一片服务器主版,用上Intel的CPU,再插入一张RAID卡,将RAID卡于存储服务器中的背板连接。再装上Linux或Windows操作系统,对外利用以太网作为主机接口,这样一台简单的NAS架构的存储系统就组装完成,RAID功能使用那张RAID卡的功能就完全可以。当然随着技术的发展,目前也有存储原厂,重新设计了存储控制器,放弃了IOP处理器的架构,利用了Intel CPU的架构,组件成一台控制器架构的存储系统。
2. 从连接上分类,也可分为3种:DAS/NAS/SAN。
a) DAS(Direct Attached Storage),直接附属存储。此架构是在非编工作站中插入一张HBA(Host Bus Adapter)卡,将存储系统直接和HBA卡连接。凡是将存储系统直接连接到非编工作站上的方式,都视为DAS架构,不管您采用任何传输协议、任何主机接口。哪怕是可以实现SAN架构的协议,比如:FCP(光纤通道协议),俗称光纤存储系统;或者是PCIe协议存储系统。有人可能会问,新款MacPro更本没有地方插卡,只有雷电作为外部设备连接接口,算不算DAS呢?答案是肯定。雷电是接口的名称,传输协议是PCIe协议,新款MacPro只是将类似雷电HBA卡的芯片内嵌到了主机板上,所以无需再插入HBA卡。
上图就是DAS架构示意图,不管采用什么协议的存储系统,只要是直接连接都是DAS架构。
i. DAS的优势:DAS架构安装简单,可以获得很高的读写性能;
ii. DAS的劣势:数据或视频素材只能被所连接的工作站独享,不能直接共享给其它工作站;
iii. DAS的应用:视频编辑都可以使用,当您获得一台超高性能存储的时候,就可以直接应用于无压缩调色、合成和特效等需要高带宽的非编应用。
iv. DAS在实际应用中,DAS由于相对成本低廉,架构简单因此大部分后期制作公司都采用这样的架构,但是随着数据量的增加,非编工作流程的改变、用户会发现当要共享和传输这些数据时,头疼的问题来了,无法共享,通过移动便携存储来分享数据时,复制数据耗费太多时间,往往感觉到制作不需要很长时间,反而在将素材或成品共享给他人的时候,需要大量的时间来复制素材(比如通过移动硬盘或以太网共享),大大降低了工作效率。从而及时共享数据、实时在线编辑、有效的非编工作流程成了用户越来越关心的问题。
v. 下面介绍两种常用的DAS协议单通道性能:
1. FCP:目前流行的是8Gb/s,实际性能为500-600MB/s;16Gb/s,实际性能为1000MB/s左右;
2. PCIe:目前已经是PCIe3.0x4 32Gb/s,实际性能可以到2400MB/s。
3. 雷电:其实雷电就是PCIe,雷电是接口名称,但内部存储协议还是PCIe,目前雷电2.0,就是PCIe2.0x4的性能。
b) NAS(Network Attached Storage),网络附属存储。这里网络指的是以太网,就是通过千兆或万兆以太网来共享存储系统。NAS是基于文件共享的存储系统。NAS存储系统对外可以有1-8个千兆或万兆接口。同一个网络中的工作站都可以共享NAS存储中的素材,即便是不同操作系统(Mac/Windows/Linux)的工作站。
上图是NAS架构示意图,可以看见第三方共享文件系统是内嵌在存储系统中的。它可以支持不同操作系统。
i. NAS的优势:
1. 搭建简单,只要配置一台以太网(千兆或万兆)交换机就可以了。
2. 成本相对低廉,如果您采用千兆,目前任何主机都自带千兆接口,因此HBA省了,千兆以太网交换机成本很低,也不需要购买第三方共享文件系统的客户端软件。也可以采用万兆以太网,需要配万兆网卡和全万兆交换机。
ii. NAS的劣势:速度相对不稳定,上下浮动区间较大,速度降下来时就有可能产生卡顿。
iii. NAS的应用:适合中大型的高清和中小型4K的非编制作网,未来40Gb NAS上市,也可以支持超高清的非编网络,但是成本相对会上升。
c) SAN(Storage Area Network),存储局域网。存储局域网是一个私有网络系统,它是一个基于Block(块)级别共享的存储系统,也就是基于物理层共享的存储系统,而NAS是基于文件级别共享的,完全不同架构。SAN架构中的工作站操作系统看见的是物理硬盘,NAS架构中的工作站操作系统看见的是网络硬盘。SAN存储传输协议目前有FCP、iSCSI和PCIe。iSCSI就是利用以太网网络,由于性能和NAS差不多,而且每个客户都需要昂贵的SAN客户端管理软件(第三方共享文件系统),因此在整个视频后期非编领域已经基本被淘汰了。FCP协议是一个历史悠久,技术成熟的传输协议,但是技术性能发展缓慢,从1Gb、2Gb、4Gb、8Gb到16Gb,发展用了近20年。而发展迅速的PCIe SAN协议,今几年已经支持到20Gb/s(PCIe2.0x4),很快就可以有32Gb/s(PCIe3.0x4),甚至只要市场有需求PCIe4.0x4 64Gb/s也会出现。因此PCIe SAN的性能前景要远高于FCP。而且PCIe协议的潜力巨大,现在才使用到4个通道,PCIe可以支持8个和16个通道。以目前正在发展的PCIe4.0技术,16个通道的性能可以到256Gb/s,而FCP目前只有16Gb/s,未来是否会有32Gb目前尚未听说。
上图是SAN架构示意图,是一个私有网络系统,以太网只是传输Metadate(元数据)数据,也就是SAN网的控制数据。
i. SAN的优势:
1. 专有网络,数据安全性比较高;
2. 性能高,可以支持满足很高性能的应用,比如调色等;FC SAN性能目前最高是16Gb(1000MB/s左右),如果要支持超高清的应用,就需要多个端口来支持,存储也需要多个16Gb主机通道,造价将很高;PCIe SAN目前是20Gb/s(1200MB/s左右),未来将支持PCIe 3.0x4 32Gb/s(2400MB/s左右),造价成本比FC低廉。
3. 网络客户端可以很多,当然是FC SAN,PCIe SAN目前只支持小型的非编网络。
ii. SAN的劣势:
1. 网络结构相对复杂,维护也需要有经验的维护人员;
2. 价格相对比较昂贵。
iii. SAN的应用:比较适合大型(FC SAN)的无压缩高清和超高清的非编网,由于成本相对高,所以合适大网(FC SAN)和高端应用;PCIe SAN适合小型非编网,适合高清和超高清的应用。
iv. SAN前景,SAN是一个成熟的私有网络,FC未来是否会有32Gb接口,尚未得知;PCIe SAN未来32Gb,存储系统已经出现,交换机已有进度表。