后期视频编辑如何选择存储系统?第二期

      有段时间没有写文章了,上回我介绍了存储的两个关键值:IOPS和带宽。这次我们来谈谈存储系统的分类,存储系统的分类有3种:第一种是控制器上的分类;第二种是从连接上分类;第三种是从协议上分类。

1. 从控制器上分3类:RAID(Redundant Arrays of Independent Disks)卡+JBOD存储系统;RAID控制器存储系统;x86平台存储服务器。

a) RAID卡+JBOD存储系统,我相信视频行业内用户用的很多,就是用在非编工作站上插入一张RAID卡,外接一台SAS JBOD(扩展柜),用最多的就是8盘位(也有12/16/24盘位)。这种方式成本低廉,受很多业内的工作者所亲耐。RAID功能都在那张RAID卡上,而SAS扩展柜根本没有任何RAID功能。

RAID card

b) RAID控制器存储系统,这是专业级存储系统普遍采用的架构,也就是在存储系统上配置了一片RAID控制器(通常采用的都是IOP处理器),所有RAID功能都在此控制器上实现,非编工作站是需要插入一张没有任何RAID功能的连接卡,我们称之为HBA(Host Bus Adapter)卡。有人可能会问,RAID卡和RAID控制器有什么区别,不都是可以做RAID吗?只不过前者插入在主机中,后者是放在存储系统中。那我想说的是区别大了,虽然都是具有RAID基础功能,但是RAID控制器由于是在整个存储系统中,它还具备很多的管理和监控功能,它需要管理和监控硬盘、风扇、电源。整个存储机箱设计,还要兼顾流体力学(就是研究利用风力散热)、防止静电等等。因此RAID控制器的设计和成本远远高于RAID卡。而RAID卡只需要有RAID功能和连接通道就可以了。

后期视频编辑如何选择存储系统?第二期


c) x86平台存储系统,这种架构是最近几年出现的,所谓x86平台是指基于Intel CPU体系结构而组建的主机系统(具体的技术内容在此不讨论,有兴趣可以去搜索引擎上搜索一下吧)。我们通俗一点讲,就是用基于Intel CPU的服务器主板(当然任何主板都行),然后通过软RAID方式组建成的一种存储系统。比如用某种存储服务器机箱(24颗硬盘),嵌入一片服务器主版,用上Intel的CPU,再插入一张RAID卡,将RAID卡于存储服务器中的背板连接。再装上Linux或Windows操作系统,对外利用以太网作为主机接口,这样一台简单的NAS(以后章节中介绍什么是NAS)架构的存储系统就组件而成,RAID功能使用那张RAID卡的功能就完全可以。当然随着技术的发展,目前也有存储原厂,重新设计了存储控制器,放弃了IOP处理器的架构,利用了Intel CPU的架构,组件成一台控制器架构的存储系统。

x86


2. 从连接上分类,也可分为3种:DAS/NAS/SAN。

a) DAS(Direct Attached Storage),直接附属存储。此架构是在非编工作站中插入一张HBA(Host Bus Adapter)卡,将存储系统直接和HBA卡连接。凡是将存储系统直接连接到非编工作站上的方式,都视为DAS架构,不管您采用任何传输协议、任何主机接口。哪怕是可以实现SAN架构的协议,比如:FCP(光纤通道协议),俗称光纤存储系统;或者是PCIe协议存储系统。有人可能会问,新款MacPro更本没有地方插卡,只有雷电作为外部设备连接接口,算不算DAS呢?答案是肯定。雷电是接口的名称,传输协议是PCIe协议,新款MacPro只是将类似雷电HBA卡的芯片内嵌到了主机板上,所以无需再插入HBA卡。


das

上图就是DAS架构示意图,不管采用什么协议的存储系统,只要是直接连接都是DAS架构。

i. DAS的优势:DAS架构安装简单,可以获得很高的读写性能;

ii. DAS的劣势:数据或视频素材只能被所连接的工作站独享,不能直接共享给其它工作站;

iii. DAS的应用:视频编辑都可以使用,当您获得一台超高性能存储的时候,就可以直接应用于无压缩调色、合成和特效等需要高带宽的非编应用。

iv. DAS在实际应用中,DAS由于相对成本低廉,架构简单因此大部分后期制作公司都采用这样的架构,但是随着数据量的增加,非编工作流程的改变、用户会发现当要共享和传输这些数据时,头疼的问题来了,无法共享,通过移动便携存储来分享数据时,复制数据耗费太多时间,往往感觉到制作不需要很长时间,反而在将素材或成品共享给他人的时候,需要大量的时间来复制素材(比如通过移动硬盘或以太网共享),大大降低了工作效率。从而及时共享数据、实时在线编辑、有效的非编工作流程成了用户越来越关心的问题。

v. 下面介绍两种常用的DAS协议单通道性能:
1. FCP:目前流行的是8Gb/s,实际性能为500-600MB/s;16Gb/s,实际性能为1000MB/s左右;
2. PCIe:目前已经是PCIe3.0x4 32Gb/s,实际性能可以到2400MB/s。
3. 雷电:其实雷电就是PCIe,雷电是接口名称,但内部存储协议还是PCIe,目前雷电2.0,就是PCIe2.0x4的性能。

b) NAS(Network Attached Storage),网络附属存储。这里网络指的是以太网,就是通过千兆或万兆以太网来共享存储系统。NAS是基于文件共享的存储系统。NAS存储系统对外可以有1-8个千兆或万兆接口。同一个网络中的工作站都可以共享NAS存储中的素材,即便是不同操作系统(Mac/Windows/Linux)的工作站。

nas

上图是NAS架构示意图,可以看见第三方共享文件系统是内嵌在存储系统中的。它可以支持不同操作系统。

i. NAS的优势:
1. 搭建简单,只要配置一台以太网(千兆或万兆)交换机就可以了。
2. 成本相对低廉,如果您采用千兆,目前任何主机都自带千兆接口,因此HBA省了,千兆以太网交换机成本很低,也不要购买第三方共享文件系统的客户端软件。但是如果您采用万兆以太网,万兆网卡和全万兆交换机价格就不便宜了。

ii. NAS的劣势:相对性能较低,千兆为1000Mb/s,理论传输性能为125MB/s,实际传输性能60-90MB/s(这样的性能编辑个标清或压缩高清可以),如果是多台工作站同时访问时,您的每个客户端可分配的性能就可想而知。当然您可以用4或8个千兆端口来绑定,这样绑定的总性能也就是240-360MB/s或480-720MB/s。您也可以用1-4个万兆端口,万兆为10000Mb/s,理论性能为1250MB/s,实际在600-900MB/s。不同厂家的NAS性能还不一样,主要取决于到底是为哪个应用而设计(IOPS或高带宽)。

iii. NAS的应用:比较适合大型的标清或压缩高清的非编网,由于成本相对低廉,合适哪些只有标清或压缩高清的,又有大量工作站的共享非编应用。如果未来40Gb NAS上市,也可以支持超高清的非编网络,但是投资成本一定比较昂贵。

iv. NAS在实际应用中,大部分的企业都是将NAS作为中央存储来使用,只是存放数据,工作站本地还需要外挂一台DAS存储,为什么呢,因为NAS在做高清或超高清应用时,无法实时在线非编,只能将素材从NAS存储中复制到本地DAS存储中,然后进行实时在线编辑,编辑好以后再将数据复制到NAS存储中去,供其他人使用。虽然您会发现实现了共享问题,但是在从NAS存储下载和上传数据时,进行了大量的数据迁移工作,由于NAS性能相对较低,传输数据时间就无限增加。NAS存储厂家会说我可以提供4个端口的万兆NAS,4个万兆大概可以提供2400-3600MB/s总性能,但是客户端始终是千兆,对于单个工作站来说依然无法提升性能。除非万兆到桌面,但是万兆网卡和全万兆交换机成本又增加了。

v. NAS前景,未来会有40Gb接口的NAS存储系统,届时性能的确不错,但是价格是否可以被接受,有待观察。


c) SAN(Storage Area Network),存储局域网。存储局域网是一个私有网络系统,它是一个基于Block(块)级别共享的存储系统,也就是基于物理层共享的存储系统,而NAS是基于文件级别共享的,完全不同结构。SAN架构中的工作站操作系统看见的是物理硬盘,NAS架构中的工作站操作系统看见的是网络硬盘。SAN存储传输协议目前有FCP、iSCSI和PCIe。iSCSI就是利用以太网网络,由于性能和NAS差不多,但是每个客户都需要昂贵的SAN客户端管理软件(第三方共享文件系统),因此在整个视频后期非编领域已经基本被淘汰了。FCP协议是一个历史悠久,技术成熟的传输协议,但是技术性能发展缓慢,从1Gb、2Gb、4Gb、8Gb和16Gb,发展用了近20年(具体时间有兴趣者可去搜索引擎搜索一下)。而发展迅速的PCIe SAN协议,今几年已经支持到20Gb/s(PCIe2.0x4),很快就可以有32Gb/s(PCIe3.0x4),甚至只要市场有需求PCIe4.0x4 64Gb/s也会出现。因此PCIe SAN的性能前景要远高于FCP。而且PCIe协议的潜力巨大,现在才使用到4个通道,PCIe可以支持8个和16个通道。以目前正在发展的PCIe4.0技术,16个通道的性能可以到256Gb/s,而FCP目前只有16Gb/s,未来是否会有32Gb目前尚未听说。

san

上图是SAN架构示意图,是一个私有网络系统,以太网只是传输Metadate(元数据)数据,也就是SAN网的控制数据。

i. SAN的优势:
1. 专有网络,数据安全性比较高;
2. 性能高,可以支持满足很高性能的应用,比如调色等;FC SAN性能目前最高是16Gb(1000MB/s左右),如果要支持超高清的应用,就需要多个端口来支持,存储也需要多个16Gb主机通道,造价将很高;PCIe SAN目前是20Gb/s(1200MB/s左右),未来将支持PCIe 3.0x4 32Gb/s(2400MB/s左右),造价成本比FC低廉。
3. 性价比高,这个只有PCIe协议,FC协议价格还是比较昂贵,尤其是在同等性能对比之下,FC SAN要比PCIe SAN贵不少。说到性价比最高的SAN存储系统那就只有Accusys A16T2-Share共享雷电存储,其不仅具备PCIe高速的性能,而且成本也非常低廉。有兴趣的朋友可以访问www.accusys.com.tw.
4. 网络客户端可以很多,当然是FC SAN,PCIe SAN目前只支持小型的非编网络。

ii. SAN的劣势:
1. 网络结构相对复杂,维护也需要有经验的维护人员;
2. 价格相对比较昂贵,基本PCIe SAN比较便宜,但也比NAS贵。

iii. SAN的应用:比较适合大型(FC SAN)的无压缩高清,甚至超高清的非编网,由于成本相对高,所以合适大网(FC SAN)和高端应用;PCIe SAN适合小型非编网,适合高清和超高清的应用。

iv. SAN前景,SAN是一个成熟的私有网络,FC未来是否会有32Gb接口,尚未得知;PCIe SAN未来32Gb,存储系统已经出现,交换机已有进度表。

待续。。。。。。


本文为作者 北京世仰科技有限公司 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/70061

北京世仰科技有限公司

点击了解更多
Accusys是专业的磁盘阵列研发及销售制造商,1995年在台湾新竹科学园区正式成立。公司凭借强大的技术研发能力,及时推出了创新和性价比极高的产品,2009年全面进入影视后期编辑行业,推出的PCIe存储产品系列,不仅可以实现高带宽DAS直连应用,并且提供PCIe交换机,为该行业提供超高清的SAN共享网络解决方案。2015年推出了全球唯一的雷电共享存储系统,将点对点的雷电存储,革新为雷电SAN共享技术。为广大的影视后期制作用户提供超高性价比的雷电共享存储解决方案。北京世仰科技有限公司(Accusys Beijing)成立于2014年2月,是台湾Accusys中国分公司,为中国大陆提供产品销售和技术解决方案及售后服务。 2017年1月成为德国Archiware公司P5备份软件中国区总代理。为大陆用户提供数据备份解决方案。 http://www.archiware.com 2019年7月Accusys公司和美国Loxoll公司正式合并,将为广大的广电用户带来更多高性能的存储系统产品。 联系方式:010-88332622;Email:sales_cn@accusys.com.tw
扫码关注
北京世仰科技有限公司