影视后期:非线性编辑系统如何选择存储系统2
在第一期中给大家介绍了存储系统的两个关键值:IOPS和吞吐量或带宽。这期我们来谈谈存储系统的分类,存储系统的分类有2种:第一种是控制器上的分类;第二种是从连接上分类;
1. 从控制器上分3类:RAID(Redundant Arrays of Independent Disks)卡+JBOD存储系统、RAID控制器存储系统、x86平台存储服务器。
a) RAID卡+JBOD存储系统:我们相信视频行业内用户用的很多,就是用在非编工作站上插入一张RAID卡,外接一台SAS JBOD(扩展柜),用最多的就是8盘位(也有12/16/24盘位)。这种方式成本低廉,受很多业内的工作者所亲耐。RAID功能都在那张RAID卡上,而SAS扩展柜根本没有任何RAID功能。
b) RAID控制器存储系统:这是专业级存储系统普遍采用的架构,也就是在存储系统上配置了一片RAID控制器(通常采用的都是IOP处理器 -- Input/Output Processor),所有RAID功能都在此控制器上实现,非编工作站是需要插入一张没有任何RAID功能的连接卡,我们称之为HBA(Host Bus Adapter)卡。有人可能会问,RAID卡和RAID控制器有什么区别,不都是可以做RAID吗?只不过前者插入在主机中,后者是放在存储系统中。其实区别很大,虽然都是具有RAID基础功能,但是RAID控制器由于是在整个存储系统中,它还具备很多的管理和监控功能,它需要管理和监控硬盘、风扇、电源等。关键是RAID控制器架构的存储系统不占用主机的CPU资源,而RAID卡还需要主机CPU介入处理部分功能,因此会导致CPU资源损耗。整个存储机箱设计,还要兼顾流体力学(就是研究利用风力散热)、防止静电等等。因此RAID控制器的设计和成本远远高于RAID卡。而RAID卡只需要有RAID功能和连接通道就可以了。还有通常RAID卡架构的存储系统,大多数是RAID卡和JBOD不是一个厂家,因此品质难以管控。
c) x86平台存储系统:这种架构是最近几年出现的,所谓x86平台是指基于Intel CPU体系结构而组建的主机系统(具体的技术内容在此不讨论,有兴趣可以去搜索引擎上搜索一下吧)。我们通俗一点讲,就是用基于Intel CPU的服务器主板(当然任何主板都行),然后通过软RAID方式组建成的一种存储系统。比如用某种存储服务器机箱(24颗硬盘),嵌入一片服务器主版,用上Intel的CPU,再插入一张RAID卡,将RAID卡与存储服务器中的背板连接。再装上Linux或Windows操作系统,对外利用以太网作为主机接口,这样一台简单的NAS(Network Attached Storage)架构的存储系统就组件而成,RAID功能使用那张RAID卡的功能就完全可以。当然随着技术的发展,目前也有存储原厂,重新设计了存储控制器,放弃了IOP处理器的架构,利用了Intel CPU的架构,组件成一台控制器架构的存储系统。目前常见的分布式存储系统基本属于这个架构。
2. 从连接上分类也分为3种:DAS/NAS/SAN。
a) DAS(Direct Attached Storage),直接附属存储:此架构是在非编工作站中插入一张HBA(Host Bus Adapter)卡,将存储系统直接和HBA卡连接。凡是将存储系统直接连接到非编工作站上的方式,都视为DAS架构,不管您采用什么传输协议、或什么主机接口(比如USB或1394等)。哪怕是可以实现SAN架构的协议,比如:FCP(光纤通道协议),俗称光纤存储系统;或者是PCIe协议存储系统。有人可能会问,Apple的Mac根本没有地方插卡,只有雷电作为外部设备连接接口,算不算DAS呢?答案是肯定。雷电是接口的名称,传输协议是PCIe协议,Mac只是将类似雷电HBA卡的芯片内嵌到了主机板上,所以无需再插入HBA卡。
上图就是DAS架构示意图,不管采用什么协议的存储系统,只要是直接连接都是DAS架构。
i. DAS的优势:DAS架构安装简单,可以获得很高的读写性能;
ii. DAS的劣势:数据或视频素材只能被所连接的工作站独享,不能直接共享给其它工作站;
iii. DAS的应用:视频编辑都可以使用,当您获得一台超高性能存储的时候,就可以直接应用于无压缩调色、合成和特效等需要高带宽的非编应用。
iv. DAS在实际应用中,DAS由于相对成本低廉,架构简单因此大部分后期制作公司都采用这样的架构,但是随着数据量的增加,非编工作流程的改变、用户会发现当要共享和传输这些数据时,头疼的问题来了 -- 无法共享;通过移动便携存储来分享数据时,复制数据耗费太多时间,往往感觉到制作不需要很长时间,反而在将素材或成品共享给他人的时候,需要大量的时间来复制素材(比如通过移动硬盘或以太网共享),大大降低了工作效率。从而及时共享数据、实时在线编辑、有效的非编工作流程成了用户越来越关心的问题。
v. 下面介绍三种常用的DAS协议单通道性能:
1. FCP:目前流行的是8Gb/s,实际性能为500-600MB/s;16Gb/s,实际性能为1000MB/s左右;
2. PCIe:目前已经是PCIe3.0x4 32Gb/s,实际性能可以到2400MB/s。
3. Thunderbolt:其实Thunderbolt就是PCIe,Thunderbolt是接口名称,但内部传输协议还是PCIe,目前有Thunderbolt2.0和Thunderbolt3.0,就是PCIe2.0x4和PCIe3.0x4的性能。
b) NAS(Network Attached Storage),网络附属存储:这里网络指的是以太网,就是通过千兆或万兆以太网来共享存储系统。NAS是基于文件共享的存储系统。NAS存储系统对外可以有1-8个千兆或万兆接口,目前分布式存储系统多数也属于NAS系统,分布式存储系统还可以通过集群多个NAS存储系统来实现提高性能和存储容量的功能。同一个网络中的工作站都可以共享NAS存储中的素材,即便是不同操作系统(Mac/Windows/Linux)的工作站。
上图是NAS架构示意图,可以看见共享文件系统是内嵌在存储系统中的。它可以支持不同操作系统。
i. NAS的优势:
1. 搭建简单,只要配置一台以太网(千兆或万兆)交换机就可以了。
2. 成本相对低廉,如果您采用千兆,目前任何主机都自带千兆接口,因此HBA省了,千兆以太网交换机成本很低,也不要购买第三方共享文件系统的客户端软件。但是如果您采用万兆以太网,万兆网卡和全万兆交换机价格就不便宜了。
ii. NAS的劣势:相对性能较低,千兆为1000Mb/s,理论传输性能为125MB/s,实际传输性能60-90MB/s(这样的性能编辑个标清或压缩高清可以),如果是多台工作站同时访问时,您的每个客户端可分配的性能就可想而知。当然您可以用4或8个千兆端口来绑定,这样绑定的总性能也就是240-360MB/s或480-720MB/s。您也可以用1-4个万兆端口,万兆为10000Mb/s,理论性能为1250MB/s,实际在600-900MB/s。不同厂家的NAS性能还不一样,主要取决于到底是为哪个应用而设计(IOPS或高带宽)。当然也可以购买分布式存储系统
iii. NAS的应用:比较适合大型的标清或压缩高清的非编网,由于成本相对低廉,合适那些只有标清或压缩高清的,又有大量工作站的共享非编应用。如果未来40Gb NAS上市,也可以支持超高清的非编网络,但是投资成本一定比较昂贵。
iv. NAS在实际应用中,大部分的企业都是将NAS作为中央存储来使用,只是存放数据,工作站本地还需要外挂一台DAS存储,为什么呢,因为NAS在做高清或超高清应用时,无法实时在线非编,只能将素材从NAS存储中复制到本地DAS存储中,然后进行实时在线编辑,编辑好以后再将数据复制到NAS存储中去,供其他人使用。虽然您会发现实现了共享问题,但是在从NAS存储下载和上传数据时,进行了大量的数据迁移工作,由于NAS性能相对较低,传输数据时间就无限增加。NAS存储厂家会说我可以提供4个端口的万兆NAS,4个万兆大概可以提供2400-3600MB/s总性能,但是客户端始终是千兆,对于单个工作站来说依然无法提升性能。除非万兆到桌面,但是万兆网卡和全万兆交换机成本又增加了。
v. NAS前景,未来会有40Gb和100Gb接口的NAS存储系统,届时性能的确不错,但是价格是否可以被接受,有待观察。
c) SAN(Storage Area Network),存储局域网:存储局域网是一个私有网络系统,它是一个基于Block(块)级别共享的存储系统,也就是基于物理层共享的存储系统,而NAS是基于文件级别共享的,完全不同结构。SAN架构中的工作站操作系统看见的是物理硬盘,NAS架构中的工作站操作系统看见的是网络硬盘。SAN存储传输协议目前有FCP、iSCSI和PCIe。iSCSI就是利用以太网网络,由于性能和NAS差不多,但是每个客户都需要昂贵的SAN客户端管理软件(第三方共享文件系统),因此在整个视频后期非编领域已经基本被淘汰了。FCP协议是一个历史悠久,技术成熟的传输协议,但是技术性能发展缓慢,从1Gb、2Gb、4Gb、8Gb和16Gb,发展用了近20年(具体时间有兴趣者可去搜索引擎搜索一下)。而发展迅速的PCIe SAN协议,目前已经有32Gb/s(PCIe3.0x4),甚至只要市场有需求PCIe4.0x4 64Gb/s也会出现。因此PCIe SAN的性能前景要远高于FCP。而且PCIe协议的潜力巨大,现在才使用到4个通道,PCIe可以支持8个和16个通道。以目前正在发展的PCIe4.0技术,16个通道的性能可以到256Gb/s,而FCP目前只有16Gb/s,32Gb也还没有上市准确时间,即便推出价格也不菲。
上图是SAN架构示意图,是一个私有网络系统,以太网只是传输Metadata(元数据)数据,也就是SAN网的控制数据。
i. SAN的优势:
1. 专用网络,数据安全性比较高;
2. 性能高,可以满足需要高读写性能的应用,比如调色等;FC SAN性能目前最高是16Gb(1000MB/s左右),如果要支持超高清的应用,就需要多个端口来支持,存储也需要多个16Gb主机通道,造价不菲;PCIe SAN目前是32Gb/s(2400MB/s左右),造价成本比FC低廉。
3. 性价比高,这个只有PCIe协议,FC协议价格还是比较昂贵,尤其是在同等性能对比之下,FC SAN要比PCIe SAN贵不少。说到性价比最高的SAN存储系统那就只有我们的T-Share共享雷电存储,其不仅具备PCIe高速的性能,而且成本也非常低廉。有兴趣的朋友可以访问我们的网站www.accusys.com.tw.
4. 网络客户端可以很多,当然是FC SAN,PCIe SAN目前只支持小型的非编网络。
ii. SAN的劣势:
1. 网络结构相对复杂,维护也需要有经验的维护人员;
2. 价格相对比较昂贵,基本PCIe SAN比较便宜,但也比NAS贵。
iii. SAN的应用:比较适合大型(FC SAN)的无压缩高清,甚至超高清的非编网,由于成本相对高,所以合适大网(FC SAN)和高端应用;PCIe SAN适合小型非编网,适合高清和超高清的应用。
iv. SAN前景,SAN是一个成熟的私有网络,FC未来会有32Gb接口;PCIe SAN目前已经是32Gb。
迪蓝科技为客户提供专业的解决方案和运维服务,产品包括:融媒体系统、演播室系统、录播系统、非线性编辑系统、影视调色系统、媒体资产管理系统、网络视频直播系统、共享存储系统、以及数字媒体内容管理平台等。(电话&微信同步:13552038551)