关于数据存储你想知道的一切

2020-06-24 16:34

素材的存储确实很让人头疼。本文会帮助你针对存储的性能、冗余和安全性进行优化。



一旦涉及到硬盘和存储的时候,大家就会产生很多的问题。当你的数据面临风险时,任何一个错误都可能会造成巨大的损失。


所以我整理了这篇指南,来帮助大家掌握一些基础性的知识,从而减少灾难性错误的发生。


这篇文章将会介绍直连外置硬盘、外接式RAID和内接式RAID等存储形式,但暂时没有涉及到NAS等网络存储。


备份你的数据!


这个其实不用多说。一定要记得,将数据备份到两个以上的单独存储器上。这个操作要从你取下摄影机存储卡的那一刻就开始,并且在整个后期制作过程都要注意。


项目文件通常很小,有时甚至可以很轻松地备份到云储存当中。许多其他类型的临时文件可以重新创建,例如NLE缓存文件,甚至是转码后的媒体。但要记得,一定要始终备份保存多份原始文件。


开始


一般来说,外置SSD或移动硬盘通常先在现场拷贝摄影机储存卡上的文件, 之后再把文件拷贝到更大的本地存储器或者云端共享存储中。


在大型项目中,DIT可能还会在现场使用更大的直连RAID阵列。无论你处理数据的工作流程是什么,重要的是要在工作流程的每个阶段都保持重复的备份储存。


理想情况下,应该将一组相同的原始文件备份在片场、工作室或者家里。


选择传输速度


在设计数据工作流时要尽量选择外置硬盘。因为时间对于我们来说是至关重要的,我们要在最快时间内拷贝(理想情况下,同时拷贝几块硬盘)、校验和运行摄影机储存卡。


摄影机素材存储其实是非常快的,但如果你使用廉价的、传输慢的外置硬盘在一个速度慢的接口上进行拷贝,那就会使数据的拷贝速度慢很多。


一个单独的机械硬盘读/写速度只有80MB/秒。这样低的拷贝速度、无疑会增加拷贝时间。这太让人感觉到糟心了。所以千万不要试图在机械硬盘上省钱,这对于整个工作流来说,付出的代价可能是非常昂贵的。

Blackmagic Design MultiDock可以容纳

四个配置为RAID 0阵列的SSD硬盘


后期制作


在后期制作的时候,备份摄影机素材和关键项目文件也很重要。


即使你用配置了高级别冗余的企业级共享存储,也要确保使用直连的桌面RAID或其他直连的储存设备进行备份。


无论你使用什么存储,一定要将所有的摄影机原素材的副本都保留在另外一个台式机RAID上,或者一个单独的硬盘上,然后放好,非必要的情况下不要去移动它。


单独的外部硬盘


外置硬盘有很多种。它们并不完全相同,你找到的普通USB硬盘可能比较适合备份照片和文档,但不太适合整个视频工作流程。


拿到独立外置硬盘时,一定要查看内置硬盘类型以及它的接口类型。


具有快速接口(例如雷电连接)的外置硬盘内部可能装的还是慢速硬盘,所以这个要检查清楚。而且真正重要的是内置硬盘本身的最大读写速度。


理想情况下,你应该考虑在大多数影视工作中使用外部SSD硬盘,无论你是在片场拷贝摄影机卡,或者是用它在笔记本电脑上进行编辑。


然而,固态硬盘比较贵,容量也更小。具体使用什么样的硬盘,这还是取决于你需要储存数据的大。有时候可能一个7200转速的机械硬盘可能也就足够了。


这还是取决于你打算用它来干嘛,以及你打算储存什么媒体文件。


机械硬盘(HDD)


最近几年,普通的硬盘容量迅速增长,单个硬盘可提供14TB的内存。这些硬盘的容量从2TB到14TB不等,而且有2.5英寸和3.5英寸的不同大小。


内部磁盘的转速一般为5200RPM或7200RPM,有些企业级硬盘的转速为15,000RPM,单个旋转磁盘硬盘的持续读写速度只能达到80MB/sec,因此,真正的瓶颈在于硬盘本身,而不是与计算机连接的那个接口。


图片来源:Western Digital和G-Technology


我已经测试了一种便宜且通用的WD Passport外部硬盘硬盘(左),其USB 3.2 gen 1(官方宣传的130MB/sec)的平均传输速度仅为80MB/sec,并且仅提供USB-A型连接线。G-Drive Mobile(右)可以提供类似的吞吐量,并随附有连接至USB-A和USB-C型接口的适配器连接线。


5200RPM机械硬盘通常可以维持平均100-110 MB/sec的读写速度,而7200RPM机械硬盘通常可以维持120-130MB/sec的读写速度。


固态硬盘(SSD)


SSD或使用NAND的固态硬盘可以非常快的存储数据,具有极高的数据吞吐量。


普通的的USB 3外置SSD可以保持超过500MB/秒的读写速度,而且它是受SATA3.0接口的限制,和内存本身没关系。


通过PCIe接口的普通NVMe SSD可以支持超过3000MB/秒的速度。如果是具有雷电接口的外置SSD硬盘最高可以支持2800MB/秒的速度。


图片来源:G-Technology


G-Drive Mobile SSD(左)使用USB-C接口,通过USB 3.2 Gen 2提供高达560MB /秒的速度。G-Drive Mobile Pro SSD(右)也使用USB-C类型的接口,但提供高达2800MB的速度/秒,超过雷电3。


SSD是媒体从业者的最佳选择,因为它可以让你更快地从摄影机卡上拷贝数据,并可以从这么小的便携式外置硬盘中实时播放多个高分辨率媒体。


接口


其实许多外置USB机械硬盘的制造商误导性地夸大了外置机械硬盘的最大传输数据。消费者也不了解其中的技术细节,只知道包装盒上印有的传输速度越大越好,这是完全错误的。


用于连接外置机械硬盘与计算机的数据线也特别重要。也就是说,大多数的接口(例如USB 3和雷电)都能以非常快的速度驱动常见视频编解码和格式的单数据流,甚至同时驱动其中的多个数据流。

上图是当前最常见的USB类型接口。原始的USB Type A仅供参考,它已经被被USB Type A SuperSpeed广泛替代。许多便携式硬盘硬盘在机箱上都具有USB Type Micro B SuperSpeed接口,以及用于连接USB Type A SuperSpeed或USB Type C的连接线。


USB 3.x


USB的命名规范已经变得非常混乱。来看看该如何区分。


  • USB 3.2 Gen 1是USB 3.0。它的最大吞吐量为5Gbps。这也称为SuperSpeed USB;
  • USB 3.2 Gen 2是USB 3.1。它的最大吞吐量为10Gbps。这也称为SuperSpeed USB 10Gbps;
  • USB 3.2 Gen 2×2是USB 3.2。它的最大吞吐量为20Gbps。这也称为SuperSpeed USB 20Gbps。


你也可能听到USB在接口类型方面的讨论。USB类型(例如A,B和C)会告诉你端口和接口的形状,但不会告诉你数据传输速度。


USB-C是最新的接口类型,通常与USB 3.2 Gen 2关联,但也不是绝对的,它也可以是USB 3.2 Gen 1或根本不是USB。


雷电2和3


更令人困惑的是,USB-C型接口还用于雷电3。雷电3提供的数据传输速率高达40GBps,是USB 3.2 Gen 2的四倍。


  • 雷电 2的最大吞吐量为20Gb/秒;
  • 雷电 3的最大吞吐量为40Gb/秒。

功率


USB和雷电接口都是可以供电的,而且很多较小的外部硬盘都可能是总线供电的,如果你笔记本没电时,就可以用它来充电。


数据带宽(Media Bandwidth)


选择储存的类型的时候,首先考虑的是实时播放媒体所需的数据带宽。以下一些示例,这些数据速率只是近似值,可以用来参考。


  • 4K XAVC(H.264)– 50MB/秒(MB不是Mb,1MB = 8Mb);
  • 4K 24p ProRes RAW – 40-100MB/秒;
  • 4K 24p ProRes RAW HQ – 80-140MB/秒;
  • 6K 24p ProRes RAW HQ – 180-300MB/秒;
  • 8K 24p ProRes RAW HQ – 320-530MB/秒;
  • 4K 24p ProRes 422 HQ – 95MB/秒;
  • 4K 24p ProRes 4444 – 140MB/秒;
  • 8K 24p R3D 5:1 – 260MB/秒。


从此列表可以明显看出,外部USB3 5400RPM的硬盘可能会不支持大多数格式的播放。


有一个例外是拍摄H.264/AVC视频的无反相机和单反相机。即使在4K分辨率下,这些编解码器所需的数据速率也是很低的,所以硬盘不会成为瓶颈,但是在计算机上实时解码H.264可能会成为一个难题。


这并不意味着你不能使用传输较慢的硬盘来备份摄影机文件,这只是在说你可能无法直接在硬盘上播放视频。


RAID


RAID到底是什么?RAID是独立磁盘构成的具有冗余能力的阵列。它是一个虚拟硬盘,可以同时在多块硬盘写入数据,以在硬盘故障/或需要更高性能(通常两者兼有)的情况下提供冗余。


小型便携式外部RAID可能仅包含两个硬盘仓位,可以对其进行配置以实现冗余(将数据复制到两个内部硬盘),也可以进行配置以实现条带化(将数据拆分并写入两个硬盘,同时允许两次写入)数据吞吐量。


对于两个硬盘的RAID,性能是以冗余为代价的,反之亦然。但是,RAID阵列中的物理硬盘硬盘越多,则存在更多用于平衡冗余和提高性能的可能。

图片来源:Promise


Promise Pegasus32桌面RAID阵列的大小从4托架到8托架不等。


较大的RAID阵列可以采用直连或机架式RAID机柜的形式。你还可以直接在工作站机箱中构建内部RAID阵列,当然,还有共享的NAS(网络附加存储)RAID存储服务器。


这些阵列中的任何一个都可以在阵列中具有四个到八个,十二个,十六个或更多个硬盘。


机架式SSD的RAID阵列通常每个阵列包含24个SSD,并具有极高的带宽。还可以通过多种方式跨多个阵列对数据进行条带化。


下面说一下RAID级别,它们适用于我上面描述的存储类型。


RAID 0

By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape, CC BY-SA 3.0, Link


最高性能,无冗余。


RAID 0在阵列中,把所有数据分条均匀的分到所有硬盘,但是没有镜像或奇偶校验。这意味着存放文件的所有硬盘中都含有文件的一部分,如果阵列中的某个硬盘发生故障,所有的数据将永久丢失。无法恢复数据。


RAID 0对于小型的只有两个硬盘的外部RAID磁盘阵列还是很有用的,在这些磁盘阵列中,优先增加读/写带宽,读写速度快,并且数据也可以复制到另一个物理硬盘。


我不建议用RAID 0配置的单个阵列来存储素材。


RAID 1

By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape., CC BY-SA 3.0, Link


RAID 5提供了块级分条功能,可以提高性能和奇偶校验,使得任何单个磁盘的内容也可以在其他磁盘之间分配。


例如,在配置为RAID 5的八个硬盘阵列中,总存储容量和吞吐量将等于八个硬盘中的七个。如果阵列中的任何硬盘发生故障,可以把它拆下来,然后将新的替换的硬盘交换到阵列中。


出故障的硬盘中的内容将从其他七个硬盘中存在的奇偶校验数据重建到新硬盘上。


可以在RAID 5阵列中表示热备用,从而通过再增加一个硬盘来减少阵列的可用容量和吞吐量,但是在硬盘发生故障时可以立即进行重建。


数据仅在替换硬盘重建期间存在风险。


如果一次性多块硬盘发生故障,或者在重建期间第二个硬盘发生故障,那阵列中的所有数据将永久丢失。


RAID 6


By en:User:Cburnett – Own workThis W3C-unspecified vector image was created with Inkscape., CC BY-SA 3.0, Link


RAID 6与RAID 5类似,但提供了双重分布式奇偶校验。以八个硬盘为例,阵列的存储容量和吞吐量将等于八个硬盘中的六个。


阵列中的任何两个硬盘都发生故障的话,便可以从其余六个硬盘上存在的奇偶校验数据重建其各自的内容。


两个硬盘发生故障的可能性被认为非常低。因此,RAID 6的真正优势在于,即使单个硬盘发生故障,数据也不会受到威胁。


你应该使用哪个RAID级别?


我建议可以把便携式外部两个磁盘RAID硬盘配置为RAID 0,以提高数据吞吐量。


而且应该始终成对使用以减轻摄影机卡的负担,并且有利于在整个拍摄日在相机上拷贝数据,以将其转移到你用于发布的共享存储或更大的RAID存储中。


它们可以很好地驱动,直接剪辑较小的作品。但是在这种情况下,数据也应该在其他地方备份。我一般将RAID 0硬盘视为临时存储,除非对其进行镜像,否则没有内置的安全性或冗余性。


对于较大的直连桌面RAID阵列,我建议使用RAID 5。可以在冗余和性能之间有一个良好的平衡。如果需要交换,你应该始终为RAID机箱保留至少一个备用硬盘。


单个硬盘发生故障的话,RAID 5阵列是还可以访问并且运行的,但是你的数据存在很大的风险,一定要及时更换发生故障的硬盘并且尽快重建阵列。


使用大容量硬盘的RAID 5主要风险是在重建的时候。RAID是至关重要的,并且只要进行重建,你的数据就会受到威胁。对于使用大于4TB的硬盘的大型RAID阵列来说,RAID 6是更好的选择。


再次备份你的数据!


即使你在RAID 5或RAID 6阵列上工作,并且媒体文件可以免受硬盘故障的影响,你仍应将摄影机文件和项目文件备份到其他存储上。


我为客户端构建了嵌套的RAID阵列,其中两个相同的RAID集进一步镜像为RAID 1,但即使这样也不算重复。它仍然全部位于同一建筑物的一间机房中的一个机架中。


摄影机素材应始终备份到单独的存储中,并尽可能保存在一个安全的地方。


关于LTO磁带的简单说明


长期存储重要数据的一种好方法是通过使用单个直连的LTO硬盘将数据存储在LTO磁带上。这可以通过专用的备份软件,也可以使用LTFS进行直接拖放数据传输。

图片来源:mLogic


mLogic便携式LTO硬盘非常适合快速安全地备份大量数据,以进行长期存档。它们有雷电连接口,也可以由DIT现场使用。


单个LTO-8磁带可以存储12TB的素材,并且根据硬盘的不同,最高支持300MB/sec的速度。


安全存储后,LTO盒式磁带可以使用长达30年。这比任何机械硬盘硬盘的保质期都长得多。


当前的LTO盒式磁带在未来的硬盘中会有很好的兼容。因此,当前的LTO-8盒带将能够在LTO-9硬盘中进行读写。


云端


对于大量的高分辨率摄影机素材,云存储还不太实用。但是,这对于较小的项目文件,某些其他媒体文件,甚至是达芬奇数据库备份都是有用的。


硬盘格式化的选择


到目前为止,我讨论的所有内容都与物理硬件有关。合理的选择硬盘格式也很重要,硬盘格式描述了如何通过计算机操作系统和软件在物理存储上存储、检索、管理和访问数据。


下面是一些常见的硬盘格式选择。


ExFAT


ExFAT是一个Microsoft文件系统,旨在弥合NTFS和较早的FAT32文件系统之间的差距。它可以存储大于4GB的单个文件,并且是我在这列出的唯一Windows和macOS都支持的硬盘格式。


但是,ExFAT是非日志文件系统,并且在写入操作中断时有损坏的风险。我不建议将ExFAT作为媒体存储的硬盘格式,除非只需要在短时间保存数据,或者需要在macOS和Windows之间传输文件。


ExFAT格式的硬盘,一旦在数据传输过程中这些硬盘没有安全弹出,就有很大的文件损坏风险。


NTFS


NTFS是Microsoft创建的日记文件系统,即使在意外关闭,崩溃和中断的情况下,它也会比较安全不易损坏。


Mac OS可以读取NTFS,但是对NTFS格式化卷的写入需要第三方软件,例如Mac的Paragon NTFS。


MacOS扩展


MacOS Extended也被称为HFS +,从1998年到今天一直是macOS用于机械和混合硬盘硬盘的标准文件系统,直到在High Sierra引入用于固态和闪存存储的APFS才有了改变。


APFS


APFS已将MacOS Extended替换为固态存储和闪存存储。它也可以在机械硬盘上工作,但针对固态介质进行了优化。APFS与运行El Capitan或更早版本的Mac不兼容。


你应该使用哪种硬盘格式?


如果你主要在Windows环境中运行,最好的文件系统选项是NTFS,使用macOS Extended或APFS的前提是你是工作流是基于Mac的。


如果要格式化机械硬盘和RAID阵列,则最好选择NTFS或MacOS Extended。这些日志文件系统既强大又安全。


对于SSD介质,可以选择NTFS还是APFS,具体取决于你是主要在Windows还是Mac环境中工作。可以使用第三方软件,该软件允许Windows安装和读取/写入APFS格式的介质,以及在Mac上安装NTFS介质。


避免使用ExFAT格式,以免使数据遭受损坏。


结论


说完所有这些后,要记住最重要的事情就是始终保持备份项目文件和摄像机源文件。


如果你丢失了源文件,那么你将丢失所有内容。


即使遵循所有建议和最佳做法,但也不能完全避免硬盘甚至整个RAID阵列不会发生故障。


你可以使用传输速度最快,最昂贵的存储进行工作,但是很多时候可能多使用几个便宜的消费级的外部硬盘,多备份几个拷贝就足以拯救整个项目。


我希望这篇文章可以帮助大家重新考虑你的工作流程。


原文链接:https://www.cinema5d.com/storage-explained-configure-raid-file-system-pros-cons



HOMEBOY调色学院订阅会员众多新课程上线啦

干货内容多到让你学习停不下来

扫描下图二维码

⬇️


HOMEBOY调色会员给大家一个安心学习的购买策略,提供有价值的课程,形成多种授课讨论形式的知识叠加,还带给你线上一起奋进的小伙伴。


HOMEBOY电影数字洗印厂专注于DIT, 后期调色,以及专业的调色培训,用色彩让你的影片更动人。

调色制作/DIT/前期色彩管理联系:138-1038-0807

调色培训联系电话:187-0151-1590

调色培训微信号:homeboytspx05

公司地址:北京市朝阳区草场地路319-1号,艺术东区A



本文为作者 HomeBoy Cine Studio 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/127715

HomeBoy Cine Studio

点击了解更多
HOMEBOY 电影数字洗印厂是一家专注创意、品质、技术流程的后期调色公司,调色业务涵盖剧情片、广告、MV;前期DIT;最终合片、影院DCP打包。 更多作品及信息,请查看官网: http://colorgrading.cn
扫码关注
HomeBoy Cine Studio