便携磁带机 QUALSTAR Q1 ——DIT 拍摄现场数据备份新帮手

2020-01-09 10:16

进入数字时代以后,电影前期拍摄逐步形成基于文件的工作方式时代。在追求高质量、高分辨率、高信息量的大趋势下,全4K电影制作早已不足为奇。一部普通4K电影的前期拍摄,通常每天要记录1TB~2TB左右数据量的文件。摄影机将拍摄的画面以数字文件的形式记录到存储媒介上,这些数字文件再经过重新编码压缩等处理,形成样片文件,在导演、制片人、剪辑、特效和后期等各部门间流转。现如今电影前期拍摄流程是由数据获取和数据文件处理的流程决定的。电影拍摄现场数据管理工作主要涉及数据安全、数据备份、调色、样片制作和数据管理等环节。目前,国内对现场数据管理涉及的工作内容认识不够深入,现有的数据管理工作不够完善。下文将在使用设备层面对涉及数据管理的工作内容分别进行探讨。


1.数据安全保障


存储介质与存储方式的安全性如何保障数据的安全,电影制作是在确保数字文件安全的基础上实现的。然而在电影拍摄流程中的许多环节上却存在安全隐患,例如摄影组人员操作的安全性、DIT人员操作的安全性、用电的安全性、数据备份的正确性和安全性以及其他外部因素影响等。目前电影拍摄现场数据备份的主要介质是机械硬盘。硬盘介质存在不稳定、易损毁等缺陷。硬盘的备份方式主要包括单盘备份和磁盘阵列两种。单盘备份的成本低,但是安全性低于磁盘阵列备份方式。目前数据流磁带存储被列为较为合理的长期解决方案。出于安全性考虑,为了降低风险,好莱坞也全面采用数据流磁带备份。


2. 数据备份


DIT人员在现场负责读取记录媒介中的数据,通过安全的方式将拍摄数据文件正确地进行数据迁移操作。数据备份过程涉及备份介质、备份方式、数据备份的完整性、数据备份效率等。


2.1备份介质


(1)硬盘介质


硬盘主要包括机械硬盘(HDD)和固态硬盘(SSD)。机械硬盘采用磁性碟片来存储,固态硬盘采用闪存颗粒形成RAID 0存储阵列来存储。

硬盘读写速率是影响数据备份工作效率的主要因素。机械硬盘影响其传输速率的因素包括内部传输率和外部传输率,内部传输率主要依赖于硬盘的转速,外部传输率与硬盘接口类型和缓存大小有关。目前3.5英寸机械硬盘转速一般为5400转每分钟、7200转每分钟、10000转每分钟和15000转每分钟,随着转速的增加,成本也随之增加。SATA接口的理论传输速率为1.5Gb/s、3Gb/s和6 Gb/s。USB3.0的理论传输速率为5 Gb/s,Thunderbolt接口的理论传输速率为10 Gb/s。但是在数据备份过程中,由于硬盘转速、接口间桥接、传输损耗等限制,通常达不到理论传输速度。

固态硬盘(SSD,Solid State Disk)是由控制单元和存储单元即闪存芯片组成,就是用固态闪存芯片组成阵列而制成的硬盘。固态硬盘与机械硬盘不同,不使用磁片旋转实现寻址和数据读写,寻址时间一般只需要0.1ms。


(2)LTO数据流磁带


LTO(Linear Tape Open)技术,即线性磁带开放协议,是由HP、IBM、Seagate这三家厂商在1997年11月联合制定的,其结合了线性多通道、双向磁带格式的优点,基于服务系统、硬件数据压缩、优化的磁道面和高效率纠错技术,来提高磁带的能力和性能。目前用于备份存储的LTO属于LTO Ultrium格式,即高速开放磁带格式。目前已发展到第八代。

前文提到机械硬盘不稳定、不易携带、在运输途中极易造成硬盘损坏,现场同时进行数据流磁带备份在一定程度上弥补了这一安全漏洞。数据流磁带携带便利,物理运输的震动对其影响不大,远远小于对硬盘的影响,运输安全性高。

LTO存储期限约为30年,也是目前最适合用于长期存储的方案。但是LTO数据流磁带只向下兼容两代,两代中最近一代为读写兼容,再前一代为只读兼容。


    2.2数据备份方式


硬盘备份主要有两种方式,一种为单个硬盘备份,另一种为磁盘阵列方式。单个硬盘备份方式需要对硬盘进行分别独立管理,备份成本和复杂度低,但安全性较低,不具备修复和校验功能,一旦磁盘损坏,将导致硬盘部分数据甚至全部数据无法修复。因此,在使用单盘备份的情况下,需要至少两份以上备份文件。

RAID(Redundant Arrays of Independent Disks)独立磁盘冗余阵列,其原理是利用数组方式来做磁盘组,配合数据分散排列的设计,以提升数据的安全性。磁盘阵列是由很多价格较便宜的磁盘,通过RAID控制器组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果来提升整个磁盘系统效能。电影前期拍摄流程中常用到读写速率较快的RAID 0和安全性较高的RAID 5、RAID 6。


  2.3 数据备份完整性校验


数据备份过程必须确保备份数据与摄影机记录在存储单元中的数据完全一致,因此,完整性校验是必不可少的环节。电影拍摄现场通常使用MD5值校验。MD5是message-digest algorithm 5(信息-摘要算法5)的缩写。依照这种方法,无论是视频文件、音频文件、图像序列帧文件或者其他任何类型的文件,有且只有一个独一无二的MD5信息值。如果这个文件被修改过,它的MD5值将随之改变。因此,我们可以通过对比同一文件的MD5值,来校验这个文件是否被“篡改”过。也就是说,可以通过对比拍摄记录下的文件MD5值和备份到磁带后文件的MD5值是否一致,来判断备份过程是否正确,从而确保备份数据的正确性。


3. 数据备份优化方案


综合考虑拍摄现场数据备份效率、数据备份安全性和完整性以及成本因素,本文提出采用磁带机的数据备份优化方案。现场使用8T 机械硬盘的 RAID 5磁盘阵列进行第一次数据迁移操作。磁盘阵列写入速度可高达1000MB/s,考虑到数据读取速度的限制,最终写入速度也是磁带写入速度的2-3倍,大大缩短了现场数据备份消耗的时间,同时也提高了现场调色、素材检查、样片制作等环节的工作效率。在近现场环境下对当日拍摄素材再次进行数据迁移操作,从磁盘阵列备份到磁带里,用于长期备份保存,当磁盘阵列出现某种不可抗力因素发生素材损坏或者丢失时,可以通过磁带进行复还。


便携磁带机 QUALSTAR Q1 ——影视拍摄现场数据备份最佳选择


产品亮点:便携、经济、高效、安全


1.便携

产品自重4公斤,体积小巧,便于携带到拍摄现场进行素材备份与管理,可配合专业航空箱随走随带非常方便。

2.经济

磁带目前技术已经达到LTO8的阶段,单盘磁带容量可达30TB,价格在165美元,而目前磁盘出现14TB,价格是509美元,一盘磁带是磁盘价格的三分之一,要备份的容量越大相对节约的成本越多,经济价值非常高,磁带机在美国DIT素材备份与管理中应用非常多。

3.高效

磁带机采用windows 操作系统,使用单一的LTO 6, 7或8驱动器集成在一个坚固而紧凑的箱体去备份你的数据。它带有一个集成的存储卡读取器,用于直接从摄像机、获取数据,USB接口用于连接到外部移动硬盘,以及一个网络接口,以支持通过网络将数据复制到磁带。简化您的数据移动和工作流,LTO7磁带单盘的传输速率高达300MB/S,备份素材的效率高于磁盘单盘的速率。

4.安全

很多剧组在素材备份上经常采用2套磁盘备份的方式,因为怕单备份万一出现素材丢失的现象损失会非常大,这其实已经暴露出磁盘安全性的问题,磁盘毕竟是电子产品,其不稳定性决定了想要数据备份必须进行双备份,而磁带是机械结构,架构相对简单,不容易损坏,而且磁带保存数据的年限非常长,在恒温恒湿条件下可以保存30-50年的时间,便于客户长期保存重要文件与影视资料。因为磁带属于离线存储介质,其保存的数据安全性完全取决于磁带本身,只要磁带本身是安全的,磁带机是否损坏并不重要,你可以把它理解成早年的录像机原理,磁带就是早年的录像带经过研发使得密度加大,所以它的容量也越来越大,由于本品出自德国工厂,其品质已经在欧洲及美国市场得到验证,被DIT部门广泛用于电影,电视剧现场素材备份归档。


Q1 LTFS 文件系统:1.独立的LTO 6 嵌入式服务器;2.网络管理数据文件

便携磁带机 QUALSTAR Q1 ——DIT 拍摄现场数据备份新帮手

便携磁带机 QUALSTAR Q1 ——DIT 拍摄现场数据备份新帮手


北京博恒视创科技有限公司是一家专业多媒体存储系统集成商。我公司联合美国Active Storage公司共同开发了Active媒体私有云共享系统、满足4K视频剪辑和大型真人秀节目制作的Active Storage光纤存储在线实时剪辑系统、满足每天100T的源数据同城或异地的数据分发与共享的远程数据复制与内容分发系统。8K电影全流程跨平台共享实时剪辑系统,现场实时调色及DIT管理系统,影视素材归档备份管理系统、海量数据自动化迁移保存系统、全媒体制播网系统等多种完全“订制化”的解决方案。2018年本公司开发出一套完整的数据安全保存系统,以“在线编辑,近线备份,离线保存”的三维立体式的解决方案,让客户数据在“生命周期”内安全的保存,没有后顾之忧,我们始终将客户的需求放在第一位,持之以恒,坚持创新,引领产品走向高容量、高带宽、高集成和人工智能化。

大型真人秀后期非编网部分成功案例:

深圳卫视《加油吧,新郎》、爱奇艺《流行之王》、北京卫视《歌手是谁》、湖南卫视《完美假期》、江西卫视《带着爸妈去旅行》、央视三套《幸福账单》、央视三套《急速少年》、湖南卫视《旋风孝子》、湖南卫视《妈妈的牵挂》、安徽卫视《国剧盛典》、安徽卫视《合唱先锋》、腾讯《拜托了冰箱》、黑龙江卫视《嘿,大兄弟》、山东卫视《家游•好儿女》、江西卫视《七天爱上你》、芒果TV《透鲜滴星期天》、CCTV《警察特训营》、爱奇艺《大学生来了》、爱奇艺《娜就这么说》、爱奇艺《我去上学啦》、浙江卫视《喜剧总动员》、芒果TV《黄金单身汉》、芒果TV《香蕉打卡》、芒果TV《不一样的偶像》、江西卫视《玫瑰之旅》、浙江卫视《开心俱乐部》、优酷《火星实验室》、内蒙古卫视《嗨,马上出发》、芒果TV《爸爸去哪儿》、芒果TV《我是大侦探》、央视《朗读者》、湖南卫视《我家那小子》、湖南卫视《幻乐之城》、湖南卫视《亲爱的客栈》、腾讯视频《创造101》、爱奇艺《偶像练习生》《青春有你》,湖南卫视《中餐厅》《亲爱的客栈3》《声临其境》等等真人秀节目后期机房。


欲了解更多,欢迎咨询

魏 明

大客户部 Customer Department

-------------------------------

电话: 18611689687(同微信号)

Add: 北京市朝阳区三间房东路一号懋隆文化产业创意园34栋

网址:www.active-storage.com.cn

本文为作者 魏明 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/120750