浅谈为什么DIT选用磁带机进行影视拍摄现场数据备份保存是最具性价比的
2018-12-03 13:50
浅谈为什么DIT选用磁带机进行影视拍摄现场数据备份保存是最具性价比的
进入数字时代以后,电影前期拍摄逐步形成基于文件的工作方式时代。在追求高质量、高分辨率、高信息量的大趋势下,全4K电影制作早已不足为奇。一部普通4K电影的前期拍摄,通常每天要记录1TB~2TB左右数据量的文件。摄影机将拍摄的画面以数字文件的形式记录到存储媒介上,这些数字文件再经过重新编码压缩等处理,形成样片文件,在导演、制片人、剪辑、特效和后期等各部门间流转。现如今电影前期拍摄流程是由数据获取和数据文件处理的流程决定的。电影拍摄现场数据管理工作主要涉及数据安全、数据备份、调色、样片制作和数据管理等环节。目前,国内对现场数据管理涉及的工作内容认识不够深入,现有的数据管理工作不够完善。下文将在使用设备层面对涉及数据管理的工作内容分别进行探讨。
1.数据安全保障
存储介质与存储方式的安全性如何保障数据的安全,电影制作是在确保数字文件安全的基础上实现的。然而在电影拍摄流程中的许多环节上却存在安全隐患,例如摄影组人员操作的安全性、DIT人员操作的安全性、用电的安全性、数据备份的正确性和安全性以及其他外部因素影响等。目前电影拍摄现场数据备份的主要介质是机械硬盘。硬盘介质存在不稳定、易损毁等缺陷。硬盘的备份方式主要包括单盘备份和磁盘阵列两种。单盘备份的成本低,但是安全性低于磁盘阵列备份方式。目前数据流磁带存储被列为较为合理的长期解决方案。出于安全性考虑,为了降低风险,好莱坞也全面采用数据流磁带备份。
2. 数据备份
DIT人员在现场负责读取记录媒介中的数据,通过安全的方式将拍摄数据文件正确地进行数据迁移操作。数据备份过程涉及备份介质、备份方式、数据备份的完整性、数据备份效率等。
2.1备份介质
(1)硬盘介质
硬盘主要包括机械硬盘(HDD)和固态硬盘(SSD)。机械硬盘采用磁性碟片来存储,固态硬盘采用闪存颗粒形成RAID 0存储阵列来存储。
硬盘读写速率是影响数据备份工作效率的主要因素。机械硬盘影响其传输速率的因素包括内部传输率和外部传输率,内部传输率主要依赖于硬盘的转速,外部传输率与硬盘接口类型和缓存大小有关。目前3.5英寸机械硬盘转速一般为5400转每分钟、7200转每分钟、10000转每分钟和15000转每分钟,随着转速的增加,成本也随之增加。SATA接口的理论传输速率为1.5Gb/s、3Gb/s和6 Gb/s。USB3.0的理论传输速率为5 Gb/s,Thunderbolt接口的理论传输速率为10 Gb/s。但是在数据备份过程中,由于硬盘转速、接口间桥接、传输损耗等限制,通常达不到理论传输速度。
固态硬盘(SSD,Solid State Disk)是由控制单元和存储单元即闪存芯片组成,就是用固态闪存芯片组成阵列而制成的硬盘。固态硬盘与机械硬盘不同,不使用磁片旋转实现寻址和数据读写,寻址时间一般只需要0.1ms。
(2)LTO数据流磁带
LTO(Linear Tape Open)技术,即线性磁带开放协议,是由HP、IBM、Seagate这三家厂商在1997年11月联合制定的,其结合了线性多通道、双向磁带格式的优点,基于服务系统、硬件数据压缩、优化的磁道面和高效率纠错技术,来提高磁带的能力和性能。目前用于备份存储的LTO属于LTO Ultrium格式,即高速开放磁带格式。目前已发展到第八代。
前文提到机械硬盘不稳定、不易携带、在运输途中极易造成硬盘损坏,现场同时进行数据流磁带备份在一定程度上弥补了这一安全漏洞。数据流磁带携带便利,物理运输的震动对其影响不大,远远小于对硬盘的影响,运输安全性高。
LTO存储期限约为30年,也是目前最适合用于长期存储的方案。但是LTO数据流磁带只向下兼容两代,两代中最近一代为读写兼容,再前一代为只读兼容。
2.2数据备份方式
硬盘备份主要有两种方式,一种为单个硬盘备份,另一种为磁盘阵列方式。单个硬盘备份方式需要对硬盘进行分别独立管理,备份成本和复杂度低,但安全性较低,不具备修复和校验功能,一旦磁盘损坏,将导致硬盘部分数据甚至全部数据无法修复。因此,在使用单盘备份的情况下,需要至少两份以上备份文件。
RAID(Redundant Arrays of Independent Disks)独立磁盘冗余阵列,其原理是利用数组方式来做磁盘组,配合数据分散排列的设计,以提升数据的安全性。磁盘阵列是由很多价格较便宜的磁盘,通过RAID控制器组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果来提升整个磁盘系统效能。电影前期拍摄流程中常用到读写速率较快的RAID 0和安全性较高的RAID 5、RAID 6。
2.3 数据备份完整性校验
数据备份过程必须确保备份数据与摄影机记录在存储单元中的数据完全一致,因此,完整性校验是必不可少的环节。电影拍摄现场通常使用MD5值校验。MD5是message-digest algorithm 5(信息-摘要算法5)的缩写。依照这种方法,无论是视频文件、音频文件、图像序列帧文件或者其他任何类型的文件,有且只有一个独一无二的MD5信息值。如果这个文件被修改过,它的MD5值将随之改变。因此,我们可以通过对比同一文件的MD5值,来校验这个文件是否被“篡改”过。也就是说,可以通过对比拍摄记录下的文件MD5值和备份到磁带后文件的MD5值是否一致,来判断备份过程是否正确,从而确保备份数据的正确性。
3. 数据备份优化方案
综合考虑拍摄现场数据备份效率、数据备份安全性和完整性以及成本因素,本文提出采用磁带机的数据备份优化方案。现场使用8T 机械硬盘的 RAID 5磁盘阵列进行第一次数据迁移操作。磁盘阵列写入速度可高达1000MB/s,考虑到数据读取速度的限制,最终写入速度也是磁带写入速度的2-3倍,大大缩短了现场数据备份消耗的时间,同时也提高了现场调色、素材检查、样片制作等环节的工作效率。在近现场环境下对当日拍摄素材再次进行数据迁移操作,从磁盘阵列备份到磁带里,用于长期备份保存,当磁盘阵列出现某种不可抗力因素发生素材损坏或者丢失时,可以通过磁带进行复还。
联系人:苏经理,手机13520709205(微信同号)
本公司开发出一套完整的数据安全保存系统,以“在线编辑,近线备份,离线保存”的三维立体式的解决方案,让数据在“生命周期”内安全的保存,没有后顾之忧, 欢迎新老朋友前来洽谈合作,面对各种新技术的涌现,博恒视创将持之以恒、不断创新,为客户提供高质量产品和服务,满足客户的不同需求。
进入数字时代以后,电影前期拍摄逐步形成基于文件的工作方式时代。在追求高质量、高分辨率、高信息量的大趋势下,全4K电影制作早已不足为奇。一部普通4K电影的前期拍摄,通常每天要记录1TB~2TB左右数据量的文件。摄影机将拍摄的画面以数字文件的形式记录到存储媒介上,这些数字文件再经过重新编码压缩等处理,形成样片文件,在导演、制片人、剪辑、特效和后期等各部门间流转。现如今电影前期拍摄流程是由数据获取和数据文件处理的流程决定的。电影拍摄现场数据管理工作主要涉及数据安全、数据备份、调色、样片制作和数据管理等环节。目前,国内对现场数据管理涉及的工作内容认识不够深入,现有的数据管理工作不够完善。下文将在使用设备层面对涉及数据管理的工作内容分别进行探讨。
1.数据安全保障
存储介质与存储方式的安全性如何保障数据的安全,电影制作是在确保数字文件安全的基础上实现的。然而在电影拍摄流程中的许多环节上却存在安全隐患,例如摄影组人员操作的安全性、DIT人员操作的安全性、用电的安全性、数据备份的正确性和安全性以及其他外部因素影响等。目前电影拍摄现场数据备份的主要介质是机械硬盘。硬盘介质存在不稳定、易损毁等缺陷。硬盘的备份方式主要包括单盘备份和磁盘阵列两种。单盘备份的成本低,但是安全性低于磁盘阵列备份方式。目前数据流磁带存储被列为较为合理的长期解决方案。出于安全性考虑,为了降低风险,好莱坞也全面采用数据流磁带备份。
2. 数据备份
DIT人员在现场负责读取记录媒介中的数据,通过安全的方式将拍摄数据文件正确地进行数据迁移操作。数据备份过程涉及备份介质、备份方式、数据备份的完整性、数据备份效率等。
2.1备份介质
(1)硬盘介质
硬盘主要包括机械硬盘(HDD)和固态硬盘(SSD)。机械硬盘采用磁性碟片来存储,固态硬盘采用闪存颗粒形成RAID 0存储阵列来存储。
硬盘读写速率是影响数据备份工作效率的主要因素。机械硬盘影响其传输速率的因素包括内部传输率和外部传输率,内部传输率主要依赖于硬盘的转速,外部传输率与硬盘接口类型和缓存大小有关。目前3.5英寸机械硬盘转速一般为5400转每分钟、7200转每分钟、10000转每分钟和15000转每分钟,随着转速的增加,成本也随之增加。SATA接口的理论传输速率为1.5Gb/s、3Gb/s和6 Gb/s。USB3.0的理论传输速率为5 Gb/s,Thunderbolt接口的理论传输速率为10 Gb/s。但是在数据备份过程中,由于硬盘转速、接口间桥接、传输损耗等限制,通常达不到理论传输速度。
固态硬盘(SSD,Solid State Disk)是由控制单元和存储单元即闪存芯片组成,就是用固态闪存芯片组成阵列而制成的硬盘。固态硬盘与机械硬盘不同,不使用磁片旋转实现寻址和数据读写,寻址时间一般只需要0.1ms。
(2)LTO数据流磁带
LTO(Linear Tape Open)技术,即线性磁带开放协议,是由HP、IBM、Seagate这三家厂商在1997年11月联合制定的,其结合了线性多通道、双向磁带格式的优点,基于服务系统、硬件数据压缩、优化的磁道面和高效率纠错技术,来提高磁带的能力和性能。目前用于备份存储的LTO属于LTO Ultrium格式,即高速开放磁带格式。目前已发展到第八代。
前文提到机械硬盘不稳定、不易携带、在运输途中极易造成硬盘损坏,现场同时进行数据流磁带备份在一定程度上弥补了这一安全漏洞。数据流磁带携带便利,物理运输的震动对其影响不大,远远小于对硬盘的影响,运输安全性高。
LTO存储期限约为30年,也是目前最适合用于长期存储的方案。但是LTO数据流磁带只向下兼容两代,两代中最近一代为读写兼容,再前一代为只读兼容。
2.2数据备份方式
硬盘备份主要有两种方式,一种为单个硬盘备份,另一种为磁盘阵列方式。单个硬盘备份方式需要对硬盘进行分别独立管理,备份成本和复杂度低,但安全性较低,不具备修复和校验功能,一旦磁盘损坏,将导致硬盘部分数据甚至全部数据无法修复。因此,在使用单盘备份的情况下,需要至少两份以上备份文件。
RAID(Redundant Arrays of Independent Disks)独立磁盘冗余阵列,其原理是利用数组方式来做磁盘组,配合数据分散排列的设计,以提升数据的安全性。磁盘阵列是由很多价格较便宜的磁盘,通过RAID控制器组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果来提升整个磁盘系统效能。电影前期拍摄流程中常用到读写速率较快的RAID 0和安全性较高的RAID 5、RAID 6。
2.3 数据备份完整性校验
数据备份过程必须确保备份数据与摄影机记录在存储单元中的数据完全一致,因此,完整性校验是必不可少的环节。电影拍摄现场通常使用MD5值校验。MD5是message-digest algorithm 5(信息-摘要算法5)的缩写。依照这种方法,无论是视频文件、音频文件、图像序列帧文件或者其他任何类型的文件,有且只有一个独一无二的MD5信息值。如果这个文件被修改过,它的MD5值将随之改变。因此,我们可以通过对比同一文件的MD5值,来校验这个文件是否被“篡改”过。也就是说,可以通过对比拍摄记录下的文件MD5值和备份到磁带后文件的MD5值是否一致,来判断备份过程是否正确,从而确保备份数据的正确性。
3. 数据备份优化方案
综合考虑拍摄现场数据备份效率、数据备份安全性和完整性以及成本因素,本文提出采用磁带机的数据备份优化方案。现场使用8T 机械硬盘的 RAID 5磁盘阵列进行第一次数据迁移操作。磁盘阵列写入速度可高达1000MB/s,考虑到数据读取速度的限制,最终写入速度也是磁带写入速度的2-3倍,大大缩短了现场数据备份消耗的时间,同时也提高了现场调色、素材检查、样片制作等环节的工作效率。在近现场环境下对当日拍摄素材再次进行数据迁移操作,从磁盘阵列备份到磁带里,用于长期备份保存,当磁盘阵列出现某种不可抗力因素发生素材损坏或者丢失时,可以通过磁带进行复还。
联系人:苏经理,手机13520709205(微信同号)
本公司开发出一套完整的数据安全保存系统,以“在线编辑,近线备份,离线保存”的三维立体式的解决方案,让数据在“生命周期”内安全的保存,没有后顾之忧, 欢迎新老朋友前来洽谈合作,面对各种新技术的涌现,博恒视创将持之以恒、不断创新,为客户提供高质量产品和服务,满足客户的不同需求。
本文为作者 北京博恒视创科技有限公司 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/106273
北京博恒视创科技有限公司
点击了解更多
北京博恒视创有限公司成立于2007年,是一家专业从事于广播电视设备、后期非编制作、视频存储设备研发销售系统集成一体的技术性服务公司。公司自成立伊始,就深植于中国广电行业。多年来本公司在广电、通讯行业积累了丰富的经验,并具有完善的售后服务体系。
扫码关注
北京博恒视创科技有限公司
北京博恒视创科技有限公司