北京广播电视台8K超高清后期协同生产系统的设计与实践
作者:中央广播电视总台 丁研
目前,8K超高清视频作为当前及未来相当长一段时期内广电与视频产业的最高技术标准,具有超高清晰度、超广色域范围、超多声道音频等诸多优势。为了贯彻落实习近平总书记重要指示精神,积极创新传播、创新宣传,推进我国8K超高清视频的探索实践,构建超高清视频产业体系和视听消费新业态,促进广播电视高质量创新性发展,2021年初北京广播电视台自筹资金开始8K超高清频道(一期)项目的建设工作,2021年12月31日冬奥纪实8K超高清试验频道顺利开播。
8K超高清频道(一期)项目在建设过程中,如何选用相适应的8K超高清文件格式成为关键,北京广播电视台创新性地采用了传统的MOV文件与JPEG-XS浅压缩文件相结合的制作方式,非常便捷地将8K备播文件送至播出,并且在播出也实现了8K超高清文件多格式混播的播出方式。下面我们将与大家共同分享8K超高清频道(一期)项目的8K节目协同生产系统建设心得。
一、8K生产面临的问题
在冬奥纪实8K超高清试验频道开播前,我们在8K超高清试验频道(一期)项目的建设过程中,遇到了很多与高清、4K项目建设中不一样的问题,下面我们单将北京广播电视台8K超高清试验频道(一期)项目中的8K节目协同生产系统建设中碰见的问题总结如下:
1. 海量数据处理压力
目前,8K在分辨率上是高清的16倍,基础帧率是高清的2倍,在相同编码质量的情况下,数据量比高清多出至少32倍。例如,8K试验频道节目成品文件提交给播出域使用ProRes422 LT压缩编码,标定平均码率为2700Mbps,实际VBR的编码方式使得最高码率达到了3000Mbps以上,而制作域应用的各类高质量视频数据的数据量和码率有时会更高。就以《2021年北京广播电视台春节联欢晚会》项目为例,4讯道8K录制,5天多通道收录数据量高达155TB,这些还不包含后期生产中转码、编辑、渲染环节二次生成所产生的额外文件,这海量的数据对8K素材的使用和存储提出了更高的挑战。
更为现实的问题在于,8K生产需要解决庞大数据量导入导出时需要花费的巨大时间成本与面临的安全风险问题,还需要满足高码率8K节目素材对读写带宽的需求。
2. 8K多格式混编
当前制作域使用的8K编辑格式包含压缩编码数据与RAW数据两大类。压缩编码数据包括DNxHR、ProRes、JPEG-XS、XAVC(class1200);RAW数据则大多为摄影机厂家提供的专用格式,如R3D、X-OCN、BMDRAW等。不同8K编辑格式的后期生产流程、适配的操作系统、软件编解码能力、工作站硬件处理能力等也存在差异。根据节目类型、前后期硬件配置、编辑流程等,8K常规类节目与精品类节目必须要解决多格式兼容编辑,甚至是多格式混合编辑的问题。这对生产系统配置和软硬件选型的合理性都是一大挑战。
3. 单机资源算力瓶颈,渲染效率低
8K生产中的实时性编辑、调色渲染、图像降噪、包装特效、时间线合成输出等工序对工作站硬件配置算力有着超高的要求。基于PCIe 3.0架构的工作站已达发展瓶颈,其有限的总线带宽限制了工作站的配置性能,难以负荷8K渲染运算需要的硬件算力。在这种不利条件下,单台工作站可提供的渲染资源与性能对8K生产来说,是十分有限的。工作站算力的问题直接影响到了8K节目的生产效率与加工精度。
4. 传统生产流程导致的问题
纵观当前广播电视节目内容生产,审片后的修改是不可避免的。传统高清生产流程的修改环节一般是在所有工序完成之后进行,这是建立在拍、采、编、播生产流程相对单一以及工作站算力性能过剩的基础上。在8K后期生产中,除剪辑外,HDR调色、特效包装、时间线合成等都需要耗费比高清生产多几十倍的渲染时间。以2021年顶配Mac Pro工作站为例,达芬奇一级调色高清渲染速度约每秒350帧,而同样调色效果的8K渲染速度约每秒16帧,速度相差20倍以上。
另一方面,8K节目的音频制作均按5.1环绕声的标准来制作,各声道相位变化亦不同。一般的视频编辑工作站只能对立体声进行监听。如果按照高清时的节目修改习惯,肆意对已做完的5.1音频进行剪辑编辑,则极易出现不同声道间的相位跳变情况。
8K节目生产若沿用高清时代的生产流程,修改剪辑部分,就需要重新调色渲染、时间线合成渲染,甚至5.1环绕声的重新混音制作。在现有工作站算力的瓶颈下,每一个环节都需要花费比高清慢20倍以上的代价。因此,如何优化生产流程、提高生产效率、减少节目修改花费的高额时间成本,成为8K内容生产必须考虑的问题之一。
二、8K节目协同生产系统架构简介
8K节目协同生产系统是北京广播电视台8K超高清试验频道中承担着8K超高清后期制作任务的生产系统,该系统的建设完成使前面遇到的问题得以解决,形成了一套北京广播电视台自有的8K超高清后期制作系统。
1. 整体设计思路
北京广播电视台8K超高清试验频道项目中的8K节目协同生产系统部分,采用高交互性、安全性的网络架构设计思路,目的在于兼顾8K节目高质量与常规化生产需求。以8K中央存储网络化架构为核心,连接8K收录系统、DIT数据存储、8K编辑工作站、8K精编工作站、8K高端调色系统等,实现8K节目数据网络化共享制作,减少了8K庞大数据量迁移所带来的困扰,如图1所示。
前期拍摄素材、DIT存储、历史现有素材通过上下载工作站把8K素材拷入8K中央存储对应目录。8K EFP收录系统可以通过NAS网关直接把8K演播室收录素材存储至8K中央存储中。8K剪辑/调色工作站、8K精编工作站、8K高端调色系统都可通过独自权限访问8K中央存储的指定目录。剪辑调色基于网络数据库的项目工程,实现多机协同工作,多机渲染。调色后的成品节目文件输出或拷贝到指定目录,传输网关通过策略自动扫描对应目录,自动提交成片到播出网系统存储,实现网络化备播。
2. 系统架构特点
8K节目协同生产系统和架构是基于网络化后期制作,在一个具体网络内部可以完成高端节目的生产加工,并且实现视频制作与音频制作之间数据的高速共享访问。在整套方案中,实现了HDR制作流程的工具定义。利用具体的硬件指标,可以高质量地对BT.2020 HLG进行量化处理,并且设计工艺流程,适配高质和高效的节目生产加工需求。整套平台采用了基于硬件的HDR标准监看的可视化设备,实现了现阶段多版本播出需求。
3. 技术亮点
(1)高速大容量中央存储搭配雷电3接口(海量数据解决方案)
以基于Stornext并行文件系统的工作流存储系统为控制单元,配以大容量高性能光纤记录单元,组成了6PB容量,总读写带宽超过30Gbps的高速FC SAN共享存储系统。
整个网络采用双网结构,元数据信息和数据信息分别通过以太网通道和光纤通道进行数据交换。10Gb以太网交换机和32Gb光纤交换机均采用双机架构,提高可靠性,避免了单点故障,保证了8K节目素材的存储空间与读写需求。DIT数据进出全部通过Mac工作站配备的雷电3接口,在存储介质性能满足的情况下,可实现1500Mbps的数据传输速度,1TB素材拷入约16分钟,解决了8K庞大数据量节目素材上载的问题。
(2)基于异构混合的编辑网络(8K多格式混编解决方案)
整个生产系统通过组建异构编辑网络,配置了Mac剪辑调色工作站、Windows精编渲染工作站、Linux高端调色系统等,编辑软件包括Premiere、Davinci Resolve、FinalCut X、索贝等。Mac系统架构主要处理ProRes编码、RAW数据等,Windows架构依靠定制软件功能,满足JPEG-XS的高效编解码处理需求。整体编辑网络支持8K DNxHR、ProRes、JPEG-XS混合编辑模式。
制作时可将所有的原始素材统一上载,存储在高性能的共享SAN存储中,Mac、Windows、Linux站点都可以在线实时访问编辑8K素材,同一软件可以通过基于网络数据库的共享工程文件进行编辑和调色任务的交互,跨平台的不同软件可以通过XML、AAF、EDL等文件进行套底操作,实现不同软件不同需求的协同工作。
同一软件内部协同工作时基于媒体池锁定(bin locking)和时间线锁定功能可保证多名用户不互相覆盖彼此的工作。一名用户可以创建媒体夹来整理影像、添加元数据、创建时间线素材整理,同时另一名用户可以处理另一个媒体夹。在当前用户解锁前,媒体夹和时间线都会是“只读”状态。
协作项目的每位用户都可以生成和管理自己的缓存文件,并设置自己的监看偏好设置从而优化其各自的系统性能。还能以只读模式打开协作项目,预览剪切或复制元素而影响其他用户。当剪辑师创建时间线和添加特效的时候,调色师可以同时选择任何片段开始调色。调色时,片段会自动锁定,因此该片段不会被覆盖,每位调色师对各自调色的镜头都十分明确。
通过以上这些协同工作的方式可为8K批量化节目生产与精品节目生产需求,提供不同的软硬件搭配组合。
(3)专为8K渲染定制的PCIe 4.0高性能精编工作单元(单机算力瓶颈解决方案)
针对单机算力瓶颈问题,我们采用的精编工作单元是专门定制的Windows高性能8K工作单元,整机优化处理,采用AMD 64核心专业处理器,基于PCIe 4.0技术架构,搭载最新NVIDIA Ampere架构双GPU处理单元,支持多轨实时编辑、多格式混合编辑。PCIe 4.0理论传输(位)速率达到了16 GT/秒,是PCIe 3.0位速率的两倍,可为8K制作提供强大的渲染资源与性能,提高了8K节目的生产效率与加工精度。
而为了保证高速高效规模化生产,选用一种通用的制作及播出格式又是当务之急,我们的精编工作单元采用的是JPEG-XS格式作为交互处理核心,JPEG-XS是JPEG国际委员会制定的新国际标准,该标准可在低压缩比的场景下,实现视觉无损压缩。
JPEG-XS是一种采用ST 2110-22标准基于小波算法的帧内浅压缩编码算法,可以支持到16bit精度,120FPS,8K分辨率,JPEG-XS编码复杂度低、硬件平台亲和性强,现有硬件平台都可以高效支持,同时JPEG-XS主要在帧内进行编码,这样不执行时间维度方面的预测,虽然压缩比例不会很大,但会极大降低时延。
这些优势可以提升制作过程中的编辑效率,降低传输过程中8K文件数据量太大导致的一些问题(4X12-SDI,100G IP流等),可以将8K视频以IP化的方式在10G带宽下传输。JPEG-XS的高性能和高稳定性,可实现单机8层8K 50P实时编辑能力。
(4)为8K超高清视频定制的后期制作流程(解决传统生产流程滞后的问题)
在8K超高清后期视频剪辑环节中,相比较高清时代而言最关键的部分是如何处理和剪辑基于来自同样拍摄机位数量的超高清摄像机的素材。高清节目生产通常配备了一定数量的剪辑工作站并行节目剪辑,但就8K超高清而言,无论是存储还是剪辑工作站都负担不起大量多机位剪辑需求。
然而通过代理套片与故事板级交互的后期制作流程可以帮我们解决上述问题,绕过瓶颈使更多的剪辑人员参与到协同的后期流程中来。
a. 增加更为详尽的DIT工作流程
传统流程中的DIT环节可能只具备简单的素材整理需求,而8K超高清后期DIT首先就需要将针对此次拍摄的摄像机进行统一配置及定义,主要包含三个部分:摄像机录制编码格式管理、色彩空间管理、元数据管理,上述三个环节目的是为了保证正式拍摄素材与电视超高清素材标准一致。这样确保了前期拍摄的内容是符合电视超高清素材标准(分辨率、帧率、色域、立体声等),避免了拍摄造成的不可逆的损失。
当天拍摄任务结束时,所有拍摄素材均汇总到DIT工作环节中,DIT工作人员需对于拍摄素材进行多步操作:多版本管理、目录结构管理、数据安全管理、多机位时间码管理和素材转码管理。完成上述环节后就可将8K超高清素材交付给后期进行剪辑。
由于DIT在拍摄过程中已经对拍摄素材进行了分类管理和确定初步的色彩基调,了解现场拍摄的素材类型,可以针对性进行素材的上载和分发,可以快速地确定哪些文件需要转码,哪些需要上变换,哪些需要调整码率,可以协助后期制作快速进入剪辑流程。缩短了后期制作部门查找素材、视音频对位、编转码等时间。提升了整个制作流程中的工作效率并保证贯穿前后的色彩空间一致性。
b. 视频剪辑流程
首先是素材进入到后期视频制作流程后,可以对拍摄素材进行8K、4K、HD的代理码流转码工作,分辨率由8K UHD 7680×4320下变换到 3840×2160或1920×1080高清16:9画幅,帧速率和原始素材保持一致为50P。
该流程目的第一是为了减轻剪辑工作站自身的视频剪辑解码压力,从而能够剪辑更多轨道的多机位素材;第二是保证存储的读写性能能够满足更多的剪辑工作站访问需求,进而实现规模化节目制作生产。同时代理转码会加载现场摄像机LUT 表或一级调色信息。这样后期环节使用剪辑的代理素材更接近完成片的色彩,减少了剪辑时因素材色彩发“灰”不匹配造成突兀感,方便创作部门更好地把握节目制作的节奏和内容。
其次是多机位合板过程。该过程使用时间码、声音波形、手动入出点等方法进行多机位剪辑合板工作,并且针对素材进行高低码流的素材绑定。
接下来就进入真正的视频剪辑工作中,剪辑师采用代理视频进行粗剪和精剪,在这个环节最终交付时间线XML给节目包装,或者交付音频AAF文件及参考画面给唱词字幕组和音频组进行处理,实现工程级流转互通,实现真正意义上的电视后期工业流程。
c. 视频调色流程
8K调色是8K内容生产中的重要环节,它的加工精细度影响了节目图像质量最终呈现效果;流程中色彩管理、色彩转换的科学性与正确性甚至会影响安全播出。因此8K调色对配套软件的调整精度、色彩管理准确性都有很高的要求。同时,8K调色对视频图像添加了多层处理效果,如一级调色、二级调色、降噪、锐化等,调色预览和渲染输出所耗费的硬件算力是8K内容生产流程中最高的。
我们在8K调色流程中引入了Baselight调色系统,它的硬件系统具备多GPU架构,采用6块每块显存48Gb的NVIDIA RTX A6000 GPU处理单元用于渲染加速,解决了8K多级调色处理时的实时预览与渲染输出问题。
调色时将非编软件交付的故事板XML文件套底回批原始拍摄素材,通过8K摄影机的型号充分调用原始文件的元数据,然后将其统一转换到软件内置色彩管理系统的场景内,通过色彩呈现模型结合特定的显示色彩空间(HLG)进行调色,实现了色彩科学正确显示的画面还原。
同时,为解决8K调色加工精度调整问题,我们通过基于符合人眼感知原理开发的调色工具对曝光、白平衡、色域压缩等方面进行分段式、多级式调整,如HDR图像中体现高动态范围特点的75%亮度以上区域的层次与细节还原处理。
为了提升调色效率、满足北京广播电视台8K 超高清媒体融合发布平台,大屏、中屏、小屏等多终端、多版本内容分发需求,我们使用了Truelight色彩科学管理机制,基于SceneReferred的T-Log/E-gamut色彩空间调色,实现多标准色彩转换,无需重复调色,满足HLG/PQ/SDR户外大屏、HLG电视中屏、PQ/SDR小屏等多终端、多版本内容分发需求。相比传统多版本重复制作方式,生产效率提高近2倍。
调色后的8K节目充分利用了HDR 高动态范围的电平区间,更加接近人眼对客观环境的亮度感知范围,图像中丰富的细节也更好地适配了观众对8K的主观审美特点。
d. 音频制作流程
音频编辑在8K超高清后期的制作中处于不可或缺地位,8K节目音频制作从高清时代的立体声制作,全线提升为5.1环绕声+立体声的标准。节目要求以及制作的多元化也随之增加,那么需要音频后期的编辑在制作网中既能单打独斗,又能与视频制作很好结合并肩作战。
音频后期制作模式采用AAF/OMF文件链接方式,通过AAF/OMF文件进行故事板剪辑工程交互。由于AAF/OMF文件中包含了音视频文件链接位置以及剪辑点信息等元数据,更适用于多人协作剪辑。可将粗剪版本通过AAF/OMF文件发送给音频后期进行声音处理,省去了耗时的转码时间,提高了制作效率。
三、规模化8K超高清节目生产系统
北京广播电视台8K超高清频道(一期)项目的建设完成,保证了冬奥纪实8K超高清试验频道在2021年12月31日顺利开播。而后续北京广播电视台将考虑的是规模化8K超高清节目生产系统,而规模化8K超高清节目生产系统应该基于北京广播电视台未来技术发展战略,平台采用云计算、分布式等先进关键技术与超高清视频技术相结合的方式,充分利用现有4K超高清技术架构,融合支撑8K和4K业务,并且要建设8K节目生产模块,形成全年365小时、日均1小时的8K内容规模化生产能力。还要建设与8K节目生产模块相关的8K演播室播出、总编室、超高清生产媒资等模块,实现8K超高清网络全流程制播业务,真正实现全台超高清“一朵云”。
四、结语
8K超高清代表着当前视音频技术发展的最高水准,在细节呈现、明暗层次、色彩还原、声场再现等方面具有显著优势,但对于设备性能的要求已经远超出现有产品水平。8K系统建设尚处于探索阶段,架构设计、功能实现、格式标准均未明确,业内依然缺乏成熟解决方案。北京广播电视台将逐步完善8K核心制播系统,填补空白、补齐短板,实现从无到有、从粗到精的技术进步。
来源:选自2022年第6期《现代电视技术》