“8K数字编辑制作系统示范平台”集群化编辑的研究与应用

作者：中央广播电视总台 薛鹏

摘要

本文以集群化编辑在8K数字编辑制作系统示范平台的应用为例，主要介绍集群化8K视频处理的前后端分离视频编辑处理架构，研究此架构下的渲染技术以及支撑此架构数据交换的解决方案。

关键词

8K 科技冬奥 集群编辑系统 分布式架构 帧间切分 RDMA

为全面促进我国超高清视频产业快速发展，中央广播电视总台积极推进“5G+4K/8K+AI”战略布局，并以2022 年北京冬奥会8K转播为契机，全面推进8K 超高清电视科技创新。

由中央广播电视总台牵头的国家重点研发计划“科技冬奥超高清8K数字转播技术与系统”项目，作为其中分属课题之一的《8K编辑制作转换技术研究/设备研制及示范应用》，于2022年初完成了项目配套8K数字编辑制作系统示范平台的搭建与测试工作。本文将重点介绍该课题中编辑制作所应用的集群编辑系统的架构及应用。

一、系统概述

8K数字编辑制作系统示范平台，具备8K素材进行上载、编辑、存储的能力，利用其后台渲染、切片服务器资源构成的集群编辑系统，可以实现标准的8K超高清节目4轨实时制作编辑、渲染生成工作。在此基础上实现8K制作工艺研究、8K节目制作及8K片源积累工作。

8K超高清集群编辑系统采用大容量存储下的8K网络编辑模式，实现网络化的生产任务管理及协作，基于系统交换存储模式下的8K成品发布送播。

◆中央广播电视总台采用的视频标准为8K（7680×4320）50P格式，系统具备下变换ULTRA HDTV(3840×1920)、2K(2048×1080)、HDTV(1920×1080)分辨率的50P/25P/50i格式；

◆采用国内研发的非线性编辑平台，兼容4K/2K/高清编辑；

◆支持JPEG-XS、XAVC、Prores422、DNxHD/HR编码格式支持；

◆工作站提供8K/50P基带信号实时输出功能，使系统具备8K现场审片和画质评测环境；

◆由于8K素材量巨大，系统采用分布式存储万兆网络构架，为每台工作站提供大容量、高性能存储，满足8K编辑所需的带宽及容量需求，应用中减少工作站间的媒体文件交互，降低网络负载；

◆本系统作为中央广播电视总台为2022年北京冬奥会8K节目制作建立的后期制作系统，实现基于系统内交换存储的任务素材接收、成品文件提交、转码、审片、发布全业务流程；

◆提供8K到4K/HD的下变换功能；

◆支持多格式发布。

二、技术要点

非线性编辑是借助计算机来进行数字化制作，无需多种外部设备的协助就能实现对素材的调用。对比于传统的线性编辑，如磁带、胶片等，非线性编辑突破了单一时间的顺序编辑限制，具有快捷简便、随机的特性。另外，非线性编辑支持上传一次就可以多次编辑的特性，在保证信号质量稳定统一的同时，也节省了设备、人力成本，大幅度提高了效率。

对于8K视频数据，一秒钟广电级8K/50P基带数据超过6GB。编辑则会涉及对视频的存储、编解码、传输等工作，因此无论是物理主机还是云虚拟主机，对该数据量的素材进行编辑制作都是一项巨大挑战，并且超高清视频从分辨率、帧率、色域、动态范围、量化精度5个维度，大幅超越曾经的高清视频。

如分辨率从1280×720/1920×1080提高到了3840×2160/7680×4320，量化也从8/10比特提高到10/12比特，色域从ITU-R BT.709转变到ITU-R BT.2020，这都使得8K超高清视频数据量呈指数级增长。

传统的编辑方法在进行超高清视频的特技渲染时往往面临着单机总线带宽不足的问题，以8K每秒2GB的数据量为例，无论是12G的SDI抑或25G/40G的高速以太网，都难以支持单机对其进行实时的特技编辑渲染处理。因此为解决超高清大幅面的特技实时渲染，需要研究新的编辑渲染处理技术以保证多轨8K视频编辑的流畅性与实时性。集群编辑系统依托于能实现多台机器间基带高性能传输的RDMA技术实现集群渲染，以满足冬奥会8K节目制作为代表的应用场景的需求。

1. 分布式视频编辑架构

为使得多轨8K视频编辑过程流畅，集合多台机器进行并发解码渲染相较于单机而言，能大幅提高效率且突破单机渲染的效率瓶颈。系统采用了一种前后端分离的分布式视频编辑处理架构，用户在使用的时候只需与客户端进行交互，而后端的多台机器或在本地或在云端集群化、规模化协同编辑制作，从而实现了集群化解码渲染。

本系统采用前后端分离的集群编辑架构设置前端机器1台（可按需配置），主要负责和用户进行交互及对后端服务器返回值的拼接合成。前端机器会自动将数据同步到后端机器，控制后端机器的工作，由于不承担解码渲染等关键运算，对性能的要求大大降低。

后端机器可以根据需要设置不同数量，所有视频编辑操作均由前端机器控制。该结构把繁重的解码和渲染用后端机器解决，并采用前后端交互设计，大大提升了对超高清素材编解码、渲染合成效率及用户操作体验。

基于前后端分离的集群编辑架构，本系统采用一种将渲染和解码分离的分布式集群处理方案。该方案架构如图2所示，整个处理方案分为前端视频编辑，后端8K视频解码、渲染。

前端机器负责与用户交互并控制驱动渲染机器和解码机器，后端将8K视频进行帧内或者帧间的渲染处理。由多个机器对8K视频数据进行解码、缩放、裁剪等操作，最后交由前端机器进行拼接缝合。由于前后端分离的架构处理会使得解码和整个过程将解码和渲染分开，所以造成了大量无压缩数据的交换。因此需要支持无压缩数据高速交换的网络交换机来支撑，以实现不同设备间海量数据的流通。

2. 集群化渲染处理方法

集群化渲染采用帧间编辑的方式，利用时域分工的处理方法。

时域分工在视频非线性编辑应用中是指由多台机器联合对视频源进行逐帧处理，单台机器处理完一帧后下一台机器处理后一帧，以此循环，该技术处理方式简单精确。

◆利用多台服务器组成RDMA网络集群，每台机器配置100G网卡。

◆后端渲染服务器读取相同的时间线信息，使得所有机器的时间线数据结构同步。

◆对输入的视频文件进行解码以及编辑，得到解码视频数据，然后将解码视频数据按时间划分为多个区域，并行对每一区域的解码视频数据进行渲染，最终得到每一区域的渲染结果。

◆将各个区域的渲染结果进行缝合，拼接成完整画面，完成编辑。

采用多台机器组成集群，用帧间切分的方式，将多层大幅面编辑繁重的计算任务拆分到不同机器去处理，实现了自由顺畅的多层大幅面实时编辑。该技术可能会带来因第一帧处理耗时所造成的播出延时，但是此延时可控制在毫秒级，因此不会影响编辑的观看体验。

3. 高速无压缩数据的交换

由于前后端分离式方案架构支持渲染与解码同步进行，交互的数据将是无压缩数据，这对网络数据交换的带宽提出了高要求，并且还要避免CPU的资源过度用于数据搬运工作，于是在此方案中采用了Remote Direct Memory Access（以下简称RDMA）技术。

RDMA意为远程直接地址访问，通过RDMA，本端节点可以“直接”访问远端节点的内存，即可以像访问本地内存一样，绕过传统以太网复杂的TCP/IP网络协议栈读写远端内存，而这个过程的大部分工作由硬件而不是软件完成的。RDMA是基于Direct Memory Access（以下简称DMA）的改进。

DMA即直接内存访问，即外部设备对内存的读写过程可以不用CPU参与而直接进行。在没有DMA的时候，假设I/O设备为一个普通网卡，为了从内存拿到需要发送的数据，然后组装数据包发送到物理链路上，网卡需要通过总线告知CPU数据请求。然后CPU将会把内存缓冲区中的数据复制到自己内部的寄存器中，再复制到I/O设备的存储空间中。如果数据量比较大，那么很长一段时间内CPU都会忙于搬移数据，而无法投入其他工作中去。

DMA的设计理念即为了避免宝贵的CPU资源被浪费在数据复制上，它在总线上又挂靠了一个专门用来读写内存的DMA控制器设备，当网卡想要从内存中拷贝数据时，除了一些必要的控制命令外，整个数据复制过程都是由DMA控制器完成的。过程跟CPU复制是一样的，只不过是把内存中的数据通过总线复制到DMA控制器内部的寄存器中，再复制到I/O设备的存储空间中，而CPU只参与复制过程的开始和结束过程。DMA控制器一般是和I/O设备在一起的，即一块网卡中既有负责数据收发的模块，也有DMA模块。

传统网络中，“节点A给节点B发消息”实际上做的是“把节点A内存中的一段数据，通过网络链路搬移到节点B的内存中”，而这一过程无论是发端还是收端，都需要CPU的指挥和控制，包括网卡的控制、中断的处理、报文的封装和解析等。

在内存用户空间中的数据，需要经过CPU拷贝到内核空间的缓冲区中，然后才可以被网卡访问，这期间数据会经过软件实现的TCP/IP协议栈，加上各层头部和校验码，比如TCP头、IP头等。网卡通过DMA拷贝内核中的数据到网卡内部的缓冲区中，进行处理后通过物理链路发送给对端。

对端收到数据后，会进行相反的过程：从网卡内部存储空间将数据通过DMA拷贝到内存内核空间的缓冲区中，然后CPU会通过TCP/IP协议栈对其进行解析，将数据取出来拷贝到用户空间中。可以看出，即使有了DMA技术，上述过程还是对CPU有较强的依赖。

改进后的RDMA技术同样是把本端内存中的一段数据，复制到对端内存中，单在使用了RDMA技术时，两端的CPU几乎不用参与数据传输过程，只参与控制面。

本端的网卡直接从内存的用户空间DMA拷贝数据到内部存储空间，然后硬件进行各层报文的组装后，通过物理链路发送到对端网卡。对端的RDMA网卡收到数据后，剥离各层报文头和校验码，通过DMA将数据直接拷贝到用户空间内存中。

目前支持RDMA这种能实现低延迟、高带宽、直接的内存到内存的数据通信方式的网络协议之一就是InfiniBand（以下简称IB）。目前传统的网络技术和传输技术如10G/25G/40G以太网或是12G SDI都难以支撑。

IB是一种开放标准的低时延、高带宽、高可靠的网络互连技术，此技术由IBTA（InfiniBand Trade Alliance）定义，制定的初衷就是为了解决高性能计算场景中突破集群中数据传输瓶颈痛点应运而生的一种互连标准，使其能为网络提供端到端高达200Gbps的带宽（本系统采用100Gbps标准），最大程度释放集群内计算潜能。除了高带宽的特性外，IB网络还具有低延迟性，最快能达到端到端延迟控制在1μs（微秒），能满足本系统应用场景下的8K无压缩数据的高速交换。

三、结束语

应用集群化编辑技术成功应用于8K数字编辑制作系统——示范平台，实现了重点研发计划科技冬奥专项《8K编辑制作转换技术研究/ 设备研制及示范应用》课题4轨实时编辑8K节目的科研任务目标，并完成了相约北京测试赛制作任务，也成功应用于2022年中央广播电视总台春节联欢晚会、北京冬奥会开闭幕式和赛事的8K节目制作工作。

随着超高清、虚拟现实应用的高速发展，4K、8K超高清等更高分辨率的全景视频将进一步流行，因8K视频所具有的高分辨率以及高画面帧数等特点，使其数据量相较于原有高清视频等有大幅提升，因此对编辑系统提出了新的要求。随着科技的进步、标准的完善、终端的成熟，通过更高帧速率、更大的色彩空间以及更高的动态范围，最终将为用户提供更佳的观赏体验。

来源：选自2022年第3期《现代电视技术》