2021年对于视频编解码器或驱动流视频的压缩技术来说都是繁忙的一年。Moving Pictures Experts Group（MPEG）推出了两种基于标准的编解码器，这是对开放媒体联盟AV1编解码器的首次硬件支持，并且继续部署HEVC / H.265。

在开始之前，让我们澄清一些术语。每个编解码器由规范定义，例如HEVC / H.265和AV1。但是，多个编解码器开发人员通常使用离散名称来创建该编解码器的版本，例如x264（它是AVC / H.264的实现）和x265（它是H.265 / HEVC的实现）。同样，至少有五个当前版本的AV1编解码器来自供应商，例如开放媒体联盟，思科，英特尔/ Netflix和Visionular。

思科正在为其视频会议系统Webex调整其AV1编解码器，并声称其实现“在与AVC / H.264相似的CPU占用空间内运行”。正如您将在下面看到的，我对其他四个AV1编解码器的测试显示，用于按需编码视频的CPU占用面积是x264的15-30倍。一般而言，在讨论编解码器时，最好使用通用名称。在讨论实际编解码器性能时，更适合引用特定版本本身。

另外，AVC / H.264和HEVC / H.265有两个名称，因为每个编解码器均由MPEG和国际电信联盟（ITU）标准化。出于相同的原因，多功能视频编码（VVC）也是H.266。在本文中，我将使用ITU名称（AVC，HEVC，VVC），因为大多数人对它更熟悉。只要记住AVC与H.264相同，就可以了。

主要的使用场景

视频消费有三个主要市场：浏览器，移动和OTT /智能电视。在所有这些市场中。到目前为止，AVC是主要的编解码器，而HEVC主要是由制作人部署的，这些制作人通常使用高动态范围（HDR）针对具有优质内容的客厅观众。AVC和HEVC都是由MPEG / ITU推出的，它们都是有版权的。

VP9和AV1是开源编解码器。VP9由Google发布，AV1由开放媒体联盟发布。尽管两个组织都声称其编解码器是免专利使用费的，但名为Sisvel的专利池管理员已为两个编解码器启动了专利池，这一说法令人怀疑。在使用方面，VP9和AV1主要由Netflix，YouTube，Facebook和Amazon等顶尖公司使用，但其他公司相对较少。

图1. YouTube在其大量视频中使用VP9编解码器。

通常，随着带宽成本的持续下降，Netflix / Amazon / YouTube级别以下的大多数制片人仅在需要为智能电视等新市场提供服务时才采用新的编解码器。由于潜在的带宽节省，他们似乎不采用新的编解码器。为什么是这样？因为部署新的编解码器会增加编码成本，研发成本和存储成本，同时使交付基础结构中的缓存效率降低。另外-至少在VP9情况下-似乎在AV1发布时，许多考虑VP9的制作人都决定改用AV1。

让我们看看对于前期-2020编解码器的基本性能，如表1所示。请注意，对于AVC，HEVC，和AV1的质量和性能数据来自拉本文章; 而此文章显示libvpx- VP9（谷歌的VP9编解码器FFmpeg的） 略微落后于HEVC质量但大致相似的编码时间。

为了说明质量线，HEVC显示的35％效率意味着本研究中的x265编解码器产生了与x264相同的质量，但数据速率降低了35％。同样，性能最好的AV1编解码器（来自Visionular的Aurora1）以大约50％的数据速率产生了与x264相同的质量。

表1.比较2020年之前编解码器的性能和质量。

请注意，编码要求的范围变化很​​大，有两个原因。使用x264，是因为我们使用两个预设进行了测试-慢速和Veryslow。在第一篇参考文章中，使用Slow预设使用x265进行编码可以在45秒内交付我们的测试文件，这大约是x264 AVC编解码器的两倍。但是使用Veryslow预设进行编码大约需要5分钟，是x264的15倍（表1中显示了Veryslow预设的质量结果）。AV1结果差异很大的原因是，我们在该文章中测试了四个AV1编解码器。最快的（同样来自Visionular的Aurora1）在大约5分钟内生成了测试文件，而最慢的大约在11.5分钟内生成了测试文件。显示的质量适用于Aurora1。

编码时间通常直接转化为编码成本，这就是为什么大多数云编码器编码HEVC的费用是AVC的2至4倍，而AV1的费用是AVC的30至40倍。在实时环境中，编码时间增加了对实时编码阶梯进行转码的机器成本。例如，在最近的一个咨询项目中，我们的测试机可以产生6个完整的x264编码梯形图，但是只有一个具有x265和libvpx-vp9。同时，当我尝试生产相同的梯子时，开放媒体联盟的AV1编解码器aomenc每秒只能推送一两个帧，这使AV1在实时转码甚至WebRTC的短期可行性上产生了疑问。

他们在哪里放

除了制作方面，我们还在关心的目标平台上播放时选择编解码器（表2）。尽管在质量方面效率最低，但是AVC可以在每个目标平台上播放，因此您可以进行一次编码并分发到任何地方。HEVC无法在Chrome和Firefox中播放，因此不能用于基于浏览器的常规播放，但iOS和Android均支持它，并且在智能电视和最新的OTT设备上几乎都支持它。

表2.目标平台的编解码器可用性。

综合这些数据，我希望更多的AV1被用于基于浏览器的流媒体，取代AVC和VP9以及通过应用程序进行移动播放。但是客厅将在接下来的12-24个月内与AVC和HEVC一起使用。除非并且直到Google和Mozilla在各自的浏览器中支持HEVC，否则HEVC不会对基于浏览器的流进行重大入侵。

对于现场制作人，AVC和HEVC的定位要比VP9和AV1好得多。VP9从未真正流行过现场制作，因此几乎没有用于编码或转码的硬件选项。人们会期望AV1为这两种产品积累更多的硬件支持，但是目前，AV1对于基于软件的代码转换来说似乎太复杂了。

2021年发生了什么？

在过去的一年中，推出了两个MPEG编解码器-VVC和低复杂度增强视频编码（LCEVC）-并继续开发基本视频编码（EVC）。我回顾了弗劳恩霍夫的VVC编码器和解码器，分别称为VVenC和VVdeC。如表2所示，就质量而言，VCVenC的效率比x265高39％，但编码时间要长10倍，而解码时速度要慢3.7倍。

关于特许权使用费，为VVC贡献的知识产权来自许多方面，VVC将承担版权使用费，尽管我们可能直到2021年中或以后才知道特许权使用费政策会是什么样子。

表3.基准测试MPEG的新编解码器。

LCEVC是一种混合技术，它使用现有的编解码器（例如AVC或VP9）来产生低分辨率的基础层，例如对于1080p文件，分辨率为640×360。然后，LCEVC在基础层之上添加了一个增强层，以提高整个目标的分辨率并提高质量。基本层可以在支持基本层编解码器的任何系统上播放，因此，即使没有LCEVC解码器，使用AVC基本层编码的LCEVC文件也应可以在任何可以播放AVC的系统上以基本层分辨率播放。将LCEVC解码器添加到系统，即可获得完整的分辨率和质量。

2. LCEVC文件中的基础层和增强层。V-Nova于2019年8月10日在MPEG-5 Part 2 LEVC简介中采用。

V-Nova是拥有LCEVC背后大部分知识产权的公司，我在一份报告中帮助基准衡量了当前的绩效，您可以在此处阅读。总体而言，具有640×360基本x264层和增强层的分辨率提高至1920×1080的LCEVC文件以1080p的分辨率提供了与x264相同的质量，而比特率却降低了45％。LCEVC的编码时间比x264快2.6倍，并且解码CPU要求大致相同。V-Nova希望此优势将与其他基本层编解码器一起保留，以便将以HEVC为基础层的LCEVC比仅HEVC更为有效，但这需要逐个编解码器进行验证。LCEVC将承担版权费，我将在下面进行讨论。

基本视频编码有两个配置文件，两个配置文件都没有完成。Baseline配置文件是使用不再受专利保护的较旧的编码技术构建的，并且应该是免版权使用费的。Main配置文件是根据来自四家公司的技术构建的，将收取使用费。您可以在表2中看到两个配置文件的性能数据。

这些新编解码器何时将变得相关？

正如我之前提到的，编解码器在您关心的平台上可用于播放时才变得重要。有几个因素影响可用性。

首先是技术方面。如果编解码器需要CPU / GPU中的可用硬件解码以平稳运行或没有过多的电池消耗，则通常是从编解码器发布之日起为期两年的过程-对于将新的CPU，GPU和SoC集成为一年的过程编解码器，基于这些芯片的设备又要一年。VVC和EVC似乎都属于这一类，这意味着最早具有VVC硬件的消费类设备最早可能会在2022年中期出现。假设在2021年初完成EVC，在最佳情况下，支持EVC的设备可能会在2023年初出现。

由于LCEVC的编码和解码非常轻巧，因此LCEVC不需要专用的硬件进行播放。这使V-Nova可以通过软件库或Javascript在浏览器，移动设备，OTT设备和智能电视中启用LCEVC播放，而制造商则无需任何操作。

已知的版税政策

可能进一步延迟VVC和EVC的是与这些技术相关的特许权使用费政策的发布。一些芯片供应商可能会拒绝开始增加对这些编解码器的支持，直到他们了解业务模型和成本结构，这是凌乱的HEVC专利政策的残留物，涉及许多公司已经开始部署HEVC之后启动的三个专利池。

VVC IP所有者正在努力在2021年某个时候最终确定专利使用费结构，这只会将两年的周期推迟几个月。但是，直到我们知道拟议的专利使用费数字，我们才能评估VVC的商业可行性。关于EVC，向EVC贡献了知识产权的公司已承诺在编解码器完成后的两年内宣布其版税政策，这意味着最晚将在2023年发布。

LCEVC也将承担版权费，但是V-Nova计划向分发内容的公司收费，而不是向提供编码和解码的公司收费。相比之下，大多数其他IP所有者则对编码/解码收费，这会给每部支持电话，平板电脑，电视甚至浏览器增加版权费。V-Nova的理由是，通过向内容公司收费，它实际上是在从降低的带宽成本中受益的公司收费。这种模式应该使内容公司更容易扩展兼容的LCEVC播放器的安装基础，因为它们可以通过其应用程序或浏览器代码分发播放器，而无需支付额外的专利费用。

它在哪里播放？

除了使用费政策以外，编解码器是在浏览器中还是在移动操作系统中本机可用，也可以指示其使用方式。尽管Google在Android中支持AVC和HEVC，但它曾经威胁要从Chrome中删除AVC，并且在全球最受欢迎的浏览器中仍不支持HEVC，这是AV1相对HEVC的主要竞争优势之一。除非并且直到Chrome支持HEVC，否则Chrome似乎不太可能支持VVC，EVC甚至LCEVC-并且Google可能不会在Android中支持它们。

苹果公司于2017年6月加入HEVC潮流，但于2018年加入了开放媒体联盟（AOM）。它仍不支持Safari浏览器中的VP9或AV1，并且无法预测它是否将支持这三个新的MPEG。编解码器。在OTT /智能电视中，VVC和EVC首先必须说服芯片供应商支持他们的技术，然后才说服消费产品供应商。这两个团体都有非常杰出的AOMedia成员，他们可能不愿意支持新的MPEG技术。例如，AOMedia中的芯片供应商包括Intel，AMD和NVIDIA。消费产品供应商包括Apple（AppleTV），Google（Chromecast，Android TV），Amazon（Fire）和Microsoft（Xbox），以及Samsung（电话，平板电脑，智能电视）。尽管HEVC在这些公司的设备中得到了很好的采用，但是大多数决定是在AV1上市之前做出的。

表3.基准测试MPEG的新编解码器。

可能在2021年产生影响的新编解码器是LCEVC。借助VVC和EVC，版税和技术采用方面的太多未知之处无法衡量其潜力，回放所需的两年硬件开发周期避免了在短期内得出任何结论的任何需要。

采用新编解码器的原因有三个：在具有HDR的智能电视等新市场中竞争，节省带宽并提高观看者的体验质量。如果您要针对具有优质HDR内容的客厅，则HEVC是首选的编解码器，并将至少在未来1-2年内使用。如果您追求节省带宽或改善QoE，HEVC是移动和起居室的最佳选择，而AV1正在迅速取代VP9，以实现基于浏览器的播放。

在这三种新的MPEG编解码器中，LCEVC是唯一在2021-2022年产生影响的编解码器，而LCEVC可行性的最佳指标将是金字塔顶端的发布者进行的部署。VVC和EVC何时会成为现实的最好的短期衡量标准是它们各自的IP所有者何时宣布使用费政策以及这些政策的完整性和凝聚力。忽略双曲线质量比较；如果经济学不起作用，那么这些编解码器将无法获得广泛的采用。

文章作者：