Weta技术再升级！《阿凡达2：水之道》面部动画管线技术解析

关于《阿凡达2：水之道》的技术内容我们已经发布了两篇内容。今天我们更专注的讲讲制作流程中的面部动画制作管线内容。

Weta早在2019年就公布了一个全新的面部管线。最近为了配合《阿凡达2：水之道》的上映，在SIGGRAPH ASIA上又公布了其最新的研究成果。

新的面部动画系统基于肌肉纤维曲线作为解剖基础。这一新方法被称为Anatomically Plausible Facial System或APFS，它是一个以动画师为中心、以解剖学为灵感的面部建模、动画和重定位传输系统。

新系统取代了Weta FX一直使用的FACS管线。2019年在Weta在制作《阿丽塔：战斗天使》中使用FACS方法后，开发团队发现了FACS系统存在很多问题，如面部肌肉分离、覆盖、线性组合使用和大规模冗余。例如，当FACS映射一组肌肉驱动表情的面部姿势时，为了获得足够的面部动画保证动画师在后续制作中实现真实可信的表演，FACS绑定可能最终会有多达900个FACS形状添加到绑定中。这并不是说FACS是“错误的”，而是说它不是一个基于时间的面部动画而设计的系统。它不是围绕着说话而建立的，而是孤立的情感表达。现在Weta需要一个让艺术家直接控制面部行为的系统。

于是Weta开发团队决定从零开始处理整个面部管线。研究脸上的肌肉，看它们是如何分布的，以及它们是如何连接的。

做一个表情会激活一块肌肉，而其他肌肉被串联激活，或者肌肉被被动拉动。由于肌肉的相互连接方式，在一种类似于神经网络的网络中。于是开发团队就想为什么不做一个直接使用肌肉作为基础的神经网络呢？目标是建立一个系统，让动画师能够以独特的方式表现下巴、眼睛和肌肉的任何组合运动。

“作为一个基础，这是非常棒的，因为我们现在可以训练这个系统来观察西格妮·韦弗（饰演阿凡达中的格蕾丝博士）的脸，尝试解决“肌肉”在做什么，然后运行另一个网络，将其传递给角色。”

此外，通过肌肉曲线，动画师可以直接控制面部肌肉。肌肉曲线是为了解决面部问题而设计的，但其方式动画师是可以控制的，而且与以难以置信的高逼真度捕捉到的面部动作相匹配。

APFS系统

新研发的这个APFS是基于178条肌肉纤维曲线或“应变”曲线实现。这些曲线可以收缩或松弛，以提供细粒度的高保真面部表情。端到端系统既向内向外（面部由肌肉纤维曲线驱动），也向外向内（动画师可以“正确”地从面部表面拖动和移动面部）。该系统不是人体肌肉的1:1映射，因为某些面部方面（如上唇弯曲）实际上是由下颌和下面部肌肉驱动的结果。相反，这个系统是一个由178条曲线组成的跨越式阵列，允许一组受解剖学启发的控制，但不允许直接进行肌肉/肌肉仿真和模拟。虽然面部肌肉通常是带状肌肉，但APFS曲线没有宽度。在需要的地方添加了额外的曲线来说明这一点。肌肉曲线并不是肌肉模拟，“事实上，动画师们不希望这样。”参与该项目的工程师说，“动画师想要帧到帧的控制。他们想要运动变形控制。他们不想设置一个（sim）配置，然后点击播放，看到实际的活动模拟。”

Deep Shape

在《阿凡达：水之路》中，许多演员都是在水中表演捕捉的，但他们的大部分面部动画都是在陆地上进行的二次捕捉，然后与主要表演捕捉相融合实现的。在进行面部表演时，演员们佩戴了一个立体头戴装置（HMC），由于采用了新技术，其重量比《阿凡达1》中原始HMC轻。

由于HMC相机的固定立体布置，Weta的团队开发了一种强大的新可视化工具，称为Deep Shape。立体图像用于提供可从任何角度观看的演员实际表演的3D点云重建。图像是单色的，没有多边形化，但高度还原实际表演。这种新的可视化技术使动画师能够拥有一个虚拟化的直观摄像机，就好像在距离脸部几英尺的地方拍摄一样，而不会出现广角失真和实际拍摄摄像机原始输出的奇怪视角。这样的3D深度重建视图允许一种更强大的方式来查看嘴唇和下巴的延伸，并判断后期完全可控和重建的动画是否忠实于原始视图。这是一个非常有用的观看设备。这是前所未有的技术突破，Weta FX是第一个准确实现深度形状可视化的团队。该工具为比较和判断APFS仿真提供了面部地面真实性的关键参考工具。这是基于端到端APFS的新解决方案的又一创新。

眼睑动画

每条肌肉或应变曲线都有一个关联的应变值。肌肉曲线并没有真正扭曲，但应变值在其局部空间中提供了沿曲线的收缩或扩张。从某种意义上说，它是长度变化的百分比。实际曲线应变数是无单位的，这有助于转移到不同的特征。应变值与其说是作为一个集合的一部分，不如说是孤立地发挥作用。例如，对于眨眼，有沿睫毛线（水平）和正交（垂直、上下、眼睛周围）的肌肉曲线。在这种情况下，水平曲线的实际应变值变化不大，因为它在眼球上方旋转，而垂直曲线的应变值变化很大。但最重要的是，垂直曲线沿着肌肉曲线的曲线形状缩放——这与眼球的曲线相匹配。在开放和闭合的混合形状之间进行类似的混合形状过渡，只会沿直线从关闭移动到打开（不会在眼球周围弯曲）。在Maya中，可以链接混合形状以模拟围绕眼球弯曲的眼睑，但会再次增加了臃肿的混合形状计数。

下巴动画

在新系统中，下巴和嘴唇得到了更多的关注，“因为对面部状态的主要控制是下巴，尤其是在对话中，下颚不断移动。它是状态的主要驱动力。此外，开发团队还注意到任何人的下颚只能以盾牌的轨迹形状移动。下颌骨或下颚骨通过颞下颌关节与颅骨相连，并由韧带和肌肉固定。因此，可以通过追踪颌上的一组概念点来映射颌的运动范围。当你将一组这样的点映射到一个人所有可能的对话和表情上时，你就会得到盾牌的形状。这被称为Posselt的运动包络线或Posselt盾牌。

这样肌肉问题得到解决。然后会对演员进行数字头骨的法医拟合。再计算出下颌的运动范围，然后使用HMC立体相机进行求解以提取深度信息。

同样，演员的眼睛也处理得很用心。此系统的眼睛模型与演员的巩膜、角膜和虹膜都是相匹配的。通过旋转眼球在每一帧中调整眼睛注视方向，使虹膜模型与角膜缘环和瞳孔对齐，这在每台相机捕捉的图像中都是可见的。由于眼睛的晶状体及其显示的折射，很难追踪眼睛，所以使用多个相机角度来验证对准，并说明角膜折射的光。即使是一个小的正面眼睛凸起也会应用于每个眼睛旋转，以增强角色的眼睛真实感。

四面体（Tet）面部体积

由于曲线肌肉只是线条，因此需要在数字角色的应变肌肉和皮肤之间建立联系。这些曲线捕捉了肌肉动作的线条，但它们也嵌入了真实的面部。在这里，通过使用四面体体积离散化角色静止姿势中的面部软组织的体积表示来模拟面部。tet体积位于皮肤和头骨和颌骨之间。tets形成概念上或数学上的“果冻”。在这个tet体积上对皮肤顶点和颅骨作为位置约束的整个扫描序列进行了被动、准静态模拟。使用有限元分析（FEA），以帧到帧的方式对135000个tet（受多个位置、滑动和碰撞约束）进行了“被动模拟”，就产生了解剖学上合理的肌肉行为。这里生成的“肉面具”只在训练阶段发挥作用。

传输姿势库

动画师自然习惯于使用姿势库。姿势库并没有什么问题，但姿势不会强制或编码任何运动，组合使用很容易脱离模型。为了更好地提供熟悉的工作环境，为动画师构建了基于应变的动作库。这种由外到内的方法提供了曲线的反向映射。而且考虑到系统的构建方式和自动编码器的使用，动画师不会偏离模型。肌肉拉伸和收缩可能是直观的，但用应变向量驱动面部表情并不简单。该团队结合了一个自动编码器（AE），通过约束应变向量保持在合理的面部动画边界内来帮助艺术家。

耳朵动画

团队为演员的数字替身制作动画，做到面部表情非常逼真，然后将动画传输到角色模型上。为了在动画转换中最大化演员与角色面部的匹配，Weta设计了角色训练过程，以分享相应演员的潜在肌肉行为。3D角色面部模型最终具有相同的共享应变自动编码器，与各自的演员相同。使用用户定义的权重图精确地映射皮肤，并分别处理眼睛和下巴区域，这样可以更准确地传递面部关键部位的表情。自然，考虑到纳威人独特的外形，需要仔细地将演员的下颌绑定与角色匹配，用它来弥补牙齿和头骨解剖的偏差。

曲线肌肉系统具有一组向下延伸到颈部区域的曲线，这样可以与身体表演捕捉更好地相结合。然而有一个是独立于这个系统的，那就是耳朵的动画。耳朵本身并不驱动任何东西，而对于纳威人来说，他们的耳朵有着丰富的表现力，人类身上根本没办法表现，所以是一个单独的动画控制系统。

以上就是Weta为《阿凡达2：水之道》开发的新面部管线系统。它可以更精准的把真人面部的表情传递给角色模型，给与动画师最大化的可控性，此外在前期面部捕捉时就拍摄了更为精准的面部参考，保证了阿凡达角色面部表情的真实，自然的还原。

感觉不是拍电影，是为了技术而拍电影啊，太强了！

本文整理自fxguide

全文完