奥斯卡科学技术奖赢家：UCAP和MOVA面部动画制作系统
面部动画或者更确切地说是跟踪面部动作来成为脸部动画工作流程一部分的历史可能开始于20世纪70年代，汤姆·德威特（Tom DeWit）用在下巴上的一个标记跟踪一个“巨蟒剧团”风格的下颌运动然后用到剪切好的亨利·基辛格（Henry Kissinger）的照片上时。当下颌上下运动时，表演者的嘴通过德威特（DeWit）的Pantomation来带动替身的嘴巴运动，有人可能会说，NVIDIA的兰斯·威廉姆斯（Lance Williams）的确也在讨论人脸跟踪的历史，但这是面部动画跟踪的开始。威廉姆斯（Williams ）本人制作并大大促进了面部追踪和逼真动画的发展，已经成为了2000年以来迪斯尼的面部动画制作工程（2000 Disney Human Face Project）以及许多其他最近的项目的核心，如Nvidia的USC-ICT Digital IRA。
今年，有两个团队获得了奥斯卡科学技术奖，是通用捕捉系统（UCAP：Universal Capture system）和最近的MOVA系统背后的团队。通用捕捉系统在创造逼真的人脸动画方面有了新的突破。MOVA系统通过演员的表演来创造生动的、高分辨率的，网状纹理的动画。这项技术是许多视觉特效公司面部追踪的基础。它能够让艺术家们创造出极高品质的动画角色。这两个团队都极大地促进了还是很圣杯的计算机图形学工艺的发展—可靠的面部追踪技术。至于
UCAP系统，最为人熟知的是《黑客帝国》续集。MOVA系统仍处于发展中，并已用于电影，如《返老还童》，《哈利波特》系列电影，《复仇者联盟》里的绿巨人，《地心引力》以及最近的《银河护卫队》。早期工作最初的迪士尼面部动画制作工程和这些技术联系不大，虽然迪士尼面部动画制作工程在这些技术之前就有，但是在UCAP系统的实现之前并没有公开。但UCAP系统使用的是光流。而面部项目从来没有形成影片，因此不能评选为科学荣誉，它代表了在千禧年之交开始的艺术。威廉姆斯（Williams ）把许多项目的技术成功归功于非常有才华的 Hiroki Itokazu（面部形状建模和操作）---早前不是在迪斯尼公司而是在华纳兄弟娱乐公司完成的被称为Hirokimation的技术。Itokazu是一个真正的面部建模专家，他现在回到了迪士尼参与了像《超能陆战队》《美味盛宴》和《冰雪奇缘》的制作。迪士尼这个项目的目的是开发一个新版本的专业的VFX（就是后来的Disney VP）Price Petheral。在测试中影片Price达到了要求。 该项目由奥斯卡奖得主霍伊特·耶特曼（Hoyt Yeatman）（作品有《深渊》《巨猩乔扬》）来执行，作为解决了移动遮罩上的红散射现象来说他自己也是一个科技赢家。人脸追踪项目是迪士尼运用了所有当时他们拥有的最新科技来解决面部追踪问题的成果。它使用数字扫描，面部投影，光流定位，早期光阶段的数据，独立的漫反射和镜面并且多亏了Itokazu---那时操纵混合变形的最佳解决方案之一。
今年的获胜者与当时的艺术形态相比很有趣。迪斯尼没有次表面散射（SSS）。因此，尽管动画是出色的，但是图像运用到电影制作中并不是很成功。 SSS对于人体皮肤非常重要，但它在新时代的开始刚刚出现。在项目中使用的光流也是先进的，但只用于校准路线。这个流程最终结束了（简单来说）
· 模型 - 面具和数字扫描
· 电影的表达 - 混合模型
· 采用优化匹配性能（使用源和目标的点积不是曲线）
· 重新定位
· 渲染
有趣的是，立体也处在它发展的早期，尽管Price Petheral用两个摄像头拍摄来表现 - 但他们是不一样的相机所以第二个摄像头并没有同步时间或匹配，因此没有使用。迪斯尼的Dan Ruderman将会写代码转换/对齐他们，但该项目仍主要是单一的。
UCAP系统
相比之下，UCAP系统非常好的定位了SSS，真正推动了光流技术的发展。光流的发展带动了UCAP系统的发展，Dan Piponi, Kim Libreri和George Borshukov的团队的正在研究其他的项目，并为奥斯卡获奖影片《美梦成真》开发了O-FLOW技术。该小组采用了O-FLOW数据模型，并惊讶于它的效果如此之好。
《黑客帝国》原型使用O-FLOW技术处理之后比尔科利斯（ Bill Collis ）的子弹时间处理的非常好，整个团队对这个技术很满意，但事实上这是约翰·加埃塔（John Gaeta）想出的术语 - 通过某种方法来捕获整个环境。
可以理解的是考虑到咬合的问题，团队也认为面部摄像头捕捉装置将是可行的，因此作为第一步骤，一个更大更复杂的解决方案UCAP系统诞生了，为加埃塔（Gaeta）提供他想要的通用的场景捕捉工具的第一步。
现在在维塔数码（Weta）的JP Lewis加入了团队，他参与过面部项目工程的研究，但没有带来任何实际的技术。迪斯尼的工作是保密的，Piponi已经分别开发了UCAP系统早先的的O-FLOW系统。而Lewis也对O-FLOW系统做出了贡献，这是他与Borshukov发明的纹理空间扩散时的工作，有着很重要的意义。在实际的UV界面或者平面空间中做皮肤扩散的功能的概念是如此重要，它在大多数游戏引擎以这样或那样的形式一直沿用到今天。
UCAP系统的解决方案与迪斯尼的3D模型非常不同。他们的创新不是使用摄像头的表现作为参考，而是在其两侧转动高清摄像头来拍摄转换和无缝拼接的通过演员表现的高分辨率漫射脸。有了先进的光流，他们会修改基面模型，然后有效地展现顶部面部的缝合。这样就产生了明显的成效，特别是纹理空间扩散SSS的提高。
但是仍然需要把它添加到场景中去。因此，预计布景中脸上呈现的亮度要与环境光的亮度匹配。实际上，安德森（Anderson）和代理商史密斯（Smith）是演员的缝合弥漫的表演与位置spec+ SSS，并且一些另外的纹理贴图来提供高细节的皮肤质感。结果是惊人的。这个问题在与今天大多数人同意拍摄远处的镜头不如特写脸部看起来像真的。讽刺的是，这不是面部捕捉技术，相反地细化贴图的质感问题那个时候依然困扰着奥利弗·詹姆斯（Oliver James）。粗糙的水平向量和法线的平均值与所需要的完全不同，并且这只是现在正在改革解决的，如精益测绘等规格的解决方案。
· 简化之后的UCAP系统是：
· 电影用5台高清摄像机来表现
· 用O-flow处理材料
· 修改O-flow基础上的模型
· 突出重新拼接的纹理
· 添加SSS质感
· 加上高频质感
· 用有目标场景的光线校正SPEC和阴影（和补偿的）
尽管UCAP团队已经解散但他们已经非常接近成功了，丹（Dan）现在在谷歌工作，他的项目如不可思议的LOON项目，乔治（George）正在做一个在服装和体育产业中先进的启动解决快速成型和预览的工作（他是有名的Embodee项目中的首席技术官），Kim刚从ILM和卢卡斯电影公司转行到游戏行业（Epic）。他们三个出席了奥斯卡科学技术奖颁奖，领取他们当之无愧的嘉奖，但是这绝不是他们第一次得奖，像丹（Dan）现在已经是第三次了！ （在成为MANEX的研发领袖之后，然后在ILM他扩大超出视觉效果是三次获奖中的第一次）。
团队在奥斯卡科学技术颁奖典礼上
MOVA
蒂姆·考特（Tim Cotter），罗吉尔范德拉安（Roger van der Laan），肯·皮尔斯（Ken Pearce ）和格雷格拉萨尔（Greg LaSalle）因为创新和发展了MOVA面部表演捕捉系统而受到褒奖。开始于2003年到2005年左右作为Rearden工作室的一部分使用VICON标准方法的动作捕捉系统，这部分的发展后来被应用到OnLIVE 里一直到2012年，现在又连接到DD中。该系统开始可能只是用于身体动作捕捉，但它现在用于追踪脸上的标记。团队很努力的完善他们的面部捕捉系统，并认为“应该有一个更好的方式”。他们开始用小圆点标记在演员的脸上，并想出用“曲棍球面具”模具加快连贯的标记追踪。在这种方法是早面具上弄上孔，在脸上同样的位置弄上连续的点。团队都非常注重他们的产品，他们甚至更加创新的决定使用真正小喷枪“喷射”这些点。他们还尝试使用磷光涂料和黑灯。他们在一个经典的巧妙的意外中发现实际上用“喷射”模式追踪的效果真的很好。错误就是很强的非重复噪点的方式。
不像早期的系统，MOVA系统把连续的表演的镜头转换为傅里叶变换（FFTs:Fourier Transforms）（不是O-flow）来进行校正，然后重建。也不像其他系统，MOVA系统使用据说是29个排列的相机而不是5个来获取到表演的每一个角度。这个摄像机已经被校准，任何演员的使用这些装备的准备时间都是非常短的。当然，喷枪的应用另一方面让当时在椅子的时间相对快速，这个装置的所有的摄像机给了演员在表演时一定的灵活性，它不需要演员被固定到一个头部装置或硬椅子上。
噪点喷枪工具方法摆脱曲棍球面具点校准方式的另一个优势是，该系统目前采用7000个点来表现。这是从细节上重建脸部上水平的显著提升。
重要的还有一个阶段，临时的排列框架产生一个数据一致性和有效性的空间和时间的设定，但同时MOVA确实只是提供缝合纹理的一个参考。因为MOVA的数据是没有孔的，因此，这种暂时把眼睛作为参考--即时投影回数字制作的脸上的方法是非常有帮助的，因为它拍摄的方式是使用喷刷（磷光）油漆而且缺乏目标照明。这并不意味着他在最终的生产中使用。目前在这个方向的发展和一些特殊情况下已经取得了一些进展，如《地心引力》，但对于大多数MOVA系统的客户他们还重新确定数据的目标。谈到DD，他们为南加州大学的ICT Lightstage做了扫描和数据集，并与MOVA结合起来作为面部追踪的一部分。该MOVA团队合作打造了巨大的数据集并且添加到任何想与他们合作的面部捕捉系统中去。然而VFX工作室决定使用自己独特的追踪方式。 MOVA停止了交付一些相关的数据。
我们应该为UCAP和MOVA团队的伟大工作而鼓掌。
（本篇文章系Cgangs独家编译，如有转载，请注明Cgangs.com）
了解更多“UCAP和MOVA”面部动画制作系统请关注：cgangs.com
精彩文章推荐：
游戏《声名狼藉：次子》强大的面部动画是如何实现的
探索《尼克病院》逼真的面部特效是如何制作的
《沉睡魔咒》视效解析 花仙子数字面孔制作揭秘
今年，有两个团队获得了奥斯卡科学技术奖，是通用捕捉系统（UCAP：Universal Capture system）和最近的MOVA系统背后的团队。通用捕捉系统在创造逼真的人脸动画方面有了新的突破。MOVA系统通过演员的表演来创造生动的、高分辨率的，网状纹理的动画。这项技术是许多视觉特效公司面部追踪的基础。它能够让艺术家们创造出极高品质的动画角色。这两个团队都极大地促进了还是很圣杯的计算机图形学工艺的发展—可靠的面部追踪技术。至于
UCAP系统，最为人熟知的是《黑客帝国》续集。MOVA系统仍处于发展中，并已用于电影，如《返老还童》，《哈利波特》系列电影，《复仇者联盟》里的绿巨人，《地心引力》以及最近的《银河护卫队》。早期工作最初的迪士尼面部动画制作工程和这些技术联系不大，虽然迪士尼面部动画制作工程在这些技术之前就有，但是在UCAP系统的实现之前并没有公开。但UCAP系统使用的是光流。而面部项目从来没有形成影片，因此不能评选为科学荣誉，它代表了在千禧年之交开始的艺术。威廉姆斯（Williams ）把许多项目的技术成功归功于非常有才华的 Hiroki Itokazu（面部形状建模和操作）---早前不是在迪斯尼公司而是在华纳兄弟娱乐公司完成的被称为Hirokimation的技术。Itokazu是一个真正的面部建模专家，他现在回到了迪士尼参与了像《超能陆战队》《美味盛宴》和《冰雪奇缘》的制作。迪士尼这个项目的目的是开发一个新版本的专业的VFX（就是后来的Disney VP）Price Petheral。在测试中影片Price达到了要求。 该项目由奥斯卡奖得主霍伊特·耶特曼（Hoyt Yeatman）（作品有《深渊》《巨猩乔扬》）来执行，作为解决了移动遮罩上的红散射现象来说他自己也是一个科技赢家。人脸追踪项目是迪士尼运用了所有当时他们拥有的最新科技来解决面部追踪问题的成果。它使用数字扫描，面部投影，光流定位，早期光阶段的数据，独立的漫反射和镜面并且多亏了Itokazu---那时操纵混合变形的最佳解决方案之一。
今年的获胜者与当时的艺术形态相比很有趣。迪斯尼没有次表面散射（SSS）。因此，尽管动画是出色的，但是图像运用到电影制作中并不是很成功。 SSS对于人体皮肤非常重要，但它在新时代的开始刚刚出现。在项目中使用的光流也是先进的，但只用于校准路线。这个流程最终结束了（简单来说）
· 模型 - 面具和数字扫描
· 电影的表达 - 混合模型
· 采用优化匹配性能（使用源和目标的点积不是曲线）
· 重新定位
· 渲染
有趣的是，立体也处在它发展的早期，尽管Price Petheral用两个摄像头拍摄来表现 - 但他们是不一样的相机所以第二个摄像头并没有同步时间或匹配，因此没有使用。迪斯尼的Dan Ruderman将会写代码转换/对齐他们，但该项目仍主要是单一的。
UCAP系统
相比之下，UCAP系统非常好的定位了SSS，真正推动了光流技术的发展。光流的发展带动了UCAP系统的发展，Dan Piponi, Kim Libreri和George Borshukov的团队的正在研究其他的项目，并为奥斯卡获奖影片《美梦成真》开发了O-FLOW技术。该小组采用了O-FLOW数据模型，并惊讶于它的效果如此之好。
《黑客帝国》原型使用O-FLOW技术处理之后比尔科利斯（ Bill Collis ）的子弹时间处理的非常好，整个团队对这个技术很满意，但事实上这是约翰·加埃塔（John Gaeta）想出的术语 - 通过某种方法来捕获整个环境。
可以理解的是考虑到咬合的问题，团队也认为面部摄像头捕捉装置将是可行的，因此作为第一步骤，一个更大更复杂的解决方案UCAP系统诞生了，为加埃塔（Gaeta）提供他想要的通用的场景捕捉工具的第一步。
现在在维塔数码（Weta）的JP Lewis加入了团队，他参与过面部项目工程的研究，但没有带来任何实际的技术。迪斯尼的工作是保密的，Piponi已经分别开发了UCAP系统早先的的O-FLOW系统。而Lewis也对O-FLOW系统做出了贡献，这是他与Borshukov发明的纹理空间扩散时的工作，有着很重要的意义。在实际的UV界面或者平面空间中做皮肤扩散的功能的概念是如此重要，它在大多数游戏引擎以这样或那样的形式一直沿用到今天。
UCAP系统的解决方案与迪斯尼的3D模型非常不同。他们的创新不是使用摄像头的表现作为参考，而是在其两侧转动高清摄像头来拍摄转换和无缝拼接的通过演员表现的高分辨率漫射脸。有了先进的光流，他们会修改基面模型，然后有效地展现顶部面部的缝合。这样就产生了明显的成效，特别是纹理空间扩散SSS的提高。
但是仍然需要把它添加到场景中去。因此，预计布景中脸上呈现的亮度要与环境光的亮度匹配。实际上，安德森（Anderson）和代理商史密斯（Smith）是演员的缝合弥漫的表演与位置spec+ SSS，并且一些另外的纹理贴图来提供高细节的皮肤质感。结果是惊人的。这个问题在与今天大多数人同意拍摄远处的镜头不如特写脸部看起来像真的。讽刺的是，这不是面部捕捉技术，相反地细化贴图的质感问题那个时候依然困扰着奥利弗·詹姆斯（Oliver James）。粗糙的水平向量和法线的平均值与所需要的完全不同，并且这只是现在正在改革解决的，如精益测绘等规格的解决方案。
· 简化之后的UCAP系统是：
· 电影用5台高清摄像机来表现
· 用O-flow处理材料
· 修改O-flow基础上的模型
· 突出重新拼接的纹理
· 添加SSS质感
· 加上高频质感
· 用有目标场景的光线校正SPEC和阴影（和补偿的）
尽管UCAP团队已经解散但他们已经非常接近成功了，丹（Dan）现在在谷歌工作，他的项目如不可思议的LOON项目，乔治（George）正在做一个在服装和体育产业中先进的启动解决快速成型和预览的工作（他是有名的Embodee项目中的首席技术官），Kim刚从ILM和卢卡斯电影公司转行到游戏行业（Epic）。他们三个出席了奥斯卡科学技术奖颁奖，领取他们当之无愧的嘉奖，但是这绝不是他们第一次得奖，像丹（Dan）现在已经是第三次了！ （在成为MANEX的研发领袖之后，然后在ILM他扩大超出视觉效果是三次获奖中的第一次）。
团队在奥斯卡科学技术颁奖典礼上
MOVA
蒂姆·考特（Tim Cotter），罗吉尔范德拉安（Roger van der Laan），肯·皮尔斯（Ken Pearce ）和格雷格拉萨尔（Greg LaSalle）因为创新和发展了MOVA面部表演捕捉系统而受到褒奖。开始于2003年到2005年左右作为Rearden工作室的一部分使用VICON标准方法的动作捕捉系统，这部分的发展后来被应用到OnLIVE 里一直到2012年，现在又连接到DD中。该系统开始可能只是用于身体动作捕捉，但它现在用于追踪脸上的标记。团队很努力的完善他们的面部捕捉系统，并认为“应该有一个更好的方式”。他们开始用小圆点标记在演员的脸上，并想出用“曲棍球面具”模具加快连贯的标记追踪。在这种方法是早面具上弄上孔，在脸上同样的位置弄上连续的点。团队都非常注重他们的产品，他们甚至更加创新的决定使用真正小喷枪“喷射”这些点。他们还尝试使用磷光涂料和黑灯。他们在一个经典的巧妙的意外中发现实际上用“喷射”模式追踪的效果真的很好。错误就是很强的非重复噪点的方式。
不像早期的系统，MOVA系统把连续的表演的镜头转换为傅里叶变换（FFTs:Fourier Transforms）（不是O-flow）来进行校正，然后重建。也不像其他系统，MOVA系统使用据说是29个排列的相机而不是5个来获取到表演的每一个角度。这个摄像机已经被校准，任何演员的使用这些装备的准备时间都是非常短的。当然，喷枪的应用另一方面让当时在椅子的时间相对快速，这个装置的所有的摄像机给了演员在表演时一定的灵活性，它不需要演员被固定到一个头部装置或硬椅子上。
噪点喷枪工具方法摆脱曲棍球面具点校准方式的另一个优势是，该系统目前采用7000个点来表现。这是从细节上重建脸部上水平的显著提升。
重要的还有一个阶段，临时的排列框架产生一个数据一致性和有效性的空间和时间的设定，但同时MOVA确实只是提供缝合纹理的一个参考。因为MOVA的数据是没有孔的，因此，这种暂时把眼睛作为参考--即时投影回数字制作的脸上的方法是非常有帮助的，因为它拍摄的方式是使用喷刷（磷光）油漆而且缺乏目标照明。这并不意味着他在最终的生产中使用。目前在这个方向的发展和一些特殊情况下已经取得了一些进展，如《地心引力》，但对于大多数MOVA系统的客户他们还重新确定数据的目标。谈到DD，他们为南加州大学的ICT Lightstage做了扫描和数据集，并与MOVA结合起来作为面部追踪的一部分。该MOVA团队合作打造了巨大的数据集并且添加到任何想与他们合作的面部捕捉系统中去。然而VFX工作室决定使用自己独特的追踪方式。 MOVA停止了交付一些相关的数据。
我们应该为UCAP和MOVA团队的伟大工作而鼓掌。
（本篇文章系Cgangs独家编译，如有转载，请注明Cgangs.com）
了解更多“UCAP和MOVA”面部动画制作系统请关注：cgangs.com
精彩文章推荐：
游戏《声名狼藉：次子》强大的面部动画是如何实现的
探索《尼克病院》逼真的面部特效是如何制作的
《沉睡魔咒》视效解析 花仙子数字面孔制作揭秘
本文为作者 Cgangs（强氧科技旗下网站） 分享，影视工业网鼓励从业者分享原创内容，影视工业网不会对原创文章作任何编辑！如作者有特别标注，请按作者说明转载，如无说明，则转载此文章须经得作者同意，并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/61607
Cgangs（强氧科技旗下网站）
点击了解更多
Cgangs.com，强氧科技旗下网站。为用户提供新鲜的行业资讯、创意灵感、高端作品赏析、分享交流机会众多视频教学。
扫码关注
Cgangs（强氧科技旗下网站）
Cgangs（强氧科技旗下网站）
