FEELFINE

比想象 更非凡

无标记3D面部动作捕捉解决方案的领先开发商Faceware Technologies发布了Faceware Studio，这是一个用于创建高质量实时面部动画的新平台。

作为一个全新产品，Faceware Studio完全替代了以前的Faceware Live Server产品。全新FacewareStudio通过利用全新的机器学习和卷积神经网络技术可以快速校准、跟踪和显示任何人的脸部实时动画，且这些数据可以流式传输到Faceware支持的虚幻引擎（UE4）、Unity、MotionBuilder和Autodesk Maya插件中。这个工具也可以让艺术家根据演员的独特表现来调整和定制动画，并通过Motion Effects建立附加逻辑与运动效果。

该产品是通过Analyzer和ReTargeter构建的非实时Faceware一起进行使用。假设Studio制作人需要一个摄像头，他可以使用网络摄像头或头戴式摄像头（HMC）进行工作。与标准的离线制作相比，实时面部识别是一个很重要且与众不同的问题，它非常适合使ML学习。

Faceware支持使用网络摄像头或头戴式摄像头

新Faceware的核心创新是机器学习，它通过更有效地解决演员下颌位置来改善口型同步的问题，他们通过使用卷积神经网络（CNN）深度学习技术改进了下颌定位技术可以让用户更快、更准确地对数字角色进行口型同步。

口型能否精准与画面同步与下颌捕捉有直接关系。在大多数情况下，牙齿的咬合细节更加复杂。当露出牙齿时，通常只能固定上颌牙齿，下颌牙齿是无法固定的，更复杂的情况是，下唇和嘴皮肤会随着自身肌肉的运动而改变的，因此无法进行准确的跟踪识别，如果测试者留了胡子，情况会变得更糟。即使没有明显的跟踪点，也无法记录真实的下颌牙齿，通过机器学习也可以得到下颌位置正确的输出画面，这项解决方案是基于大量的自主深度学习卷积神经网络（CNN）技术的情况下实现的。

 Faceware使用的机器学习框架是Tensorflow和PyTorch。根据Faceware团队提供的测试数据，并使用最新的ML库，系统会生成0到1之间的下颌估计值，这样一来，面部解析器就能更准确地模拟重建正确的唇形并进行同步。人的下颌有六个自由度，可以在被称为“波赛尔特”的包络线或盾牌状的运动范围内移动。但Faceware的目标并不是输出下颌的详细几何形状，它的工作原理是极大改善了嘴唇同步，例如，仅凭牙齿是否分开以及嘴唇闭合的程度，就可以大大增加面部表情的真实感。

Studio的界面，右侧有调整变量

Faceware产品总监杰伊·格雷尼尔(JayGrenier)评论说：“我们一直以来的目的是解决下颌问题，因为所有的口型同步都取决于颌骨的位置准确或尽可能接近准确。我们遇到的最大的问题是无法准确预测捕获过程中下颌的位置。”

该团队尝试解决的是在任何特定时间内得到下颌张开程度的标准化值。“假设你咬紧牙关，下颌完全闭合，那么闭合比例为零；当你尽可能张大颌骨时，则闭合比例在100%或1%之间。从本质上讲，我们需要解决这个特殊值，因为它在一定程度上会影响口型同步效果。”

格雷尼尔（Grenier）指出，ML正好可以解决这个问题，“测试任务很繁重，需要一段时间，但测试完成后，它将会运行非常快——以每秒60帧的全帧速率运行也没有问题。机器学习技术完全可以做到这一点。”

Faceware 技术公司的业务开发副总裁彼得·布施（PeterBusch）表示：“Faceware Studio不仅仅是对我们LIVE产品的品牌重塑，它也是我们重新设计的一个完整的实时平台。“根据过去几年我们从市场中学到的有关人们如何创建和使用实时面部动画的知识，我们重新构思了整个产品，让它更方便、更直观，并产出更高质量的动画。最初的测试反响非常好，我们很高兴能向所有用户发布该产品。”

然后，通过缓和的运动效果和动画调整来改进唇部估算。这样，Studio用户就可以直接控制最终动画效果，此外，艺术家也可以通过动画调整来观看和调整特定演员的配置信息，并将构建的大量逻辑数据输入UE4中以便实时观看。

为了使系统正常工作，需要精心管理测试数据。测试数据决定了解决方案的空间，因此，如果测试数据中的人口统计信息涵盖了用户或演员自己的年龄、种族、性别和面部表情，那么它将能够更准确地预测下颌。Faceware非常热衷于为所有用户提供解决方案，这意味着它需要收集来自不同国家的各行各业的面孔并进行注释。ML解决方案非常适合实时应用程序，因为Supervised Training ML方法的测试过程缓慢但运行很快。该系统只使用由Faceware曼彻斯特办公室的研究团队明确收集的测试数据，在运行ML过程中，系统绝不会使用用户性能或把从捕获会话中的任何数据公布出去。

左边是Faceware Studio，右边是输出到UE4的输出

对于格雷尼尔及其团队而言，ML确实取得了实质性成果。“说实话，它超出了我的预期。我们总是有点谨慎，有点保守，不想过度承诺，但我们收到了非常积极的反馈，这很是令人鼓舞。” 这种经验非常有效，Faceware正在计划进行更多的ML开发。格雷尼尔说：“我们正在将几乎所有内容都转换为ML。坦率地说，它让我们能够做一些以前做不到的事。例如尝试使用ML来解决脸颊位置问题，因为通常很少能通过跟踪来获得纯粹的脸颊移动数据。同样，我们遇到的众多难题之一：如果一个人的眉毛被镜框完全遮住，那么他的眉毛可能会很生硬，但是这些新的ML技术可能为我们带来曙光，甚至可以解决阻塞问题。”

除了下颌之外，该软件还增强了面部跟踪技术，改进了基础跟踪技术，提高了常规跟踪和动画的质量和稳定性。

· 实时动画视区和媒体时间线

用户可以通过Studio功能齐全的3D动画视口从任意角度观看面部动画，并使用时间线和媒体控制暂停、播放和拖动，以找到理想的关键帧和特定视频。

· 可停靠、自定义的界面

具有停靠面板和可保存工作区的自定义用户界面，可实现完全个性化的设置。

· 运动效果

一个集定制和优化动画效果的简单可扩展的内部工具，不需要复杂的引擎内脚本。

· 改进的CPU / GPU性能

Faceware Studio经过优化，可以在不使用前代资源的情况下使用更少的资源来创建更好、更快的结果。借助可选的“实时优化”功能，用户可以在更大的硬件上享受更高的帧速率跟踪。

原文链接：https://www.fxguide.com/fxfeatured/faceware-studio-launched-for-real-time-facial-animation/

想了解更多信息，欢迎在文章下方留言。