韬斯曼继湖南跨年晚会的首秀之后，终于又出新作品啦。

这次韬斯曼跳了一支《创造营2020》的女团舞来为小姐姐们应援哦，舞蹈动作毫不逊色舞团小姐姐，整个舞蹈炫酷流畅，让人都忍不住跟着动了起来。这样自然流畅的舞蹈动作和丰富灵动的面部表情，都是由迪生提供的幕后技术支持。

本次使用了Vicon动作捕捉系统和Dynamixyz面部捕捉系统对演员肢体和面部进行数据捕捉。为了更好的了解”韬斯曼“是如何在舞台上动起来的，我们专程采访了迪生数娱专业的技术人员为大家解答

项目中技术的难点和解决方案

问

项目中技术的难点和解决方案

问：您觉得此次韬斯曼项目技术上的难点是什么？是如何解决的？

项目负责人答：因为客户需要看实时预览，所以需要预先调节，但由于时间紧迫，所以预先调节必须在很短的时间内完成。这是其中的一个难点。

问

问：项目过程中有哪些亮点？

项目负责人答：因为疫情期间，场地有限，所以在5乘5的场地内进行表情、肢体、手指的混合调节。（所有捕捉内容均在5*5的小场地内完成）

并且进行了表情加肢体加手指的实时捕捉，将数据实时录制下来，同时在虚幻引擎里进行实时预览，录制成片。

关于动作捕捉技术

问关于动作捕捉技术

问：韬斯曼是如何从真人表演变成视频中的韬斯曼的？

动捕技术工程师答：首先我们利用Vicon动作捕捉系统为韬斯曼演员捕捉相应的高质量骨骼动作数据，并且对数据进行修复得到一个比较完美的动作数据。然后在Maya中利用骨骼数据对模型进行动作映射，并且进行一些动画修正。最后将映射好的动画数据在UE4中进行渲染并且拍摄。还有就是Vicon软件会实时检出部分丢失的点，来保证捕捉过程中的稳定性。

问

问：在动作捕捉过程中有什么难点？如何解决的？

动捕技术工程师答：手指捕捉的难度相对身体来说更难，手指采用的9.4毫米标记反光点，相对于14毫米小了不少，而且相对密集，所以在捕捉过程中更容易丢失，会使手指骨骼容易错乱，造成后期数据的修复困难。

在捕捉过程中我们均使用高分辨率摄像头，高像素会对手指点有着更好的捕捉效率，在捕捉过程中更容易分辨点的质心，减少点丢失的情况。

关于面部捕捉技术

问

关于面部捕捉技术

韬斯曼的表情是如何实现的？

面捕技术工程师答：我们使用Dynamixyz表情捕捉系统来追踪真人的面部表情，从而在虚幻中实时驱动韬斯曼面部的骨骼和BlendShape进行运动的，这样韬斯曼就在引擎中动了起来。

问

为什么要使用面部捕捉技术来实现韬斯曼的表情？

面捕技术工程师答:因为韬斯曼项目周期比较急，使用面部捕捉将会大大的提高工作的效率，再加上Dynamixyz现在可以捕捉眼球的运动，还可以与Vicon进行实时触发，达到时间码同步来确保它和肢体捕捉的时间是相同的，然后还可以将数据录制下来以便于后期的使用，再加上他的表情库是可以扩充的，没有限制，这就大大方便了我们制作人员的使用。

问

Vicon肢体捕捉和Dynamixyz表情捕捉是如何相互配合的？

面捕技术工程师答：这个项目是需要在虚幻里面进行实时预览加数据捕捉，所以肢体捕捉和面部捕捉时间码的就需要严格对照起来，Dynamixyz完美的解决了这个问题，因为Dynamixyz可以被Vicon触发，这无疑在数据录制的时候提供了比较大的方便，确保了肢体数据和表情数据的的同步。

问

韬斯曼面部捕捉过程中有什么难点？如何解决的？

面捕技术工程师答：韬斯曼的面部绑定比较复杂，采用骨骼、BlendShape和控制器的混合绑定.因为有控制器的存在使得在模型做 retargeting时显得很容易，但是因为是在虚幻引擎中渲染，所以我们需要将面捕数据推流至引擎中，所以就需要我们将面捕驱动的控制单元从控制器转移骨骼或者BlendShape上。由于前期在角色资产制作环节，动捕技术人员对角色资产做了细致的动捕数据驱动测试，所以在做最终的动作映射环节时很顺利且取得了相对较好的效果。