这个MV是如何首次应用人脸映射技术

按
最近由保罗 • 拉克鲁瓦（Paul Lacroix）和广户桑园（Hiroto Kuwahara）制作的一支视频，在MV中前所未有地使用了独创面部映射技术。这一项目是有Empara Mi的音乐、面部映射技术（Face Mapping）、保罗 • 拉克鲁瓦、数字化妆师（digital make up artist）广户桑园几方协力完成的。

面部映射，或者说是面部投影映射技术（facial projection mapping），是利用传感器识别并跟踪人脸位置和方位，再在人脸上进行实时动画投射的技术。当脸部移动时，投射将会通过实时捕捉进行调整变化。



原文：Face mapping for The Come Down
https://www.fxguide.com/quicktakes/face-mapping-for-the-come-down/
文：迈克 • 西摩（Mike Seymour）
译：Gin
校：Solemn

您在下方视频之中看到的一切都是实时拍摄的，未经任何视觉后期处理。

[flash]http://static.video.qq.com/TPout.swf?vid=f03343ewnar&auto=0[/flash]

保罗 • 拉克鲁瓦和广户桑园曾经在项目 “脸”（Omote，日语汉字“面”）有过合作。结合了脸部跟踪以及投影映射的视频《脸》发布在视频网站 Vimeo 后取得了超过 700 万次观看，以及在日本富士电视台（Fuji TV - Japan)）播放的《Face Hacking》。二人分别在项目中担任技术总监和艺术指导兼化妆设计。

在之前的项目之中，拉克鲁瓦以他用过的运动捕捉系统 OptiTrack 为基础设计了面部映射系统。在新的视频《The Come Down》中，在连上放置的识别小标记通过一个新的且为面部映射制作和定制的完全独创系统工作。另外，面部跟踪和渲染的软件也进行了升级。

原创的动作捕捉系统

在参加完 《脸》项目和《Face Hacking》 的工作之后，拉克鲁瓦心里明白，要在面部映射的路上走得更远，软件和硬件都须优化。过去的两年里，他都在给自己工作，为面部投影映射定制打造独创的运动捕捉系统的硬件和软件。他用到了工业界别的计算机视觉组件，以减少延时同时可以获得高精确度。因为这是个自制的系统，不是原理保密的“黑盒子”，所以为团队提供了完成这个特殊项目更多的灵活性。

“The Come Down 视频所用的系统配置由 4 个放置在距离 Empara 脸部 1.5 米的‘传感器’组成。标记的个数（10 个）以及它们的尺寸与比之前的项目相比减小了。因此，在视频之中它们很难被发现。” 拉克鲁瓦评论。

[flash]http://static.video.qq.com/TPout.swf?vid=u0334i32v2s&auto=0[/flash]

团队把这一套设备称为 “光传感器” （Optical sensor）：摄像机 + 红外发射器 + 电子控制面板。为了避免和拍摄所用的视频摄像机的名称混淆，又将其称为终极设备。



面部映射

面部映射的流程有以下步骤：

· 用于识别的标记放置于脸部
· 判断标记的 3D 位置
· 根据标记位置判断面部位置及方位
· 渲染脸部 3D 模型，在这个模型上动画纹理和实时效果将会被应用
· 进行面部投影

为了在面部移动时保持自然，以上所有步骤都要处理得尽可能快。

面部映射过程依赖于两个在同一台电脑上同时运行的软件：

· 传感管理软件负责控制传感器和从传感数据中提取 3D 信息
· 面部跟踪和投射映射软件（也叫作现场映射）会估算面部所在的位置以及方位，接着呈现、渲染（也就是画）出 3D 模型，这个 3D 模型会被映射纹理动画视频

为这个新的项目，这些软件都是用 C++ 编写，对于成像渲染则是用 OpenGL。拉克鲁瓦评论说未来的进步大概会将这两部分软件合二为一，一套代码以获得更为紧凑的工作流程，和更有效率的成果。

“我避免运用像 vvvv 或者 Openframeworks 这样的工具套件，这样可以更好地控制整个项目，避免不必要的操作，保持较低的延迟时间。在最开始的摄像机校准部分我会用一些 OpenCV 来工作。” 拉克鲁瓦解释说。渲染器直接使用图形库 OpenGL，利用 GLSL 着色器处理镜像效果和水纹特效。“我没有使用想 UR4 或者 Unity 这样的游戏引擎是为了避免不必要的操作，以及对于延时进行优化。”

处理摄像机的延时，标记数据的处理以及渲染同样会耗费时间。“但最大的延时来自于投射本身。目前我还没有计算延时时长，大约应该小于 100 毫秒。” 他解释道。

摄像机不是 RGBD，而是单色红外线摄像机（计算机视觉摄像机）。团队所克服的另一个困难是原生帧率。在日本，电视的帧率是 30FPS，因此计算机的渲染设置为 60FPS，但是英国的电视帧率为 25FPS。因此，拉克鲁瓦表示自己必须降低计算机的渲染帧率至 50FPS。

3D 建模和纹理

为了能让投射适合艺术家的真实面庞，Empara 专程去了日本，并且通过 3D 扫描仪器获得了她脸部的轮廓。
“为了测试，我们对于头部定制了比例 1:1 的打印模型，这样我们可以在实时视频拍摄之前在这上面进行面部映射测试。” 拉克鲁瓦说。

基础的 3D 模型没有包含色度比色信息，因此接下来专业摄影师会为 Empara 的脸部进行拍照。从若干不同的角度，这些照片会在 3D 模型上进行贴图、纹理处理，合并到单一参考纹理图像之中，其中包含有所有面部的细节。
当创作跟踪效果和动画时，参考纹理贴图会最为基础，以便保持与脸部真实几何结构的严格吻合。对此，拉克鲁瓦补充说道 “尽管从真实图像中生成参考纹理贴图花费了我们一些时间，但这是对于我们而言是很重要的一个步骤。对比利用电脑制作的设计效果，这个步骤提升了投射的真实程度。”

无源光运动捕捉系统通常用球形或半球标记。但创作团队需要将这些标记放置于脸上，他们希望这些标记尽可能小，同时最好不会被视线捕捉到。最终的解决方案是将它们做成直径为 1.5 毫米的平面。“这个解决方案让标记位置的识别对于噪音变得敏感。从另一方面讲，捕捉条件非常稳定，标记与传感摄像机的距离，标记的尺寸，房间的光线等等。标记识别演算也是最优的，到如今它被设计出来用以为这些特殊的条件提供最好的质量。” 他解释道。

实时着色渲染

有一些内容比如火或者是滴金是纹理动画，需要先生成然后再映射活动。不过有一些是完全实时传递的内容，这些反射内容（镜像）和深水效果，都是完全实时模拟的。他解释说 “投射内容会根据头部的位置和方位而变化，这些效果称为着色渲染内容。”

[flash]http://static.video.qq.com/TPout.swf?vid=r03358sm3ce&auto=0[/flash]