CPPA | 谈谈数字特效制作上的“再造”，造的是什么？

由中国影视后期产业联盟（CPPA）举办的第三期行业沙龙-特效制作流程分享，于11月22日圆满举办，现场有十几位业内老师对特效行业影视工业化进行了不同主题的分享和探讨。如果你没有机会到现场，现在请看现场实录分享。

“很多时候，与前期怎么合作，很大程度上会决定后期成败与否。对于产品形态、最终的产品是不是OK，也有很大的影响。我觉得，除了在公司做的努力之外，还需要有一些行业的共同实践。”——邓宇



邓宇
诺亦腾影视副总裁，也是行业里在科技方面具有老资历的大咖，分享的主题是《时空再造——从虚拟制作到跨媒体内容生产》

以下为文字实录（为了方便阅读，有做整理编辑），文章配图来自诺亦腾影视

我所在的公司是上海诺亦腾影视科技有限公司。母公司诺亦腾在北京，是研发平台。上海子公司配有自己的数字资产团队、软件工程师、硬件集成的工作人员，负责诺亦腾体系下的影视客户和项目，主要涉及运动捕捉以及虚拟拍摄技术。



诺亦腾最早基于惯性传感器制定运动捕捉方案，使之适合中小企业和个人使用。右边的这套产品是Perception Neuron，著名的《权力的游戏》就大量运用了这套动捕设备。它的特点是使用简便，门槛低，性价比很高。

数字内容制作的本质

我们的产品定义从一开始就是从基本原理出发。从运动捕捉开始向外拓展，看数字内容制作本质的共性是什么。数字内容，广义上来说就是指电影、电视、动漫、VR体验等等。而共性的东西我认为是时空。无论是从艺术的观点还是技术的角度，在媒体内容而言，制作实际上都是如何定义和处理时空的问题。最后当我们定义、操控时空时，所有的艺术体验都是通过这样或那样的媒介把时空观传达出来，并被人们理解转化成体验。就好比好莱坞的大片，就可以理解为它是对时空的重构，而传统特效是重构的手段，它是对所有媒介都能产生作用的手段。

这个时空里，首先看到的是运动。运动是不脱离时空观的，它是在具体的时空定义之下产生的运动。但是在这个运动里，如果缺乏观察者就会丧失所有。对于电影来说，如摄影机如何调度、怎么走位——摄影机就是一个观察者。可是，如何摆放观察者？在影院里把二维图投射在银幕上，虽然比起摄影机来说，观众是被动的，但方式还是观察者——这里面有共性的东西。摄影机、观众、导演、摄影指导，他们都是观时空中的观察者。



所谓下一代数字内容核心的价值，是复用。资源复用的核心是时空逻辑，它是复用的基础。如果永远都从二维画面上反算，比如《阿甘正传》里加入一个角色，它只有通过摄影机追踪、三维匹配、空间重构出来后，再加上去，这种效率是非常低的且无法实时——当然，它对于传统已经存在的实践而言是必然的过程。我们不应该把目光仅仅聚焦在二维投影上面，而是应该聚焦在所有过程中基于真实三维的时空构成。而真实指的是，通过混合现实的时空来构建的体验。



虚拟制作，从我个人定义，它是跨越物理世界和数字世界的界限，以统一的逻辑面向数字内容的制作。这个逻辑就是时空的逻辑，举个最简单的例子，现在在Maya里面打开一个工程文件是不带时码的——这是不对的，因为实拍摄影机都是带时码的。也就是说，在后期和特效阶段，所有的数据都是以“版本”（version）的形式出现，为什么不是（实拍镜头的）“次”（take）呢？这里面有十个对象，但是这个版本只改了一个，在后期特效就不像实拍一样，认为产生了一个新的take。那么现场灯光发生了变化会对后期的version有什么影响？好像没有影响，或者说它反映了制作过程中在元数据metadata上是断裂的。很大程度上，我们一直都在以断裂方式看待整个前期和后期的关系。



虚拟制作有个最核心的部分就是虚拟拍摄，因为拍摄行为是实时的，这种实时性其实可以体现在“后期”被前置时也可以产生的一个新take了。从某种意义上讲，加入新的数字元素，也是实时的，但这种改动与实拍现场的改变发生在两个时空里。我们的产品在统一的时空观下，考虑这几个时空关系怎么追踪记录。然后，这些数据关系到最后对数字内容产品的全面复用。



09年《阿凡达》这个片子，从行内制作人的角度来说，大家看到现场制作花絮后非常吃惊，因为做了超大的运动捕捉棚，有虚拟摄影机、大量高清参考摄影机。当时还觉得是不是太夸张了，有必要吗？这个题材之所以产生了那么震撼的效果，很大程度上是高度集成的制作环境产生了大量的数据，使得它的后期不像传统那样成为阻断创意的障碍，而成为了创意的加分项。它最重要的是在拍摄现场把所有逻辑排列好，不仅包括人怎么动、怎么摔、摄影机的运动，创意的过程和对工具操控的过程，全部都集合在现场。导演、摄影、灯光都可以直接得到视觉反馈——这是由全面数字的环境和资产定义支撑的。所以到后期基本上不会发现哪个镜头不成立，或通过CG手段推翻了重做的情况。

[flash]https://v.qq.com/x/page/z0517kccshc.html[/flash]

《阿凡达》拍摄幕后

这个是传统的制作流程。到后期制作阶段末梢的时候，图上有颜色的部分，才能看到一些可视化的东西。然而，做一个投资十亿的大片，难道真的只有行业里的专业人员、制片人才能看出这个片子好不好？并不是，在最后投放到影院里面时，其实哪怕是目不识丁的观众也知道这个片子好不好看。





我们对于产品的形态做出判断，最后这个作品成功与否还是靠可视化的东西决定。作为观众、作者，必须要实时得到视觉反馈才能判断。所以，在有了实时引擎技术之后，我们可以设想这样的工作流程，就是把电影制作工作流程里的环节、部门变成实时引擎的输入、输出端，并把硬件全抽象出来，软件接口全部做成可实时的，可以接现场所有摄影机的追踪，也可以接Maya。当Maya流程打开时，实时引擎在运作，包括现场拍摄的DATA、时码，甚至一个时空套着另外一个时空，所有的关系都体现在最直观的图形界面或者显示器上，使整个过程中的创意人员、制片人、还是数字制作人员，全部都可以在统一的逻辑下工作。

[flash]https://v.qq.com/x/page/r0517sbskmk.html[/flash]

这是在上海实验室里自己做的测试项目，没有请专业的导演、摄影、灯光，所有镜头都是手持拍摄，没有用轨道和炮。场地的虚拟空间是12×12米，拍摄场地是7×7米，实际活动空间只有4×4米左右，拍摄大概花了一天，输出成片4分钟左右。



我作为客串摄影，因为没有经验，当时把虚拟空间划分成了4个象限，每个象限都对着中心区采取了不同高度、景别的镜头切换着进行拍摄。实际上当时只拍了一个象限就大概知道怎么去找镜头画面了。一旦提供了直观、实时、强交互的环境给用户时，往往创意不是大的问题，制作团队可以花相对短的时间找到他们要的方向。更多问题还是因为工具链太长，太强调非线性，导致创意在整个链条中断裂。



在徐皓峰导演的作品《刀背藏身》中，他们有若干场很重要的戏，有两千多个人在山上拍摄并且还有比较复杂的大动态航拍长镜头。拍摄前各部门上山勘景那天是大雾，什么都没有看到。而山上拍摄一天就可能是两三百万的开销。所以这部分戏的制片风险和压力特别大。后来我们就使用航拍和激光全站仪把海拔小一千米、面积几平方公里的长城山地完整扫描下来。扫描后大概花两三天时间导入到引擎里，再集成虚拟摄影机。然后把整套系统（还有6个虚拟预演工作人员）用一辆GL8商务车拉到河北山里剧组驻地的农家乐餐厅搭建起来供剧组主创在夜间进行视觉预演，规划调度，安排制片计划。实拍完了之后对比预演镜头画面，达到95%的还原度。在这部影片的制作中，我们的预演工作有力地支持了大尺度场景的规划与人员调度，真正意义上控制了影片的制作成本。

[flash]https://v.qq.com/x/page/o0502kkrtqs.html[/flash]

这是今年内部做的另一部测试片。这个环境全部都是虚拟的。我们不是专业的合成师，更多是看它实时的部分。这里面看到现场照明光源也可以追踪，追踪使得虚拟引擎里的光可以做实时匹配。演员和虚拟角色身上的光都是现场实时的，非后期合成。

这里用到的自研运动捕捉系统已经不是纯惯性的了，而是惯性光学混合追踪，可以在空间中获得绝对位置。所以刚才看到的虚拟角色在空间中的绝对位置不是手工摆上去的。这一组打斗动作数据跟前一个内部样片是复用的。将来估计我们会持续复用做公司的宣传和示范样片，在不同环境和不同剧情中，都会出现这段打斗。

[flash]https://v.qq.com/x/page/b0502pa3chm.html[/flash]

系统介绍里，除了看到的硬件，外部大空间的追踪、人、道具和摄影机，还有摄影机的匹配，摄影机的开角，光学特性、景深的模拟跟实时的摄影机做同步。这些都做到了之后，真正核心的价值在于有一个后台的控制平台，它是可视化编程环境。把这里面所有看到的对象都作为一个节点呈现在map里。比如1号虚拟摄影机可以把它的数据广播出去，广播出任意多路，给到引擎1、引擎2，给到Maya，是可以多发的，整个现场也可以保存成一个工程。它是分布式的，是基于网络的。所以，完全可以做跨地域的协同，两边只要形成私有的链路互相发送即可。

怎样才能响应下一代的需求？

视觉特效在美国、欧洲已经历史很悠久了，但是当它面对新兴的制作要求、IP形态的要求时，我们要面临的是现在已经没有时间再补很多的课了。在中国的角度和市场的角度来看，我们的发展速度比美国快得多，但整个制作始终处在一种供不应求的状态和能力水平上，很多时候还是努力在把国外的经验复用到国内项目上。

我们怎样才能响应下一代的需求呢？这需要对流程进行重新定义。这个定义不只是设计后期，而是从前到后融合看待。所谓后期前置还是前期后置都是表象。真正在于从宏观的角度上，我们对流程怎么理解怎么定义。很多时候，与前期怎么合作，很大程度上会决定后期成败与否。对于产品形态、最终的产品是不是OK，也有很大的影响。我觉得，除了在公司做的努力之外，还需要有一些行业的共同实践。因为我们降低了试错的成本，反过来也减少了在后期包括其他任何阶段的浪费。做数字制作是拼人力的，是人的创意、人的思考，这种机会成本非常高。所以，如果我们不能给上游的客户提供这样的技术架构，那他们可能永远不可能帮我们（后期特效）解决自身的问题。这是我的观点。