有钱就砸技术！《曼达洛人》虚拟制作解析

Hi大家好，今天咱们来聊聊星战系列美剧《曼达洛人》第一季幕后制作，毕竟之前没空闲下来写这个（不是忙，主要是懒，是懒），让你们等待好久的话题终于来了。

作为迪士尼流媒体平台的开篇之作，《曼达洛人》制作成本每集1500万美元，第一季共八集成本总计1.2亿美元，光是创作剧中标志性角色Baby Yoda就花了500万美元（数据来源于福布斯网站）。钱是烧了不少，但是刚更新2集的时候，豆瓣评分就冲到了9.4，即使是现在评分也还是9.2，国外IMDb评分8.8（一开始是9.1），相当不低了。本剧获得了2020年第18届美国视觉效果协会奖的最佳电影模型，有网友评论，这星战外传可比正传好看多了，真香。

《曼达洛人》采用了一些新技术，其中涉及到了LED墙、虚拟制作和StageCraft等多方面技术。将几个具有不同技术角度的团队召集在一起，协同电影制作中的虚拟现实和游戏引擎，用软件实时相机渲染的极限进行了测试，最终实现了令人惊叹的视觉效果。

本片编剧/制片人乔恩费儒（美国导演编剧演员，代表作《狮子王》《蜘蛛侠：英雄远征》等）的Golem Creation公司与ILM、Epic Games共同合作，通过一种新的虚拟制作形式展现了曼达洛人的故事。ILM与技术合作伙伴Fuse、Lux Machina、Profile Studios、NVIDIA和 ARRI一起研发了一个新的实时环绕舞台，在他们StageCraft虚拟制作拍摄平台和UE4平台实时交互的配合下完成了摄像机内合成和现场特效的技术形式和工作流程。

拍摄团队通过新型虚拟制作舞台和工作流程，利用实时游戏引擎技术和环绕LED屏幕在相机中捕捉大量复杂的视觉效果镜头，在拍摄时，真实照片质量级别的动态数字风景和场景就可以实时显示出来，极大地减少了对于绿幕的需求，生成了我们所看到的最接近于Holodeck风格的技术。就像是照相机单独拍摄的过程，可以动态更新背景来匹配实拍的视角和视差。为此，LED舞台需要与一个“动作捕捉体”结合使用，当然了事先需要明确相机的位置或者使用已经预先设计好的相机运动轨迹。

《曼达洛人》第一季中有50%的镜头都是采用这种新方式拍摄的，避免了拍摄外景地的需求。演员们在20英尺（约6.1米）高，270°半圆形的LED视频墙（包括天花板）前表演（包括1326个单独的LED屏幕），表演空间直径约为75英尺（约23米）。然后实际场景与屏幕上的数字背景结合到一起拍摄。那么是如何实现的呢？

用ILM创建的3D环境在LED墙上交互播放，注意这里是交互的。拍摄过程中可对播放内容进行实时编辑，NVIDIA GPU支持的系统可进行精确到像素的跟踪，并对高分辨渲染的3D图像进行透视校正。3D环境会根据摄像机角度显示照明效果并渲染，实时提供视差，同时来自LED屏幕的交互光会照亮演员和舞台内的实际场景。

180英寸的屏幕和天花板无法实时渲染出高分辨率的真实图像，这需要巨大的图像渲染处理能力。解决的方法有点像我们在软件中处理场景的方式。就是对镜头拍摄范围内的进行高精度渲染，将相机上使用的特定镜头输入到系统中，在给定范围渲染出照片级的高分辨率图像，而屏幕的其余部分则显示较低分辨率的图像。

格里夫·卡尔加（卡尔·威瑟斯饰）和曼达洛人与导演黛博拉·周在现场讨论场景

制作团队在这套系统下改变了以往的工作流程，可预先做出一些决策，通过虚幻引擎提供的“最终像素效果”实现相机内的实时合成，拍摄过程中针对视觉效果再做出具体的创意决定。如果碰到无法在相机内拍摄最终背景的情况，ILM团队会用传统的3D制作方式代替LED部分，但仍然避免了许多用绿幕的问题，例如绿色溢出和角色接触光差等。

与传统的绿幕舞台相比，LED墙在《曼达洛人》反光服上呈现出的高光、反射和反弹更为精确，如果以传统方式进行拍摄，在片场实拍达到这种效果是完全不可能实现的。

在整个拍摄和制作过程中有许多新的尝试和我们值得学习的细节技术点，小编再来为大家介绍一下。

场景测试

在确定每个位置之前都会在现场进行实景预演。在制作场景针对实时表演进行优化之前，ILM会渲染出360°的Lat-Long（经纬度）放置在LED中，到了测试阶段，设计团队会带来场景实物进行匹配，现场精确调整灯光效果，为之后拍摄和最终图像做准备。

实际场景：匹配真实和虚拟场景

在预拍摄阶段需要对数字场景和现场布景做出很多调整。第一组布景不仅需要遮挡，还要允许美术部门在需要时能够重新喷涂道具，毕竟调整颜色是一件很复杂的事情。由于现场是通过虚拟LED设备照明的，匹配颜色就好比“先有鸡还是先有蛋”的问题。

摄影导演格雷格·弗雷泽在StageCraft Volume内取景。

（插图）从现场拍摄的最终镜头

拿一艘船来举例，如果船一半是真实的另一半是数字制作的，仅调整数字部分的颜色就会影响到投射到真实船体的光效。如果颜色不匹配，就需要现场重新喷涂实物，因为这样做要比调整CG物体的颜色更容易。知道了它在数字版本灯光下颜色是什么样子的，就会改变落在实景部分的灯光。而且如果调整数字部分可能会破坏道具和/或演员身上的光照。

3D体积颜色校正

UE4团队在早期开发了一种新的颜色校正形式，可以把它想成是3D球体的“电动窗”，在这个球形体积内可以调整任何东西。开发团队之所以把它设计成球体而非圆形，是因为他们想让这个系统适用于UE4的整个三维空间。

这个球形体积中可以进行羽化和软化，来减轻颜色校正效果在理想空间的内外差。这个体积颜色校正不需要是一个精确的球体，它可以由任何一个在LED墙的人在iPad上交互控制。比如，有一块地上的岩石需要更高饱和度，操作员可以选择物体，或把颜色校正体移回3D部分，可以对体积空间中任何物体的任何部分进行颜色分级。

现场置景：道具

在《曼达洛人》拍摄现场的舞台上有很多道具都是真实存在的，有的时候拍的是真实道具，有的时候拍得是LED屏幕上与之类似的道具。除了要对物体进行颜色校正之外，工作人员还要考虑”反射光”的2D物体。

比如片中有一场在莫斯艾斯利（Mos Eisley）小酒馆的戏，现场地面都是真实的沙子，连接着虚拟场景中的沙子一直往外延伸，让观众产生一种场景很大的感觉。在拍摄现场，拍摄团队设置了黄色和红色的小罐子，当然在实物沙子边缘30英尺以外的数字墙上也有。从相机角度能看这些罐子是正确的，但在屏幕上会显得很小。但当不透过相机的镜头看时，这些红色和黄色的罐离屏幕上的沙子有12英寸的距离，因为屏幕正好靠着沙地。LED屏幕为现场提供所有照明光源，我们看到红色和黄色的光直接照亮了屏幕前的沙子，从屏幕反射出了颜色，但是在拍摄Nevarro熔岩深色调地面时并没有遇到这种情况。

在片场拍摄时使用带有片子的实时片场扩展。

注意较暗的色调，避免了不必要的反弹污染。

灯光反射到3D屏幕墙

就像LED墙照亮现实场景物体一样，还必须要考虑到大屏幕也会被实际场景物体反射回来的光照亮。一般来说实际场景中比较大型的物体一定会把光亮反射到数字场景上，3D灯光团队就需要解决现场真实黄色罐子把黄色光反射到数字资产的问题。ILM团队要时刻与美术部门紧密保持同步，毕竟莫斯艾斯利小酒馆是星球大战重点标志性场景，有着非常复杂的道具。拍摄现场搭建了包括吧台在内的所有出现在小酒馆的东西，装饰、饮料、分酒器等等，这些物品都具有很强的反光表面，还有桌子、椅子、摊位和环境中的其他东西也都搭出来了。有些元素不需要出现在镜头中，但是还需要其投射的间接光影效果，因此ILM团队会有选择性地关闭相机拍摄。

HDRs

利用SLRs捕捉HDRs是任何VFX团队在片场的基本日常工作。ILM 3D灯光团队从拍摄现场获取的HDRs没有任何意义，因为现场是由3D团队自己搭建的环境照亮的。ILM必须取代HDR，且不依赖于任何有用的HDRs。

现场拍摄舞台

拍摄现场的许多布景都是在凸起的平面和支柱上建造的，把LED屏幕底部的尖角隐藏起立，避免把屏幕直接放置在地上。搭建平面中间的位置填充了草和岩石块，可以把接缝线隐藏在整个布景的底部。以便能和实景部分衔接的更加自然。

外部灯光和阴影

外景拍摄地点是在Manhattan Beach Studios舞台附近，艺术部门的工作人员专门在那里搭建了各种曼达洛风格的场景。

在拍摄时，LED装置提供了效果良好的穹顶天，可以用iPad进行交互式定位，但LED屏幕像一个大型的柔光箱，而不是点光源。即使演员拥有1800尼特的亮度 ，也不会有强烈的灯光轮廓，也就没有来自太阳的平行光产生的外部锐利阴影。所以在现场设置的时候，LED面板是可以选择性地移除的，然后添加传统的聚光灯。

相机和色彩响应

《曼达洛人》采用的是Alexa LF专用相机进行拍摄的。ILM团队测试了ROE Black Pearl BP2 LED性能，并将其与LF的色彩敏感度和reproduction进行了匹配。

声音

由于LED墙是弯曲的，且有着坚硬的表面，再加上LED天花板，所以现场舞台的声音效果特别好。站在空间中的某个位置自然而然地就能听到几米之外的对话。大家去天坛或者某个圆形的空间都有过这种感受，就在站这样的空间中声音传递特别清晰。因此这里要求绝对安静，绝对不允许产生外部噪音或是相机晃动之类的情况。

景深

为了减少LED屏幕的莫尔条纹效果，背景通常都是柔和拍摄的，尽量减少数字背景墙的感觉。这个问题虽然可以从镜头选择和灯光层面来解决，却没办法消除由此带来的失焦，如果镜头太近而没法对焦，数字图形原则上应该离得远一些，而在已经对焦的情况下，拉近图像又不能重新聚焦了。在这种情况下，唯一的解决方法是在后期制作环节用清晰且对焦的素材来替换数字LED素材。

莫尔条纹

乔恩费儒想要模仿原版《星球大战》电影，特别是第四部《星球大战：新希望》，因而并不是要制作过于清晰的图像，而是要那种在70年代变形镜头中看到的光滑细腻感，这样一来解决了人们在LED屏幕上看到的任何潜在莫尔条纹问题。

捕捉体积传感器

Profile Studios的红外摄像机动作捕捉系统可以捕捉到《曼达洛人》剧组的整个环境，相机布满了LED屏幕顶部，用来监控安装在制作相机上红外（IR）标记。当系统识别到摄影机的X，Y，Z位置时，它将实时根据摄像机的位置渲染正确的3D视差。这个数据从Profile导入到ILM专有的StageCraft软件中，软件管理并记录了所有信息以及完整的制作流程，同时又将图像输入到了虚幻引擎中。然后在Lux Machina团队的帮助下将图像输出到屏幕。 

网络延迟和指令延迟（Latency and lag）

从Profile系统接收到摄像机位置信息，到Unreal渲染完成投放到LED墙上的新位置，时间上大概会有8帧的延迟。如果要把信息反馈给Steadicam操作人员的话，延迟的时间还会再稍微长一些。考虑到这一点，团队渲染高分辨率时，演员后面用于补丁的摄像机（从摄像机的角度显示正确的视差）团队会渲染出一个40%大的超大补丁。这种额外的误差幅度为摄像机操作员提供了平移或倾斜的空间，并且在系统赶上正确的视野之前看不到补丁的边缘。

真实背景和微缩模型

无论是现场视觉效果还是后期视觉效果，目的都是为了使创建的世界看起来更真实，制作团队从一开始就计划尽可能的使用真实素材做背景。他们浏览了ILM档案，从突尼斯以及拍摄过《星球大战》的取景地（例如格陵兰岛）获取了一些图像和照片，然后建立了《曼达洛人》资料库供团队使用。除此之外，他们还对北加州湾区安吉尔岛上一栋废弃破旧混凝土建筑物的内部进行了完整的摄影测量扫描重建。

一个微缩例子是渔村里的房子，它是用CG进行照片建模和重建的

ILM拍摄了数百张照片，构建了高度详细且纹理密集的3D环境，将其导出到UE4中。画面在LED屏幕上播放，照相机跟随演员进行拍摄，当演员走到某个位置，就可以获得正确的光偏移。拍摄完成之后，再扩展到构建微缩模型和全景球体，对模型进行完整的摄影测量后也导入到UE4中。

匹配渲染

尽管有50%的镜头可以在相机内完成，但还是有很多镜头必须通过ILM传统的环境流程完成制作。相机内的环境是在UE4中渲染的，但是ILM标准流程环境是在V-Ray中渲染，并不是UE4，所以这两部分还需要进行视觉复杂性、颜色、纹理和角点等方面的匹配。

ILM的管线是在3ds Max或Maya中建模，然后再V-Ray中对图像进行光线追踪。

VR侦查

由于LED屏幕上的场景必须提前完成准确制作，制作团队需要对资产进行VR摄像机侦查。乔恩费儒在之前的《狮子王》中非常广泛地用到了VR技术，因而此次非常轻车熟路。通过VR技术，虚拟艺术部门可以非常快速地完成置景并进行灯光测试，完成各种细节问题。

技术背景

1.组成弧形墙的LED屏幕使用的是 ROE Black Pearl BP2屏幕，最大亮度可以达到1800尼特，可以说是非常亮。在峰值亮度下，假设相机使用的是标准180°快门以24fps的速度进行拍摄，LED墙会产生约168英尺烛光（在平方英尺上通过的光通量）的强度，相当于 f/8 3⁄4 在800 ISO时的强度。这意味着光的亮度级并不是问题，通常在制作过程中，LED的的亮度会大大降低，远低于其最大亮度。

2.总共有11台相互连接的计算机把图像传送到LED屏幕上。三个处理器专用于实时渲染，四个服务器负责提供三幅4K图像并且能在屏幕上无缝拼接,可在天花板上提供一幅4K图像。LED墙上的输出图像尺寸为12288像素宽，2160像素高，天花板上的图像尺寸为4,096 x 2,160。

3. 《曼达洛人》使用了Panavision全画幅Ultra Vista1.65x变形镜头，变形压缩允许充分利用LF的 1.44:1 纵横比来创建2.37:1 的自然纵横比，最终输出仅略微裁剪为2.39:1。

4.现场拍摄舞台为弧形，高20英尺，180°LED电视墙，包括1326个单独的LED屏幕。

5.主LED屏幕为270°半圆形背景，带有LED视频天花板，为演员和道具提供了直径为75英尺的表演空间。

6.舞台的入口是进出和拍摄的必经之地，这里有两个悬挂的18英尺x20英尺的平板，由132个LED屏幕组成，平板可以下降放到合适的位置完成360°的效果。

7.LED屏幕所使用的线性色彩空间尽可能保持中性。

8.LED屏幕的像素间距为2.84mm，这一点非常重要，因为间距会影响拍摄LED屏幕时可能出现的莫尔条纹。Panavision Ultra Vistas Lens的T 2.3，类似于Super35中的T0.8，产生的景深很小，导致LED屏幕经常失焦。在制作中通常会使用更长的镜头，50mm, 65mm, 75mm, 100mm, 135mm, 150mm或是180mm Ultra Vista lens，范围从T2到 T2.8，DOP更倾向于T2.5-T3.5曝光。

9.现场有一个由ILM、Unreal和Profile的工作人员以及艺术家组成的“Brain Bar”，他们会控制场景和运动捕捉体。

技术信息来源：

https://www.fxguide.com/fxfeatured/art-of-led-wall-virtual-production-part-one-lessons-from-the-mandalorian/

公众号CGView：https://mp.weixin.qq.com/s/QU5DibwAuoWfsdb_ftJTTA