利用LED幕墙进行虚拟制作,你需要关注这些点

2020-04-26 16:48

非凡传媒

比想象 更非凡


随着影视技术的发展,更多新兴科技被运用在影视制作中,虚拟制作技术也逐渐成熟。大量运用虚拟技术制作的星战系列《曼达洛人》一度成为人们讨论的话题,该剧在视觉方面获得了不小的成就。


今天,我们为大家带来一篇海外技术贴,该作者以《曼达洛人》为例介绍了使用LED幕墙进行虚拟制作需要重点关注的几个方面。



EpicGames制作团队表示,用于制作《曼达洛人》的大部分虚拟技术都可以通过虚幻引擎实现了。


他们通过研究《曼达洛人》等项目在虚拟制作中所遇到的问题,并研发出相应解决方式的软件加入到UE4虚幻引擎中。


“《曼达洛人》中运用的大部分虚拟技术都可以通过UE4.24版本实现。” Epic Games的高级技术产品设计师安迪·布朗丁(Andy Blondin)说道:“UE4.24版本可以呈现《曼达洛人》制作中90%的技术功能,剩下的技术更新将在UE4.25版本上进行公布。”(注:UE4.25第1预览版已经发布)。值得关注的是UE4.25具备多视椎功能,可以同时对两个摄影机拍摄的画面进行处理。在捕捉画面基本相同的情况下,系统将主机位画面为主。“此外,我们还会向指定的用户提供由杰夫·法里斯(Jeff Farris)编写的特殊Python应用程序。这是一种“场景管理器”工具,它可以在同一时间控制多台设备进行指定的工作”,布朗丁补充道。


“场景管理器”工具作用是:一个人就能在虚拟拍摄环境中轻松管理多台设备并操控整个拍摄场景(例如《曼达洛人》的拍摄现场)。Epic Games艺术总监杰罗姆·普拉托(Jerome Platteaux)解释说:“假设我们需要切换到一个新的场景,我们可以直接使用‘场景管理器’将LED幕墙显示的内容换成新的场景。无需让工作人员走到每台设备前逐个操控。”当在UE4中完成初期软件开发后,交换机就可以成为整个场景的管理器。


事实上在使用LED幕墙展示虚拟场景中, nDisplay和多用户协作(Multi-user)等工具是必不可少的,“场景管理器”仅仅是让场景转换变得更加轻松而已。fxguide与Epic Games团队正在一起研究如何更好地利用LED幕墙进行虚拟场景拍摄,同时他们也在与影视制作者们共同努力,促进新一代摄影机内视觉特效的发展。

从上面看《曼达洛人》LED舞台


关键点

使用LED幕墙进行虚拟拍摄的关键是将虚幻场景的画面投射到巨大的LED面板阵列上,并且保持摄影机和画面的帧频保持一致才能捕捉到正常的画面。在追踪拍摄中,需要多名工作人员和计算机同时运作,现场的信息需要共享给多方工作人员,并且指令信息也需要快速地更新,否则LED显示的画面就会滞后,无法实现跟踪拍摄中的场景变化。相较于绿幕和投影等方式,虚拟引擎可以提供更好的实时交互体验。

 

如何设置运作虚拟制片(Virtual Production)的电脑

以《曼达洛人》第1季为例,拍摄现场中巨大的圆形LED幕墙是由4台电脑运作的,它们是通过分布渲染(nDisplay)连接起来,并在上面运行24Hz频率的画面,在这个分布渲染中不需要操作,只需运行LED幕墙即可。“Brain bar”团队还有另外3台电脑,这些电脑都由单独的操作员来进行操作,总共7台电脑组成了这个大型协作团队。


nDisplay

UE4可以支持分布nDisplay将场景同时显示在多个屏幕上。硬件根据场景的空间布局进行运算处理,并且管理、计算每个屏幕的每一帧画面变幻。nDisplay确保在不同LED屏幕上显示的内容保持同步。《曼达洛人》使用了4台PC来运行这些LED幕墙,但是在UE4 4.25版本中可以通过nDisplay同时处理32个以上的显示器(注: NVIDIA Quadro RTX卡的电脑),可以继续优化设备。

 

多用户协作

多用户协作工作流建立在客户端-服务器模型上,其中单个服务器可承载任意数量的会话。每个会话都是一个单独的虚拟工作区,同一网络上的任何Unreal Editor实例都可以连接到该虚拟工作区,以便在共享环境中就相同的项目内容进行协作。在UE4实例允许的情况下,该会话工作区中的每个用户都可以通过任何方式与《曼达洛人》设置内容进行交互。比如摄影师通过iPad中的程序采集并编辑虚幻场景时,即便是一个数字道具被调整也会与其他设备进行同步,并且实时展示在LED幕墙上。

 

多用户VR侦察

在多用户协作系统中,多名头戴VR设备的工作人员可以组成一队进行VR预演。这正是《曼达洛人》设计镜头的方式。

面板背面


人员配置

在传统的影视制作中,视觉特效(VFX)都在后期进行制作,但是在虚拟拍摄中,人员配置上有所改变,“后期岗位”的人会参与到前期数字资产创作当中。


就《曼达洛人》而言,“Brain bar”中的三位工作人员职能各不相同,但是在特定时期,他们可以根据工作内容进行相互协作。Epic的技术负责人杰夫·法里斯解释说:“第一位工作人员控制主UE4设置,它拥有整个集群并记录下拍摄的数据,另一个电脑主要用于场景编辑,第三个电脑则用于合成。其中负责合成的电脑还可以连接导演使用的监视器,以便获得导演对拍摄画面的反馈。如果在绿幕拍摄中,导演想看最终效果画面,也可以通过这台电脑进行实时合成并传输画面信号给监视器或者其他显示器上。”


在虚拟拍摄中,除了正常拍摄中需要的工作人员以外,场务团队的工作量也会得到很大的优化,因为大量人物和场景的特效制作都转移到拍摄前完成,减少了前、后期制作上的困难。在所有条件相同的情况下,这样操作的方式可以让拍摄和制作的镜头画面数量更少,总体工作的时间变得更短,《曼达洛人》需要通过后期特效制作的画面就减少了一半。


iPad控制

由于《曼达洛人》的拍摄场景设计是交互式的,因此可以通过移动端进行控制。摄影指导(DP)可以使用移动终端操控虚拟场景中的任何设置,比如他无需经过“Brain bar”就可以用iPad来调整虚幻引擎中的数字道具和数字灯光,在2019的SIGGRAPH大会上,Epic 公司在iPad上展示了一款基于Web的REST-basedAPI的虚拟拍摄技术,该技术已在UE4.24版本中公布。将来在UE4.26中会进一步得到升级,允许人们制作自己的应用程序,并且可以在任何Web浏览器上运行该应用。


iPad控制器是《曼达洛人》上多用户协作的一部分,功能非常强大,人们可以利用该工具完成大量的工作,包括:进行颜色校正、曝光控制、照明、时间、移动道具、生成光源等。Epic Games资深制作人理查德·乌加特(Richard Ugarte)表示:“在iPad中只需按一下按钮即可添加光源、生成照明效果。甚至是不同类型的光线、放在哪里、光线的强度如何等等,都可以一下子实现。这与之前必须携带灯具、电源延长线的传统拍摄方式截然不同。”

 

将LED幕墙用作光面板

虚拟拍摄中的LED幕墙的主要用途是为拍摄提供正确的数字环境,为场景中的演员提供“正确”的照明方式。在一个真实的电影拍摄中,光的来源不仅仅只有自然光,灯光、反光板和米菠萝都是都被用于现场布光。

必要时还需要在虚拟拍摄场景内增加真实的照明灯光,以便为演员提供“好莱坞式”的布光效果。在LED场景中,也可以通过在UE4中添加数字光源以提升演员和道具亮度,就像使用真正的灯光一样。只要LED幕墙在摄像机的可视范围之外就可以做任何操作,但是这个光源被限制在LED幕墙上,不能靠近被摄对象。值得注意的是,LED屏幕拥有比真实环境更明亮的光线,因此很少会以100%全亮度进行拍摄。


除了使用LED幕墙为演员和布景进行照明之外,你还可以在Unreal引擎中使用DMX照明设置加强光源亮度,例如:Arri SkyPanels或L10s。

 

像素间距

LED像素间距是指LED屏幕中每个像素点之间的间距,也被称为“点间距”,即每个像素点中心到相邻像素点中心的距离。在《曼达洛人》的拍摄中,他们使用的LED幕墙像素间距是2.84mm。现在LED屏幕的制作技术也变得越来越好,0.9mm像素间距的LED屏幕也不在话下,但是在广播电视中很少使用这样精细规格的产品。“《曼达洛人》的特效团队表示演员表演的位置距离LED幕墙12到15英尺远,在这个观看距离范围内选择相对精细的LED幕墙即可。”布朗丁评论道。

《曼达洛人》使用了ROEBlack Pearl BP2 LED屏幕,该LED屏幕的最佳观看距离是通过以计算方式获得的,该计算公式为:最佳观看距离(英尺)=像素间距x 8 *(注:若以“米”为计量单位,则像素间距x 2.5再进行计算)


四种不同像素间距(1.9、2.5、3、4下)的最佳观看距离如下所示:


LED显示屏像素间距x 8 =最佳观看距离(大约)

 1.9mm 1.9 x 8 = 15英尺

2.5mm 2.5 x 8 = 20英尺

3mm 3 x 8 = 24英尺

4mm 4 x 8 = 32英尺

*注:为避免受LED亮度的影响,直接以正面观看视角为主。

在近距离中可以看到屏幕中的沙地和真实场景的沙堆有一些区别


拍摄视角

摄影机拍摄时的视角会影响LED幕墙的颜色或投射效果。某些大型LED幕墙的制作方法是将单个LED像素点放置在凹槽内。法里斯解释说:“在某些LED面板上,每一个LED的像素点周围都有一些栅格。如果以掠射视角度看任何面板(最终取决于与实际LED的角度),它可能无法看到红色的像素点,只能看到蓝色或绿色的像素点,这样会导致拍摄出画面产生色彩偏差。

该图片使用相机从舞台外部拍摄,顶部LED幕墙显示色彩偏粉红色


LED幕墙的颜色变化取决于摄影机所处的位置,正面拍摄呈现的色彩是准确的,以掠射视角拍摄则会出现色彩偏差。基于这个原因,布朗丁预计未来会有很多场景设计采用曲面穹顶舞台,而不是现在这种圆柱形垂直结构的平顶设计。

 

信号延迟

信号延迟对于摄影机内的视觉特效至关重要。Epic团队认为,目前的虚拟制作场景在运作过程中会产生约7~8帧的延迟。法里斯表示:“通常情况下,摄影机在拍摄过程中内部计算占用1~2帧,甚至3帧的时间。这是虚拟信号在传递到虚幻引擎的时候,进行画面渲染时会占用2~3帧的时间,处理器转换再占用2~3帧的时间。在《曼达洛人》拍摄中,摄影机内和画面之间的信号延迟大概在9帧左右。

 

场景尺寸与灯光级别

在设计场景大小时首先要考虑光线的因素。LED面板亮度很高,为了保证被摄人物和物品的阴影部分和光线层次感,在拍摄过程中几乎不会使用100%的亮度设置。随着场景变大,LED幕墙之间的距离会拉开,场景中心的亮度会相应减少。但是更大的场景需要安装更多的LED幕墙,并且搭建的LED支架要足够牢固以便支撑顶部的LED幕墙。

 

未来改进

虽然现在利用LED进行虚拟影片制作的技术可以达到一定的水准,但是虚幻引擎研发团队和影视制作者们仍然在计划开发更多的工具和技术。例如,在《曼达洛人》中所有画面的对焦都是实际摄影机拍摄完成的。但是等技术成熟之后,也可以通过UE4实现虚拟画面对焦和跟焦等等。相信未来虚拟制作的技术会更强大。


原文来源:https://www.fxguide.com/fxfeatured/art-of-led-wall-virtual-production-sets-part-two-how-you-make-one/

以上内容来自海外用户分享的文章内容一部分,如果屏幕前的你想了解更多信息,欢迎在文章下方留言。

本文为作者 北京非凡影界文化传媒股份有限公司 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/125201

北京非凡影界文化传媒股份有限公司

点击了解更多
北京非凡影界文化传媒股份有限公司(证券代码:835431),简称非凡影界,成立于2010年,秉承“比想象 更非凡”的企业理念,从传统影视制作开始,通过自身技术研发,引进国内外前沿硬件和软件资源,目前已经成为数字图像内容制作综合服务商,业务覆盖影视全流程制作、视效创意、CG制作、数字虚拟人、虚拟内容、数字孪生应用、职业培训等板块。可为影视、动画、文旅、电商、地产、会展等多行业提供定制化解决方案。旗下拥有多家全资及控股子公司,具有从策划创作,技术研发,艺术生产,商业拓展等全产业链规划架构与实践创新能力。整个集团采用技术共享、资源共享的平台化运营,形成高效协同
扫码关注
北京非凡影界文化传媒股份有限公司