三天搞定广告片!?UE虚拟制作最新案例技术解析
今天跟大家聊聊虚幻引擎(英文经常缩写为UE)。
说起虚幻引擎(UE),除了游戏以外在影视制作行业中应用最广的就是虚拟制作了。随着《权力的游戏》、《西部世界》等美剧的大火,它幕后的制作方式——虚拟制作也跟着火了起来,因此越来越多的制作都开始采用这种方式。据我了解国内好多视效公司目前都有了自己的虚拟拍摄棚。最近的春晚就有几个案例,比如其中有个比较惊艳的舞蹈《金面》就是虚拟制作实现的。让原本单调的舞台穿越到了郁郁葱葱的大树上,让演员与环境完美融合,成为今年春晚最为惊艳的节目之一。
为什么越来越多的影视制作都采用这种方式?
■虚幻引擎(UE)学习容易——入行门槛低
■打破传统蓝绿幕流程——避免了抠像色溢问题
■拍摄现场实时看到最终的特效——所拍既所得
■简化流程——高效
那么从虚幻引擎(UE)官方开发引擎方面也是为虚拟制片给了最大力度的支持,UE4.27版本发布后,更多增加了虚拟制片的功能。随后的时间里,Epic Games更是推出了更多针对虚拟制片的帮助和扶持计划,能看出来他们正循序渐进的实施很多计划,比如发布《虚拟制片实践指南》、推出的虚拟制片周,印度短片计划等等。
我们谈论虚拟制片,是在谈论什么?有很多小伙伴会问虚拟制片到底都包含什么?这里面包括用CG或VR技术在拍摄前把场景做可视化、搭建虚拟拍摄片场、实时特效、表演捕捉,虚拟后期制作等环节,这都离不开虚幻引擎在其中的“联通”,特别是实时渲染,在整个过程中起到了关键性作用。
早在卡梅隆拍《阿凡达》时,就曾用虚拟摄像机,在现场预览了特效的最终画面,但那时的技术,从软件到硬件都还不够成熟,但卡梅隆的开创让虚拟制片逐步开始推广。
拍摄《阿凡达》时,虚拟摄影机能够在现场看到预合成效果
真正让虚拟制片大放异彩的是《曼达洛人》,它可以称得上是使用虚幻引擎进行虚拟制片的技术研究先驱了。
除了《曼达洛人》还有很多大家所熟知的美剧都有使用虚幻引擎制作的案例,比如Painting Practice在制作《黑镜》时尝试虚幻引擎的实时渲染,在后来接手的《黑暗物质三部曲》制作后,在场景角色设计和拍摄时也都使用了虚幻引擎。
《黑暗物质三部曲》中用虚幻引擎模拟出的采石场
下面我为大家解析虚幻引擎在虚拟制作应用中几个其它技术案例。
The Third Floor虚幻引擎的可视化
The Third Floor大家应该不陌生吧?他们位于美国洛杉矶,主要专注于Previz、Postviz和虚拟现实的公司。最初是由几位参与过《星球大战》的卢卡斯影业的艺术家创立,公司是以他们工作的地点命名,已成立16年。目前在做Previz的同时,也开发了很多辅助的技术比如动作捕捉、相机布局和现场拍摄等等。参与制作过的Previz作品太多了,比如大家熟知的《蚁人》、《复仇者联盟:终局之战》等等吧。
做Previz很多时候主要就是帮助制片人实现他们脑海中的想法和精确的镜头内容,所以虚幻引擎理所当然成了The Third Floor的首选工具。
在给《曼达洛人》制作Previz时,The Third Floor团队使用虚幻引擎的动作捕捉和虚拟相机相结合的方式,一边画前期预览主场景的草图设计,另一边导演在现场指导动捕演员的动作表演,期间动作捕捉的数据实时流传到虚幻引擎中,把动作进行重定向到Previz的角色模型上。这样导演或者摄影指导在现场使用一个基于平板电脑的虚拟相机就直接可以看到镜头拍摄的大致位置和动作编排效果了,最后再进一步到Previz中进行精修。
还有去年上映的《明日之战》,不知道大家看了没有。里面的外星生物白长钉,在前期拍摄的过程中,为了方便导演能在现场的镜头中看到白长钉和演员的位置,他们基于虚幻引擎开发了一个名为Cyclops的实时AR工具,可以在其中放置多个怪物,通过精确的镜头来捕捉怪兽的视频数据,然后实时看到现实人和怪物的大小比例,确定位置关系等。
多年来,The Third Floor基于虚幻引擎开发了一套内部管线,名为MERCURY,它使用的是场景专属描述格式,可以让美术师在Maya中重建镜头资产后导入虚幻引擎中,这样在发挥Maya动画的优势的同时也利用了虚幻引擎的图像延展性,另一方面还能利用Live link接口,让美术师边做动画边在虚幻引擎中实时查看渲染效果。以虚幻引擎为平台,MERCURY除了实时的优势外,它还可以实现远程链接和多用户会话,这对于制作Previz来说简直不要太方便了!
The Third Floor在《权力的游戏》早期就派出美术师,在虚幻引擎中构建了用于探查的虚拟布景。此外还用虚幻引擎构建了一套虚拟探查工具集,帮助筹划了第8季中宏大的环境场景。还有在《权力游戏》中,他们研发了一套VR设备——虚拟现实采景工具,同样是基于虚幻引擎,可以在布置实景之前研究布景设计,比如演员,生物,道具和摄像机摆放位置等等。
因为非常实用,后来也被用到了《毒液2》中,因其可以在虚拟环境中实时查看拍摄设计与CG元素和场景合成的效果。比如毒液2中那场监狱中的打斗场景,可以利用这个技术来预估逃犯角色动作所需的空间大小,然后制定模块化拍摄方案和场景复原。在结尾教堂大战的那场戏中,制作团队在VR中开发了一套可探索的教堂资产,其中有实景,还有CG制作的延展部分,那么制作人员可在VR中规划实体布景和数字布景的比例关系和美术风格。
所以你看,现在的Previz不只是简简单单的做一个3D预览效果,而是已经通过虚幻引擎的实时能力完全与制作团队融入动捕、现场拍摄等等各个环节。“牵一发而实时动全身”!
虚幻引擎助欧洲航天局招聘?
第二个案例我们来说说欧洲航天局的招聘。有的小伙伴可能会问,航天局和虚幻引擎有什么关系?哈哈,一开始我也纳闷,但看完介绍还挺有意思。
因为欧洲航天局十年来首次面向社会招聘宇航员。这个航天员不是谁想去就能去的,他们需要是精英中的精英。他们应该是聪明果敢,同时拥有探索精神、过人的抗压能力等等。这种高端招聘不能随便发个Boss,啊,不对,他们用的是领英,领英也是不够的。所以,他们决定做个宣传片来吸引人才。他们的想法是创作一个让梦想遨游宇宙的人产生共鸣的视频,因为视频的分享广度是无限的。
于是他们找到了一家法国的影视制作公司Duck Factory(名字还挺有意思)。这是一家由10人组成的巴黎精品工作室。
制作团队在2020年9月拿到早期的创意稿,看完他们觉得,这用传统的制作流程做不完,而且甲方还要求他们用些高科技的东西来完成制作,所以他们决定将虚幻引擎的虚拟制片引入项目流程。
制作团队表示:“我们很快意识到,将虚拟制片技术和虚幻引擎的强大功能结合起来,不仅能增强项目背后的整体创造力,还能帮助我们按时交付。”
有意思的是他们团队当时并不会虚幻引擎,所有的一切都是从零学起,好在虚幻引擎学习门槛不是很高,经过团队努力,最终建立了10个写实虚拟制片所用的环境,这其中包括在虚幻引擎中实现的太空操作中心、南美风景、月球。在这些场景中,静态网格体三角形面数从200万个到3.2亿个不等,可谓是场景相当大!
其中多数资产都是用现成的Quixel Megascans,像植物,岩石,道具等等,至于天空和空间背景使用了虚幻引擎插件Ultra Dynamic Sky,只要创意有了,在虚幻引擎中实现这些场景简直相当便捷。
因为Duck Factory没有自己的虚拟拍摄场地,所以当所有环境制作完成后,他们找到了专业的虚拟制片团队Plateau Virtuel,Plateau Virtuel有一个22×5米的艾比森LED墙,这也是法国最大的LED墙。
接下来的过程大家就都很熟悉了,找了演员在LED背景前进行表演,然后摄像机拍摄。但这里有几个技术点需要提下,他们这个背景是Novastar模块控制的,像素间距为2.5毫米,为屏幕提供了更高的分辨率。此外为了解决视差问题,他们在主Venice摄像机安装了个OptiTrack系统,实现动作捕捉和追踪,这样的话当摄像机随角色移动背景时虚幻引擎中的场景也会随着移动,从而实现无缝衔接。而且在这个过程中出现任何问题,都在现场实时可调,比如需要改变灯光的方向,背景某个物体材质与前景不匹配等等,在虚幻中就可以直接调整。这在传统流程中都是无法做到的。
这一顿“凶猛”操作下来,3个月就顺利完成了项目,按时交付。
这个过程,灯光渲染工作在拍摄现场可实时调整,虚拟场景与前景物理场景和演员都已无缝融合,创意、甲方反馈环节和制作拍摄环节都几乎在虚幻引擎中一次性完成。
三天完成一个游戏广告片?
接下来我们要介绍的这家公司是来自白俄罗斯一家专注影视公司名为BY Movie Production Company。为什么要介绍他们呢?三天完成一支广告短片就是他们。
BY Movie是一家专门拍摄复杂视频和电影级项目的公司。在看了《曼达洛人》后,他们决定升级自己的拍摄场地,于是在2020年建造了一个18米长的曲面LED屏幕。紧接着就承接了《坦克世界》广告短片。甲方的要求是推广即将举行的《坦克世界》活动“黑市”。
制作倒是没什么难题,但重点在于前期的宣传物料都已经制作好了,广告中的场景和背景都要和宣传物料一样,还要照片级写实,毕竟时间紧迫,所以他们最后决定采用虚拟制片流程。
BY Movie团队先是用虚幻引擎创建了多个实时环境,包括坦克机库、车库和办公空间。导演Ilya Kluysha和摄影指导Konstantin Ivanov与虚幻引擎专家及灯光师通力合作,确保每个环境的准确性。完成后,团队使用虚幻引擎的多显示器渲染技术nDisplay将环境投影到他们的内部LED屏幕上,然后让演员与3D背景能够完美融合在一起。就这样仅仅用了三天时间就全部搞定。其实只要模型出来,然后投影到LED上后,就是拍摄了,因此一旦三个环节把控好了时间,速度应该是相当快的。
“如果不依赖虚幻引擎的虚拟制片功能,就不可能在如此短的时间内拍摄这么多环境。”Mikhalenka说,“借助虚幻引擎,我们对现场灯光做出的一切更改都能够立即按需呈现,无需重新渲染该位置。我们还能将演员置于任何真实或幻想的世界中,而无需耗费时间或金钱来构建场景,也不必带着剧组人员满世界出差。”
做完这个项目,让制作团队大受鼓舞,决定趁热打铁做一个内部项目,继续完善虚幻引擎的虚拟制片流程,然后启动了一个名为《Dunno》的网络剧。《Dunno》改编自尼古拉·诺索夫的著名俄罗斯童话,故事讲述的是一个反乌托邦的科幻未来,剧中角色将在月球上争斗。从最初的动画制作到最后的拍摄场景,所有内容都是在虚幻引擎中创建,然后再在实时拍摄中与前景演员融合在一起。
因为是一个测试项目,所以在这个项目中所有的场景模型都是高模,而且纹理高达8K,还尝试了最好的摄像机、光学设备和布景设计等等,最后用了一个月的时间搞定了1分41秒的预告片。
负责人表示:“对于故事片和广告项目,你能够节省时间和金钱,同时降低产生不满意结果的风险。而对于游戏过场动画和预告片,你只需在现有的虚幻引擎环境中放置栩栩如生的角色即可,而不用在图形上耗费几个月的时间。”
据我了解,其实现在基于虚幻引擎搭建的虚拟制作流程已经非常普遍了,很多公司都有了一套这样的拍摄流程。不仅仅是因为效率的提高,还在于虚幻引擎越来越强的实时高质量的画面输出,还有与前端硬件和后端拍摄的无缝通畅的连通,这一切都让虚幻引擎在虚拟制作中成为无法替代的工具。
结语
虚幻引擎在虚拟制作中的实时互通性是显而易见的。随着虚幻引擎4.27版本的发布,对于虚拟制作的应用将更加的友好。比如对nDisplay系统进行更新,通过虚幻引擎中实时渲染的CG环境投影到LED屏幕或圆顶上,演员们就可以直接进行拍摄;加了许多用于控制虚拟摄像机的新功能,方便在虚拟场景中确定位置和生成相机移动等等,同样也方便了虚拟制作的应用。相信虚幻引擎将会给影视CG行业带来更大的助推力。