《流浪地球2》视效制作上攻克了哪些难题?(上)
《流浪地球2》猫眼票房
作者:徐建(《流浪地球2》视效总监)
来源:知乎 经作者授权发布
原标题为:《流浪地球 2》幕后有哪些不为人知的制作难题?
本微信文内配图来自编辑,非作者本人。
《流浪地球2》海报
比较难的,嗯……
其实处处是坑,最主要是单位时间内从来没干过这么大的量,量有多大?说他是我司这几年操作过的大项目总和可能也不为过。3000加的高信息密度镜头,1000加的数字年轻化老龄化……,怎么走过来的我觉得是……命……吧!!!项目开始到最后一刻真的是一直在排雷,具体的某一技术或者镜头的难点根据剧组宣传部门会统一规划后续会有大量的各家供应商的讲解或者Reel会推出,大家静待,这里我从宏观的只站在个人角度说说我认为最难的部分及解决方案供大家分享,其它参与的伙伴如有补充可以在本帖接上。
一:如何统一视效标准。
大家可以看到字幕上参与制作的视效公司多达六十几家(肯定还有三级、四级的分包方没上字幕的这里一并表达歉意,More直接分包的合同里明确要求二级分包再分包需经我们确认并一定给予署名,有受了委屈的回头可以来找申诉),More直接分包就20多家,存在大量的好几家同做一场戏一个情节点使用同一组资产或者特效资产的情况,现在回溯我认为团队当初做了一个非常明确的决定,就是九成的资产放到自己手里做再分发出去,More的资产部门经过这几年时间紧任务重的各种项目已经达到了一定的稳定指标输出的能力,软件和流程发展到今天,只要资产的模型、贴图、材质有标准且合理就不会出大纰漏,因为灯光渲染一端现在都是基于PBR的物理光照,球2单镜头里资产量太大这么做最有底。另外我们的几个定海神针发挥了极大的作用。
魏明,现在More VFX的CEO也是本片第一视效总监,他本身是全世界知名的概念艺术家,脑洞和手头功夫了得,他带项目最大的好处是可以直接快速的给概念图和气氛图,少逼逼,想不明白就直接给图照着做,这大大提高了所有执行方的效率和准确度。罗秋林和王鹏飞两个CG总监直接上手做了大量高难环境特效的Setup,其它人可以直接用或者参考。我们的视效总监赵浩强在球1的时候就是More部分的视效总监和李帅、张帆、刘颖几位总监分别负责不同情节点,后几位都是自己培养起来的,有相对统一的标准和工作模式思维模式,也都在这几年有独自担当时间紧任务重大项目经验,大家攒在一起肯定是能量巨大的。
二:制片管理。
这是很多人讨论到视效时都会忽略的一个话题,但在我来看一个视效团队的制片管理团队好坏能决定结果成色的一半。前面说了直接分包的有二十多家(好像是26具体记不清了),在这里人是第一生产力,是最重要的, More在这个项目上的制片团队接近三十人。
基础是这些年一直在各大项目的实践中花大力气迭代制片的工作方式、方法、流程、工具包括视效剪辑和IO部分的,但更重要的还是这些年沉淀下来有过几部大项目经验的核心制片团队成员,从《悟空传》开始到《一出好戏》、《征途》、《流浪地球1》、《刺杀小说家》、《外太空的莫扎特》、《独行月球》一路下来核心成员稳定、经验和能力一直在迭代,三位视效制片人是轴,二十年的合伙人蔡猛蔡师傅,从项目开始到交完片还在加班组织帮宣发出物料的魏玉青魏大姨,《金刚川》时加班加到晕倒磕掉了牙的于淑于二姨以及英慧等在More已经磨合了十来年的制片统筹,大量的实战经验积累使他们在面对海量的制作排序、周期把控协调等一系列交叉性工作时能快速准确的做出相对正确的判断和出台合理方案,虽然不能说尽善尽美但至少没掉链子。
图片来自@谢楠 微博
“De-aging ”数字换龄
技术上可谓第一难点的东西“De-aging ”数字换龄,难在哪?难在啥也不知道!
大概2020年中下的时候虽然还没有剧本导演就和我透露了这个需求,听完就慌了,当时全世界相对成功的De-aging的案例屈指可数,但方法路径却不统一,有Weta的《双子杀手》,全身上下细到毛孔挤压拉伸、情绪导致微血管血流变化的纯CG生磕,ILM的《爱尔兰人》,只动脸部,前期小两年开始人工智能训练CG角色表演,现场拍摄除了正常拍摄机位还要再架两台相机记录De-aging相关使用素材。漫威的年轻钢铁侠和年轻黑豹,基于Deepfake人工智能拿演员年轻时的2D素材训练AI替换实拍素材。
技术测试方案提前一年半开始了,初生牛犊不怕虎无知者无畏,包括导演都非常支持我们,都不能说支持了简直就是怂恿!上来就奔最难的Weta的方案去了,中间迭代了两次扫描和面捕方案,京哥华哥也非常支持配合,那么大的巨星啊就为了帮我们实现技术上的突破从各种剧组给我们挤时间(此处代表视效全体鞠躬)。全世界各种硬件或者服务的供应商一顿试,随着在这方面的知识经验逐渐增加我们也认清了现实,方案没等到成熟就放弃了。
原因有三,一是此方案在实拍阶段非常麻烦,演员要穿戴动捕和面捕设备,脸部表演情绪的传达肯定受影响,身上的设备和服化道严重打架,除非身上只穿动捕服,这样就全身上下都得CG做,捕捉传感器对灯光的苛刻要求限制摄影灯光,传感器无线信号受所有无线信号严重干扰,但实拍阶段也是时间紧任务重(因为导演一稿剧本就写了七万多字)这个方案会严重影响拍摄进度。
二是这个方案会导致后期做的时候De-aging 部分的经费会是现在整部电影视效预算的三倍起,“钱”是肯定远远不够的。
三是国内在这个技术流程各环节莫说哪个公司团队整体就连胜任的个体艺术家都寥寥无几,More的艺术家虽然当时经过了《刺小》的训练有些经验但即使把技术都攻克了也不是我们这几百号人能完成的量,我们需要十倍的人,这活在国内发都发不出去,工期会严重受影响我们没有这个时间(因为我们在2020年的金鸡期间就定档了)。
最终尝试了基于Deepfake这个开源算法二次开发的方案后确定就它了,相对的——省时省力省钱。
Deepfake是用要替换的目标演员的海量素材训练人工智能替换拍摄素材的一种方式,关键要素有三,一是替换和被替换两者要尽量的像,不只五官长得像,表情动作习惯也要像,二是训练人工智能的素材要尽量高清晰,三是光线条件角度条件要尽量多尽量丰富。
过程一波三折,最头疼的是上面三个要素我们只有一的条件是充足的,因为是本人出演替换本人素材,但是二和三基本没法满足,只能见招拆招在个别镜头再加入艺术家手动处理。测试结果我们满意导演满意,然后……导演又出了幺蛾子,他希望不只是正确的还原演员真正年轻时的样貌,因为时代不同,人的表演气质、妆发、拍摄的光线颜色、观众的审美习惯等等和现在的都发生了巨大变化,他希望影片里呈现的是现代观众们脑海里想象的年轻京哥和华哥,这个样貌和实际情况是有巨大差别的(人对事物形象的认知只有四成是真实的,其它六成都来源于大脑的主观想象的实时运算,这是事实,不理解可以去翻阅脑科学或者心理学相关资料),最终导致的结果就是人工智能在不同镜头里帮我们完成三成到七成的工作,剩下的要靠艺术家手动调节,这一需求的满足增加了海量的工作。期间又经历了隔着眼镜、玻璃面罩、烟雾换脸,同一镜头内光线剧烈变化等等一系列波折现在回头看老天保佑我们都一一攻克了。
还有一个小插曲值得分享,开始选定Deepfake方案时我们联系了在好莱坞最专业做换脸的一家视效公司,测试报价都OK,虽然贵但压缩一下别的部分为了抢时间也勉强能接受,毕竟人家是最专业的。但当导演的进阶需求提出来后这事在他们那就失控了,我在《疯狂外星人》的项目上也碰到过同样的境遇,根本原因还是东西方文化的差异进而导致的对表演理解的差异,所以快速停止了合作,这事就只能自己干了。
《流浪地球2》剧照
以下作者:张帆,《流浪地球2》视效总监之一
说一下月面环境的一些制作困难,其实我们之前在《独行月球》上也积累了不少月面环境的制作经验,比如真空(严谨点的话就是相对地球极为稀薄的大气)下的光线对比、月面地形的结构体系、微重力以及真空下的物理现象等,这些效果的制作思路以及工作流程在我们内部相对比较成熟。但是在《流浪地球2》中,我们需要将手上的这些经验同时分享给多家制作团队。
另外也需要按照《流浪地球2》戏中的设定,根据地月之间距离的不同阶段设置不同的重力变化以及设计不同重力下不同的气氛效果。这些效果设定都是我们内部确定完效果之后,将效果参考以及制作思路携带制作文件同步给各家团队,这里边最大的困难就是需要在有限时间内协调各个制作团队之间效果上的衔接以及修改导演那些“牵一发而动全身”的反馈以及新想法,制作周期是死的,我们为了保证质量,各家团队基本上属于一个“齐头并进”的状态,很多信息都是上午确定下来,下午就需要马上将方案分发给各个团队。
一个效果的调整、一个元素的增减常常会涉及到几十上百甚至几百个镜头量调整,在短时间内协调各个团队成员之间的效果内容衔接、提交周期计划还要保证效果上不出错、周期上不拖延。我们和各家团队大家都默认执行全天候的工作状态,任何问题都是随时协调随时解决,在制作过程中也会根据效果调整随时迭代升级,这些其中的任何变动都要及时分发到各个团队手上,并且也会根据各家团队的人员分配、制作流程、渲染能力等状况再次调整方案。信息量太大,大家都在调侃自己整个人的“带宽”都不够了。整个项目大家都是维持这种状态一直到交片,这么多年这么多项目“风风雨雨”都见过,但这个项目又双叒叕刷新了我们的极限。
《流浪地球2》海报
以下作者:李帅,《流浪地球2》视效总监之一
《流浪地球2》是我接触过以往项目里资产数量最庞大的一个,全片资产数量多达1800多个,前期统计资产清单打印出来就像一本书一样,在前期剧组拍摄期间就开始进行资产制作,一直到后期交片前的1个月,公司内部资产部门还在处理镜头资产的加细工作。
其中里面的几个大型重体量资产是我们攻克的难点,以行星发动机为例:行星发动机是流浪地球里非常宏伟的工程建筑奇观,设定里发动机直径36公里高9000米,比珠峰还要高一点。球2里主要展现的是建造在利伯维尔的全球第一台行星发动机,片中有很多近距离展现的镜头,对发动机资产细节要求很高,已经看过球2的朋友应该都看到开篇时刘培强和张鹏开着J20环绕发动机时展现这个钢铁巨物时的画面,(没看的抓紧看起来)这是影片开篇的一个小高潮,让观众跟随J20的轨迹近距离观看发动机的壮观场面,这在球1里是没有被展示到的,难点是这巨大发动机上的结构细节比例的呈现,球1里的发动机资产肯定是满足不了那些镜头的需求,所以在徐总的提议下,在不改变球1发动机整体大的造型基础上,对发动机表面进行重新设计制作,以满足球2镜头的需求,其实相当于重做。
从概念设计部门开始,重新对发动机的细节比例、区域功能、发动机的建造过程、建造材料、工程设备等,着手进行设计加工。最终定稿后在移交资产部门开始资产制作,资产部门13位艺术家耗时3个多月才最终完成行星发动机的制作。整个发动机由72000多个资产元素组成,35亿多个面数,还有整个UEG基地地貌,这个也是我们比较重要的一个地形资产,在我们空战的那场戏里,大家看到的无人机和战斗机穿梭在UEG基地上空缠斗的画面,其中里面的基地场景大多全是CG呈现的,整个UEG基地到太空电梯岛直线距离将近18公里,位于加蓬利伯维尔上方,我们在卫星地图上看,其实是一片雨林,片中基地就坐落在这里,因为是虚构出来的,所以基地上的建筑分布是没办法在卫星地图上找到对应建筑的,他不像我们以往做的北京城或纽约,可以在卫星地图上找到很准确的城市地貌分布做标准,我们只能从零开始做基地的分布规划设计,划分不同功能区域,以实拍的军营为中心向外展开设计,里面包括军用机场、军港、物资码头、医院、燃料储备中心、训练基地、电梯工程维修部等等,每个区域的建筑摆放都会根据其功能做设计调整,除了这些建筑分布设计,还有大量的植被分布,道路规划,主要功能区域到达太空电梯岛和行星发动机的道路路线,甚至还有一些道路可直接延伸进真实的利伯维尔城,相当于做了一次城市规划师的工作,可能影片里不会全部都展现到,但是这一步不能省,只有这样你在高空以飞机视角看地面基地时细节才能满足,才会有真实的代入感。
整个UEG基地从设计到最终资产完成,由10位艺术家耗时4个月,程序化搭建场景元素数量9千多万个,除了这些还有我们高耸入云的太空电梯,空间站船坞、月球发动机,每一个都是类似行星发动机和UEG基地一样细节满满的重资产,因为这些资产有太多的近景展示,没的省,只能实打实做,在资产分包计划上我们把这些偏向设计类和大体量的重要资产大多都留在公司内部制作,这样是方便后续制作修改、版本迭代上能有很好的可控性,还有这类资产里有些是要共享给其他外包公司共同使用的,要在分包前就制定和统一好各个外包公司的制作流程,说到流程为了应对球2的重资产,多外包的项目属性,公司搭建并应用了USD流程,来解决和保证后续20多家外包公司在镜头生产上的效果统一性,以及各外包公司资产、镜头传递交接的互通性等问题,因为公司内部也是第一次接触USD流程,还在摸索阶段,针对新流程内部做了大量的测试来排查流程漏洞,在更新同步给外包公司,外包公司也会反馈问题回来,反反复复进行调整,那真是一路踩着坑过来的。相信各家外包公司也都在这个项目上积累了宝贵的经验。
虽然在制作期间已经看过全片不止一遍,对每个细节每个镜头也都非常的熟悉了,但最终在影院观看时还是被震撼到头皮发麻,能参与到这次《流浪地球2》的制作真的感到很荣幸,期待球3。
《流浪地球2》海报
以下作者:魏玉青,《流浪地球2》视效制片人之一
《流浪地球2》难是真的难,但是我们一直有底气、有信心,简单来说:“我们的人一定可以完成任务!”
按照时间线简单聊聊这种体量的项目都有哪些坎要过:
1、虚拍阶段:效果研发、虚拟拍摄&动态预览
效果研发:前期效果研发主要是集中在角色年轻化和老年化的部分,没有前人引路,只能我们自己摸着石头过河,效果上的难度徐总在文中已经写的非常详细就不赘述了,制片工作主要联络全世界各种供应商进行会议、商务合约、周期等等工作沟通,手机短时间内关注了10多个世界各地的时钟,有时候一个会议结束制作方案被拆分成了2-3家供应商合作完成,除了增加测试难度,沟通成本也是指数级上升,不过由于是创作过程,投石问路乐在其中;
虚拟拍摄:剧本文字图像化的过程,每天在不断的验证和尝试。举个栗子,图丫丫房间需要展现数字空间,与其他实景场景拍摄情况不一致,拍摄前摄影指导、美术指导和视效总监需要先沟通预制要求,比如机位怎么下,需要拆哪个墙,美术设计给的空间够不够大,窗户的位置是否可以满足画面要求,360°环绕的光要怎么打,投影位置是否正确,拍摄完成后这些所有信息再由视效部门整合同步给各部门落地实施,整个过程涉及到100多个场景,预制组的小伙伴在大队收工后继续完善第二天的预制工作,保证第二天顺利拍摄。
动态预览:有些全CG不涉及到演员表演的内容是通过动态预览进行展现的,和虚拟拍摄同步开展,配合虚拟拍摄的节奏进行,最终和虚拟拍摄一起形成第一阶段的全片剪辑。
2、实拍阶段:分包方案、资产筹备&设计细化、流程搭建
分包方案:
经过以上步骤,影片的雏形已经有了,项目逐步推进到了初期执行阶段,《流浪地球2》的资产制作量在虚拟拍摄阶段大概是实际制作量的1/5,视效镜头量大约是实际制作量的4/5,所以初期拟定分包计划的时候,需要总监和制片结合对影片的理解和多年从业经验进行预估,并且将影片从场次、效果等维度进行分类,再根据分包方的擅长和特点进行筛选、敲定档期,沟通效果及预算,结合徐总及片方的意见各种排列组合,最终形成5套不同方案供片方选择,联系了近100多家国内外分包方,就效果、预算聊一轮下来,1-2个月就过去了,这中间还有资产、设计等等已经开始推进的工作同步进行;
那时候视效总监、视效制片团队常常为了分发物料、和国外团队会议沟通搞得24小时连轴转,并且这里面还有很多很多的不确定因素,需要反复进行确认与核实;事实证明这个阶段为后续所有工作夯实了坚实有效的基础,视效规模化生产的思路也在不断沟通的过程中逐步成型;
资产筹备&设计细化:
这个部分聊聊行星发动机资产细化,开篇建制绕行发动机那段戏,徐建总在发动机资产已经细化2周左右后,提出应该重新在设计上做调整,以满足影片在开篇带给观众的临场感,他当时给我们发了一段文字:“我们要是有能力把它做到我们的创作能力上限就应该做”,魏明总半夜开始重新调整设计思路,他的回复也特别记忆犹新“完全理解,一起加油”,制片部门此刻需要做的就是资源调配,通过人员调配、优先级调配、非master镜头或资产调配等方式进行制片管理,因为这个项目是《流浪地球2》,在我们每个人心中承载的“使命感”大于一切;制片信任视效总监对于影片的理解、对于科幻作品的要求,在这种时候彼此的默契无需过多的言语,“干”就完了;
流程搭建:
项目初期,CG总监、TD总监、制片TD总监、IT总监、各部门Leader需要针对《流浪地球2》定制一整套软硬件流程方案,并且通过半年甚至更久的时间迭代测试已满足实际制作,同时在制作过程中出现资产交互的疑难杂症、流程上的兼容问题、文件管理、版本管理等等,都需要全流程通力解决,这块未来可以请技术大牛们展开讲讲,很多需要攻克的难题是这么多年第一次遇到的,好在我们都一一克服了;
3、后期制作
创作与执行,平衡创作与执行:地球2的整个制作过程是逐步创作的过程,虚拟拍摄相当于打了一遍草稿,实际拍摄并非完全对照虚拟拍摄是二次创作的过程,实拍完成后剪辑调整又是一遍一遍尝试和创作的过程,视效的工作需要围绕并配合展开,由于直接对接的分包方达20多家,每一次调整,都涉及到物料分发、效果沟通、周期梳理、商务调整等等一系列操作,由于项目前期基本确定了整个workflow。
more内部的视效剪辑部门可以很快进行响应,基础工作和总监效果会议可以同步展开,极大的节约了沟通时间,当然也还有进步空间但是面对这么大体量的项目来说,目前为止我们做的还不错;平衡效果与周期:打个比方关于月球太阳风暴的效果,特效部门做过一些效果尝试始终都觉得差点意思,魏明总考量再三,觉得需要一个视觉奇观才能将危机更好的展现才能完成该段落该有的情绪表达,但那时候距离交片仅剩40天左右,为了匹配周期,魏明总带着概念设计团队快速出了大量气氛图用于与导演进行沟通和调整,同时效果测试、分包方沟通等也同步开展,最终得以保质保量完成交付,制片部门则需要针对效果找到合适的分包方案,尽快进行测试已满足效果要求及交付周期。
洋洋洒洒写了这些,发现总结起来 信任、热爱、使命,是促使我们扛住压力并最终完成的核心要素,希望我们的努力和付出大家喜欢。