基于前沿科技，融创虚拟团队实现Mini星球大战，开创VP新篇章
越来越多的虚拍影片将Virtual Production（虚拟制片）推向了广阔的影视行业，在疫情之下，LED虚拟拍摄成为了电影工业不可或缺的全新制作方案。
融创文化成立了虚拟制作团队，主要业务包括：为影视客户提供视效、设计、previs 和 post-vis及动画服务，作为国内虚拟拍摄的制作团队，融创文化携手众多科技领域的金牌供应商，致力于建设国内高标准LED虚拟制片全案流程，更专业的服务于行业客户。
就目前来说，虚拟制片是一种电影制作方式，它结合了许多前沿技术如DXR实时渲染（大于等于30FPS的渲染速率），学术上说，虚拟制片是一系列革命性的制作技术。
虚拟制片可能会应用于pitch-vis（动态分镜）、shot-blocking（镜头分解）或者是VFX
Previsualization（视效预览），主要是在虚拟世界里像游戏一样“make a movie”。
shot-blocking（镜头调度/分解）
随着GPU（图形芯片）全面转向异构集成架构，如NVDIA CUDA+RT CORE+TENSOR CORE=RTX/DXR pipeline（光线跟踪渲染管线），在硬件光追和DLSS（深度学习采样）的加持下，GPU现在可以以过去数十倍的渲染速度来生成三维环境的全局光照（GI）信息，实时的产生出非常真实的三维环境。
再次凭借AI芯片的低精度的强大算力，LiDAR（激光雷达）将扫描到的实体道具或场景，置换到三维环境中，借助LED屏幕，这些LED屏幕内的三维场景和真实的美术置景都将对被摄人物主题产生非常真实的光照和反射，极大程度的提升了拍摄现场中摄影机拍到的画面真实程度，因此，LED虚拟拍摄又被称为“in-camera-compositing” of VFX（镜头内视效）。
In-camera VFX也被称作Final pixel，VP Set-up一般包含四个工程结构：
Development（Pitchvis with Virtual Art Department）,
Pre-Production（Techvis）,
Production（participation Onset）,
Post Production（postvis）
利用AR做Techvis
以上图为例，DP（摄影组）将已经扫描好的卡车三维资产借助AR的技术投射在LED屏幕前，DP则可以通过来回走动获得Onset环节中要拍摄的镜头预览，并与VAD和置景、导演等沟通具体的镜头呈现细节，在LED虚拟制片过程中，Techvis则至关重要。
VP（虚拟组）一般会提前检查虚拟地平线（LED显示的实际地平线），确认真实有机物（如植被）和虚拟有机物的差异，还有虚拟色彩列表（Colorchecker）。
Colorchecker
后期处理中，有两个LED的显示问题是值得我们去关注的，包括Motion Blur和Double De-Focus，在以Unreal为代表的虚拟制片系统中，nDisplay关闭了LED的运动模糊后处理效果，所以前景中，尖锐的物体往往不适合出现在快速的镜头中，这会导致画面看起来断断续续，通常地，我们采用虚化背景（De-Focus）的方式来减轻LED背景没有运动模糊的问题。
虚化背景（De-Focus）有时候会产生错误的景深效果，比如物理镜头的实际焦点应该在虚拟背景中的一块石头前，但是整个背景却已经都虚化了，所以要实现计算好实际需要的景深范围，根据需要的景深，来确认虚拟背景后焦平面，整个过程叫做Double De-Focus。
融创文化VPr团队 De-Focus测试
融创文化VPr团队经过认真调研，选择了微缩模型的方式来测试LED虚拟制片的实际效果，实现了mini版本的星球大战DEMO，微缩模型的优势在于不用严格定义虚拟地平线，可以比较方便的调整物理实景和虚拟景观的位置，另外，微缩模型离LED屏幕更近，我们知道与光源距离增加光强则衰减的越厉害，更近的被摄距离可以产生更好的反射和光照效果。
融创文化VPr团队 虚拟地平线测试
在pre-production的环节中，Camera Blocking（镜头调度/分解）也是极其重要的环节，我们要对每个镜头提前做好分解规划，测试它实际看起来的效果，DP（摄影组）要给出符合透视科学的镜头画面，以便保证每个镜头的最终完成度。
Camera Blocking previs（镜头调度/分解预演）
Virtual Scouting（虚拟勘景）是保证LED屏幕和物理实景完美衔接的重要方法，这里主要是AR/VR技术的使用，首先是通过LiDAR等快速扫描方式，实现对物理实景的完整扫三维扫描重建，也包括数字人（Virtual Human）的动捕实现，在一个较大的光学动捕影棚中，我们将率先完成Camera Blocking（镜头调度/分解）的全部内容，由于我国缺少传统特效的历史经验，因此对于国内影视团队来说，应该认真选取拍摄题材，较高质量的完成物理实景和其数字孪生，在Virtual Scouting（虚拟勘景）环节反复观察，寻找最佳的虚实分界线。
VR主要是帮助团队预览虚拟场景的效果和物理实景的关系，通过AR技术在LED屏幕前重现物理实景，主要是确认其物理实景的实际效果是否和Camera Blocking（镜头调度/分解）匹配。
Virtual Scouting（虚拟勘景）
LED屏幕与实景分界线处，可能会出现以下几个问题，他们大多是由于重叠（Overlap）引起的：
1.滑动（Slipping）：摄像机在垂直轴运动时，虚拟物体会产生滑动，彷佛掉到地平线下面去了。
- 比例问题（Scale Issues）：虚拟物体的比例和真实物体不一致，摄像机跟踪的时候，虚拟物体的移动速度和真实物体不一致。
3.视差问题（Parallax Issues）：如果设计的虚拟物体在虚拟空间的Z轴上超过了LED屏幕，就会导致摄像机跟踪移动的时候，这部分景物的移动速度变慢，与实景产生一定的时差。
虚拟物体不应该超过LED屏幕在虚拟空间中Z轴的位置（虚实空间一致性）
相比于传统的Greenscreen绿幕合成后期方式，LED虚拟制片的所有虚拟景物都是CG环境，像传统流程中还有很多matte painting（数字绘景）的后期合成制作方法，而虚拟制片则大幅度减弱后期要处理的内容，使得现场样片成为可能，在实时渲染能力的帮助下，团队们可以顺利在Onset的时候即可以随意调整灯光、虚拟背景和更多本来会在后期才完成的内容。
后期前置是虚拟制片的核心优势，但是这就必须要求团队有着充足的前期准备，清单革命则为整个团队提供了强大的列表信息，在复杂紧迫的Onset过程中，团队可以快速查找已经开发的资产和虚拟镜头效果，为团队快速提供可以实施的ABC执行方案。
List对Onset环节至关重要
有的时候为了制作更大景别的全景镜头，VP（虚拟部门）必须扫描并重建高质量的实景道具，这主要借助Photogrammetry（摄影测量）技术，如RealityCapture APP，被三维重建的虚拟资产在很多时候都有助于增加虚拟场景的细节。
使用2000张照片重建的卡车高精度模型
In-Camera VFX的硬件条件主要是HPC（高性能计算），我们也可以从硬件标准（CPU\LED）来了解LED虚拟制片。
CPU是整个实时渲染过程中的管理者，实时渲染的预置数据（数据接口得到交互信息如Camera tracking）依然由CPU在内存中管理并分发给GPU执行，再以虚幻引擎为代表的虚拟制片系统中，Unreal官方给出了最低3.0Ghz的CPU主频和最少64G B DDR-4内存的基本要求。
为此，我们选用AMD Ryzen™ Threadripper™ PRO 3955WX 作为虚拟制片系统中实时渲染节点的CPU，该CPU支持PCI 4.0和DDR4，最大加速时钟频率最高可达 4.3GHz，PCI 4.0 with X16可以提供最高达64GB/S的统一内存带宽，为CPU向multi-GPU传输几何体（Geometry）数据提供高速接口，在GPU实时渲染时，大幅度提高篇对场景文件的加载和修改效率。
此外，线程撕裂者PRO（Threadripper™ PRO ）支持多达128条PCI总线，可以更好的支持NVMe（允许SSD使用PCI协议传输数据）SSD，使得Unreal等DCC（数字内容生成软件）运行时，可以更有效率的加载缓存文件比如Virtual Texture（虚拟纹理）。
基于Tile/page分割的可渲染动态加载纹理技术
3955WX不仅主频高，核心数更不少
128条PCI总线配备512bit位宽，提供了惊人的256GB/S峰值I/O带宽，Threadripper™ PRO 3955WX在读写性能上分别提升了86%和58%（与同级别CPU对比），是目前I/O最强的桌面级CPU。
在LED方面，我们则选取了HDR标准的LED屏幕作为虚拍屏幕。
HDR LED
HDR：HDR的标准是50FPS@UHD，DCI-P3@D65色彩空间（10-12bit），1500nits（PQ/HLG）亮度以上，100万：1的动态对比度。
人眼可以比较轻易的区分出sRGB色彩和P3色彩，现实物体的色彩范围大约为rec.2020，LED过少的色彩会导致前景背景的分离。
高阶灰度让LED的色彩过度更加细腻，1500nits大约是一般光源的亮度，在摄像机不过曝拍摄的前提下，PQ/HLG曲线将给LED显示带来更加真实的动态范围，更高的对比度对高反差虚拟背景有着更好的显示效果，让黑色更黑，白色更白。
动态扫描：LED通过高达3840Hz的刷新率分为12/16等扫描方式，拍摄中出现扫描线主要是因为快门没有同步，采用快门同步的LED处理器便可以解决这个问题。
摩尔纹：主要由光的干涉导致，被摄距离、镜头分辨率、LED间距的某种组合会形成摩尔纹，一般减少LED间距，增加拍摄距离可以解决。
过热：LED在过热的时候会降低亮度，影响色彩，需要处理器动态校正。
以上就是BaseFX（融创文化VPr团队）关于LED虚拟制片的技术分享，谢谢大家!