拿下80% 市场份额后,国内首个虚拟拍摄整体解决方案能改变行业格局吗?
虚拟拍摄在国内火吗?毫无疑问非常火,产学研各界都在跟进这一能为影视制作带来全新流程的解决方案。但是我们也不得不面临国内电影或者剧集的拍摄依旧鲜有类似《曼达洛人》的成功应用案例的现状。
造成这一现状的主要原因有两个,一是数字影棚的使用成本居高不下,二是有成熟经验的虚拟拍摄人才少之又少,二者陷入恶性循环。
这种看似“无解”的情况,需要一个“破局者”。今天要给大家介绍的帧享数字化制作就在这样的一套解决方案。最初,为了让剧组逐渐接受在LED屏幕前的拍摄方式,帧享数字背景拍摄方案瞄准窗外景和车拍戏份,取代了传统的绿幕拍摄,既降低了拍摄成本,又提升了视觉效果。经过上百的影视剧项目的打磨,终于沉淀了一套规范化的拍摄制作流程。凭借丰富的LED数字背景拍摄的实战经验,为之量身定制的软硬件设备,以及不断累积的数字资产库,帧享牢牢占领了这个市场80%的份额。2020 年,首个帧享数字影棚问世,率先在综艺、栏目录制、广告、发布会等领域使用XR 虚拟拍摄方案,同时开始探索中近景虚拟拍摄在影视级项目中的运用。
就在今年,全新的帧享数字影棚在北京朝阳区落地,占地超过4000平米,共有四个棚,服务能力覆盖3D、XR、动捕、绿幕等。
在上周的金鸡电影节中,帧享宣布其已经进入“虚拟拍摄整体解决方案2.0时代”。在1.0时代中,帧享凭借预算节约超过50%、拍摄效率提升30%的硬实力,从行业痛点切入,拿下了国内LED数字背景拍摄方案80%的市场占有率。
进入2.0时代,帧享创造性地提出了“虚拟拍摄OS”的概念,将方案设计、数字资产制作、软硬设施配套、现场技术服务等环节的参与者通过技术规范和服务流程无缝串联起来,为影视虚拟拍摄提供一站式服务。
所以帧享的技术和商业路线会是“真香”吗?它能改变国内现在虚拟拍摄的现状和格局吗?作为一直关注国内先进影像技术的影视工业网,自然少不了对帧享的关注和采访。
Step1
率先打造行业内整体解决方案服务商,成为“隐形冠军”
影视工业网:帧享是怎么走上数字化制作之路的?
许佳:几年前占我们业务量最大的是剧集制作,那时候就开始尝试用 LED屏幕代替绿幕,做窗外中远景和车拍的数字背景。现在我们的LED数字背景拍摄方案在剧集制作市场覆盖率有80%左右。
从今天来看,这个技术已经比较成熟,但在我们刚开始做的时候不是这样的。当时没有专门用于影视制作的LED屏幕,大多数剧组用的是以前做商业广告、舞台、综艺、大型活动用的屏幕,那时候整个控制系统也是为了这些功能去设计的,导致在内容呈现上,长期存在色阶、色偏、摩尔纹等问题。这样的方案只能说能用,绝对谈不上好用,因为它本身的功能定位就不是影视制作。
后来我们就和屏幕、播控系统等厂商合作,发挥各自优势。我们和行业领先的屏幕厂商利亚德合作打造影视级的专业LED屏幕,目前我们运营超过3000平米屏幕,可以满足不同大小、角度、场景的使用。高分辨率小间距的LED屏幕,会带来更加细腻写实的画质呈现,而且屏幕色域覆盖率超过99%,能够更为真实地还原色彩,实现导演和摄影的艺术创作。另外,我们和澜景合作共同开发播控系统,在这之前澜景在影视领域涉足不多,所以也就不知道制作端有什么样的需求。我们一起合作,帮他们把导演和摄影指导需要的功能整合在一起,推出了定位在影视制作市场的帧享版播控系统。
这套播控系统解决了 8bit LED 屏幕在拼接处容易出现的色阶断层问题、LED画面色彩与真实色彩存在的整体和局部色彩偏差问题、摄像机拍摄LED屏幕会显示出的水波纹一样的摩尔纹问题,现在行业里普遍使用的都是这套播控系统。以色阶为例,以前解决色阶问题只有用10bit 的屏幕,但是相比 8bit 屏幕它成本要增加5-6倍,这是很多电视剧剧组无法承受的。所以我们通过自研的一整套编码和算法,让 AI 先判断数字资产里容易出色阶的局部内容,然后用特殊的方法转码,所以就既能保证文件体积足够小、码率足够高,还没有色阶问题,所以基本上经过我们数字资产平台转码的资产没有色阶问题。
影视工业网:帧享强调的“整体解决方案”与“虚拟拍摄OS”,应该怎么理解?
许佳:提到整体,一定是数字资产、软件能力、硬件设备、服务团队、标准化的机制都有完整建设的,帧享在进入这个行业之后,结合导演、摄像等很多角色的需求,打造了一套从前期方案设计、数字资产制作与复用、到屏幕搭建与硬件设备测试、包括现场服务与技术支持团队,一套全流程一站式的解决方案,这在国内是比较领先的。这里我们的独家算法能够实现帧享生态下多品牌、多种类软硬件的协同时间、空间和色彩校准,相比业界平均水平提效50%,这点是比较领先的。
展开来说,数字资产作为整套方案的核心,我们做了重点的打磨。目前帧享数字资产平台上累计有超过2000条上万小时的2D视频素材,内容覆盖各类街景,标志性建筑,自然景观在不同季节、天气、时段的视频片段,能够满足大部分拍摄场景,都是经过了帧享实验室独家标准化流程,全部采用AppleProRes422高质量编码规格,内容质量和播放效果能够得到保障。并且在使用之前,还会经过一道云端预处理,完成去色阶、降噪等一系列画质增强处理,极大程度上降低与硬件性能的要求,针对数字资产做的一系列优化,都是为了保证最终拍摄现场的稳定性与效果。
帧享数字资产平台
影视工业网:帧享的LED数字背景方案,对现场拍摄还有哪些提升?
许佳:在现场拍摄的过程中,由于LED数字背景与现场搭建的实景、布置的灯光一起构成拍摄场景,但数字资产因为制作周期长,需要在现场实景和灯光布置前就完成数字资产的制作,这样带来的问题是制作出的数字资产与现场环境在亮度,色温,色调等方面可能无法完全匹配,重新制作或通过达芬奇等后期软件对数字资产进行调整,需要一定的周期,会严重影响到拍摄进度,而通过调整现场灯光来匹配LED数字背景又会导致视觉效果的妥协,降低内容的品质。
帧享LED数字背景拍摄方案,通过提高硬件设备运算能力、优化图像处理算法,使播控服务器在播放数字资产的同时能够进行实时后处理,实现根据现场环境对数字资产进行实时调整。通过iPad远程控制终端,能够对LED屏幕阵列内容进行智能的进行区域分割,针对每一块区域,进行独立的亮度,色温,饱和度,色相,以及自定义Lut的调整,且这些调整都可以随着时间的推进而渐变,通过以上调整,不仅能解决数字资产与现场环境不匹配的问题,还能给导演更多的创作空间。
影视工业网:LED数字背景拍摄比较代表性的项目有哪些?
许佳:其实现在市场上大部分电视剧、网剧的 LED数字背景拍摄都是我们做的,最近的比较受关注的一个剧叫《点燃我,温暖你》。
对比绿幕合成,只要达到一定拍摄量,使用LED 拍摄在成本上能便宜1/3,这还不算拍摄效率提升节省的成本。国内剧集一般一天能拍 3-5 页,使用 LED 方式拍摄的剧组可能一天能拍 7 页左右。
整个拍摄过程中的效率提升的非常明显,演员的时间、住宿都能省下不少成本。如果是拍车戏,实拍的路段很难协调,而且要拍演员的不同景别要拍好几遍。现在拍起来就很简单,而且有实时的光线反馈。
图中窗外景、车戏均使用帧享LED数字背景方案拍摄
Step2
软硬件平台双管齐下,拓展XR虚拟拍摄业务
影视工业网:剧集的数字背景拍摄应该都是去对应项目的现场,决定做你们自己的数字摄影棚是怎么考虑的?
许佳:第一个棚是 2020 年建好的。在这之前我们做了大量的调研工作,得出的结论就是照搬好莱坞那一套行不通。因为国外这些方案的流程、价格和适用性在国内都水土不服。
近期我们落地了一个面积更大的影棚,面积超过4000千米,能够满足不同技术要求、不同成本的拍摄需求。
所以为什么要建自己的影棚?我们首先考虑的是价格。《曼达洛人》确实是一个很好的尝试,但总体成本都比较高,所以从应用上对于国内没有太多可借鉴的地方,但是证明了这个技术方向是可行的,问题是如何把成本降下来。
其次是国内电视剧的流程很难支持这套方案,我们经常都开拍了剧本还在修改,剧本都没定没办法后期前置;第三个就是国外数字化制作的基础特别好,底层pipeline比较规范。我们可以把方案很好地模仿过来,但是没有底层的 pipeline 就很麻烦。比如现场想修改一个资产,改不了,要拿到后期去修改和重新渲染,出结果都第二天了。我们认为数字化制作最大的优势在于效率,它集合了实时性和灵活性,这个问题解决不了就谈不上数字化制作。
所以当时就觉得照搬过来比较困难,一个单点的技术没办法转化为制作工具,还是要有一个整体解决方案,这方案依托pipeline作为基础设施打通才有效果。
好在我们一开始就认定数字化制作不是一家公司可以搞定的事情,我们决定依托自身的项目资源、研发能力,并借助合作伙伴们的优势,搭建一个自己的数字制作棚。这既是拍摄基地,也是我们的研发和实验平台,这对我们数字化制作方案和数字资产平台的推进帮助非常大。
影视工业网:帧享现在的合作方都有哪些?
许佳:我们建立了一个合作伙伴计划,大家能在这个计划里发挥自己的优势。我们跟利亚德合作定制 LED 屏,跟诺瓦合作硬件播控处理器,跟澜景合作播控处理器等等。此外,还有很多视效公司的合作伙伴帮我们做服务,我们自己有 80 多位算法工程师、UE 工程师。
我们这个计划里有做硬件的有做软件的也有做服务的,都和我们深度结合在一起,一起让技术和流程更符合项目需求。而且很重要的是不能只是生生地把几个不同厂家的产品拼在一起,他们之间的兼容性不太好,出了问题可能会互相踢皮球。现在我们整合起来后一旦出现问题我们能精准定位到是哪儿出了问题。
比如曾经有一段时间,前面提到的色阶问题在不同的项目里有不同的效果。检查后发现是一个硬件导致的问题,那个厂商的算法和我们的算法有冲突,最后沟通解决了。所以说整体解决方案一定要是一个非常完整的链条,任何一个环节出了问题,其他部分做得再好,结果都会大打折扣。
影视工业网:在这个棚里拍摄的最火的一个XR项目好像是跟国家大剧院合作的一个项目。当时是什么样的合作契机?
许佳:当时是国家大剧院建院十四周年,想探索线下内容的线上化。因为他们有大量优质线下内容,但是因为疫情等原因导致线下内容观众有人数限制,他们想尝试制作线上舞蹈节目。刚好我们有技术,双方就合作了。最终大剧院对节目效果挺满意的,各个渠道观众的反馈都非常不错。艺术家们也觉得这种方式挺好,他们以前需要用很抽象的舞蹈动作去告诉观众他们想表达的是什么,现在的表达更直观。
帧享数字影棚-国家大剧院宣传视频
影视工业网:这套方案和虚拟拍摄以及央视春晚用的数字技术,有什么不一样的地方?
许佳:现在影视剧里的虚拟拍摄,都是用UE生成的三维场景去做中远景,所以摄影机拍摄的画面不能超过 LED 的范围。我们是利用XR技术在原有 LED背景的基础上加了一个扩展层,哪怕摄影机拍摄的画面超出 LED范围也不会穿帮,因为 LED 以外的范围都被扩展层覆盖了。我们还可以再叠加AR 前景层,这样前景层、演员表演层、LED 背景层、扩展层一共有四层。
这个技术的难点就在于,无论你的机位在哪儿,要始终保证这四层都能完美拼在一起,而且透视关系正常。以前很多晚会是用 UE 做背景,但前景是后期叠加图层的效果,我们是实时的效果,演员能看到自己所在的空间。比如演员要跳来跳去,他知道自己的位置和要跳过去的位置和时机,有地屏就能很好地辅助演员的表演,这是以前绿幕拍摄做不到的。
这套技术拓展了很多表演可能性,而且拍摄效率非常高,可能半天就拍完了,最花时间的是创意的确认。我们可以根据项目改屏幕的搭建方案,有了扩展层之后,空间可以无限大,屏幕的大小取决于演员的数量和活动范围。
影视工业网:为什么国内现在虚拟拍摄更多用在综艺、广告、演唱会或者发布会这些领域?
许佳:不论是演唱会还是广告,观众都知道这不是真的。但是影视剧的要求就是不能让观众觉得这是假的。雪山前就得让观众觉得是在一座雪山前,在一个办公室里就得让观众觉得演员真的是在办公室里,甚至不能让观众觉得办公室是搭出来的。为了追求这种真实感,影视剧的场景就会更复杂,这里面的难度是不可同日而语的。灯光、虚拟场景、现场置景这些东西都能结合在一起形成一个整体,然后还得让观众觉得都是真的。
Step3
完善数字化制作平台,向影视级虚拟拍摄出发
影视工业网:你们一直在说的是数字化制作而不是虚拟拍摄,为什么?
许佳:一开始公司内部也这么问。我们认为虚拟拍摄是数字化制作的一个环节,我们除了虚拟拍摄服务,还推出了行业内首个LED数字资产平台。虚拟拍摄非常依赖数字资产,没有数字资产平台可能很多剧集项目都用不起虚拟拍摄,电影项目可能好一些,但是能用的资产也很少。时间和预算都不允许大家自己搭建数字资产,原有的制片流程也支撑不了。
其实虚拟拍摄也绝不是一个方案,它要有一整个pipeline去支撑。从刚开始的资产制作,然后私有化上云的编辑,再到LED拍摄的现场技术服务,都在我们的整体方案里。我们都是在项目上不断累积经验,不断地去调整,尽可能满足用户需求。
影视工业网:想达成影视级的虚拟拍摄,国内还有哪些关卡?
许佳:从执行层面来讲,首先虚拟棚的成本就比较高,人才的储备和市场的认可都有待解决。另外,没有真实场景和环境的方案也没有办法进行迭代和更新。因为都不知道问题在哪,没有验证的环境。作为一套数字化制作整体解决方案来讲,牵扯到软件、硬件和服务几大方面,这不是说一个公司就能做好的。而且方案越复杂,需要集成更多的力量,协调好后让大家在这个方案里发挥各自的优势,这也是目前限制虚拟拍摄普及的一个原因吧。比如说播控服务器和屏幕已经做的很好了,但是连接播控服务器和屏幕的播控处理器出现问题了,那可能最终就整体的效果就不好。这就要求整个链路里每个环节都做的很好才能保证最终有一个稳定的、好的结果。
现在国内虚拟制作实际的应用案例并不多,因为很多主创满怀期待看虚拟棚,但是一看简单的展示和场景条件,肯定不能匹配现场制作的复杂程度。这也是很多导演、摄影指导在看了其他公司的展示以后,下不了使用虚拟拍摄方案决心的原因之一吧。
从整体解决方案角度来看。我们觉得有责任、有能力去推动这个事。我们一直在业务一线,而且有全局的视角和平台。现在从事虚拟拍摄相关工作的人或者公司都认识到了要去推动这个事,但是很多推广的过程也只能给导演或者摄影指导做一些简单的展示。我们整个的方案都是以在项目上不断应用、不断迭代为基础,离项目一直很近,所以更能增强导演和摄影指导的信心。
影视工业网:您的团队和其他国内虚拟拍摄团队有什么不一样的地方?
许佳:我觉得我们认识行业的视角更全面一点。比如说视效公司可能更偏后期,大多数时候接触的是视效总监,不一定都能理解导演和摄影指导的意图。我们了解主创,了解硬件厂家,也了解软件的能力,要有一个全局一点的视角和更复合的集成能力。
能把不同资源整合起来也是因为我们有行业号召力,我们建立了一个庞大的生态一起来干这个事,大家肯定都有各自的优势和短板。我们看的比较全,所以知道谁擅长什么谁不擅长什么;我们也能很全方位地认识一个主创的需求,而不是说从某一个角色的视角去看这个事。当你从某一个特定视角去认识一个问题的时候,有时候就很容易变成了盲人摸象,这对于一个产品来说或者对于方案来说挺致命的。
影视工业网:你们的技术优势有哪些?
许佳:研发的独家功能和整体的方案成熟度吧。当功能和性能跟其他产品拉不开差距的时候,就只能去打价格战了,这对行业并不好。所以我们就是要有一些独家功能,在整体效果和呈现上跟其他的方案拉出差距来,这样才能更好地支持更多合作伙伴把这个事做的更好。
目前,比较成熟的有我们的LED数字背景方案,这是现在市面上唯一能够保证使用 8bit LED 屏幕不会有色阶和频闪问题的方案;第二个是我们的数字资产平台支持现场实时调整;第三个就是我们的方案稳定性。
我们有自己的数字资产制作工具和数字资产制作平台,整套方案也都是打通的,所以我们能最大程度地确定方案的稳定性,确保每一个环节都做正确的事、发挥应该发挥的作用,因此在拍摄现场就能发挥出最好的效果。现场的摄影系统、数据资产、播控等每一个环节都符合我们的标准和要求,这样我才敢跟客户说可以用这套方案。比如方案再好但是用的人不会用,它的效果也不行;用的人会用了、方案也很好,但是数字资产有问题也会导致系统崩溃。所以我们目前是唯一一个整体解决方案。
影视工业网:今年你们有哪些规划?或者什么时候有一个比较立得住的项目会出来?
许佳:我们觉得就在今年吧,会重点推进影视项目的虚拟拍摄业务,希望能有一个非常稳定、兼顾成本和效果的方案落地。我们觉得整合多种创新技术的整体解决方案才能够解决应用层面的一些问题。所以随着面临的问题越复杂,你可能需要整合的技术就越多。这也是为什么我们立志于要打造“帧享虚拟拍摄OS”,与产业链上的各个合作伙伴紧密合作,打造一套真正可以在大型影视项目中落地的虚拟拍摄解决方案。
我们在北京新建的数字影棚,我们定义这个棚它既是一个制作平台,同时是一个研发平台,也是实验平台。肯定不是完全面向公司内部,也对外部开放。我们坚信这个数字化制作方案不是一个公司可以做成的,尤其是应付更复杂场景的时候它需要叠加更多新的技术,通过整合去实现更多的功能。所以我们很欢迎在这方面有技术又愿意努力探索的公司来合作,我们有影棚、制作场景、项目,欢迎大家来跟我们一起进行更多的尝试和实验。
同时,为了能够帮助和扶持数字化制作在行业内的普及和应用,在金鸡电影节上,阿里影业与NVIDIA英伟达、虚拟动点、秀狐科技等虚拟拍摄行业的合作伙伴们,联合发布幻影未来虚拟拍摄计划,面向年轻导演、制作人,开展虚拟拍摄人才培训和人才扶持。
END
为什么要登山,因为山就在那里。
对于国内制作市场来说,使用成熟的虚拟拍摄解决方案来完成创意的落地和成本的降低,就是一座山峰。
为了完成这次攀登,不同的公司选择了不同的路线。帧享作为一家处在剧集制作一线的公司,选择了攻克LED 数字背景拍摄和 XR 虚拟拍摄两个大本营、再向顶峰发起冲击的路线。这样的方式让他们一边盈利一边持续通过反馈积累经验和团队,同时也避免了直接冲击顶峰带来的体力和财力不支的问题。帧享是否能为这个变革加速、是否能改变国内虚拟制作的格局还未知,但是这些探索都是非常宝贵的经验,也给大家带来了新的思路和思考。
或许我们正处在行业制作流程变革的前夜,期待各方在峰顶的成功会师。