动作捕捉凭什么成为虚拟制片的关键要素

2023-03-06 11:09


之前的虚拟制片系列文章分享中,介绍了虚拟制片技术、VP与传统VFX的差异,以及四种主要的VP类型,今天让我们进一步走进虚拟制片,探讨为什么动作捕捉能够成为VP流程中的关键要素



动作捕捉技术

动作捕捉是虚拟制片的关键技术之一,它可以将生物或物体在现实世界中的真实运动转化为虚拟世界中的数字化运动,这一技术在可视化和实时制作中尤为重要,可以说动捕技术的应用使人和物体运动的实时可视化成为了可能。


除了人、动物和道具的实时运动捕捉,虚拟制片中的摄影机追踪也是通过动捕技术实现的。将动捕系统获得的实拍摄影机位置数据实时传输给虚拟摄影机,就可以实现虚拟摄影机和实拍摄影机运动的实时匹配,从而在拍摄现场完成镜头画面的实时渲染与合成。


动作捕捉的方法

追踪方式的角度来看,动作捕捉可分为由外向内的跟踪(Outside-in)由内向外的跟踪(Inside-out)两大类。


由内向外的跟踪是指通过在人或物体上放置传感器来跟踪人或物体的运动,动作捕捉是通过传感器“向外看”来调查环境并计算位置变化而实现的。不同的应用场景下有不同类型的传感器,最常用的由内向外的跟踪传感器包括摄像头、红外 (IR) 激光器和惯性测量单元 (IMU)。



由外而内的跟踪是在指定的捕捉区域周围放置一定数量的传感器(通常是摄像头),并让传感器朝向“被捕捉”的空间以创建用于动作捕捉的舞台来跟踪演员或物体的跟踪方法。动捕摄影棚可以选择使用各种不同的传感器来实现捕捉,但是,多数动捕摄影棚都会选择使用精确度更高的光学动作捕捉相机




大预算的虚拟制片项目几乎都是使用光学动捕系统来跟踪摄影机、道具和演员运动的。通过动捕相机通过采集粘贴在演员或物体上标记点的反射光线,经由动捕软件实时解算,获取标记点在3D空间中的位置数据,从而得到演员和物体在捕捉区域内的运动数据。



捕捉方式的优劣势

这两种类型的跟踪各有其优缺点,实际应用中,选择哪种捕捉方式取决于具体的项目需求。


对于大型制作项目,选择由外向内的跟踪才是明智的。因为它可以更加精准地确定捕捉对象在现实三维场景中的位置。而由内向外的跟踪在位置方面的精准程度较低,很难验证精确的世界位置。基于 IMU 的跟踪系统更是如此,因为它们受位置漂移的影响很严重。漂移是加速度计和陀螺仪测量中的小误差积累,这些误差会随着时间的推移而不断积累,导致软件对演员或物体的测量值不断“漂移”和远离他们在物理世界的真实对应物的位置。



特别是对于ICVFX来说,误差更是难以容忍的,因为只有对踪摄像机进行更稳定、更精准的跟踪,才能在实际拍摄中保持始终一致的准确视差(视差:从有一定距离的两个点上观察同一个目标所产生的方向差异)。


当然,由外向内的跟踪也会存在动捕标记点被遮挡等问题。但通常来说,标记点在单个摄像机中被遮挡并不是问题,因为动捕系统是由许多不同位置的动捕相机共同组成的,其他角度的动捕相机可能可以采集到这个标记点。只有当少于三台动捕相机捕捉到标记点时,遮挡才会可能成为影响数据质量的问题。因为动捕系统在工作中通常需要三台动捕相机同时对标记点进行三角测量,才能在3D空间中准确地创建该点。



硬件解决方案

为进一步减小甚至消除遮挡问题对捕捉质量的影响,动作捕捉企业已经探索出了一些解决办法


硬件方面,动捕标记点已经被尝试开发为非球面形状,并放置在稍微远离被跟踪演员/物体的位置,这种方法可以使动捕系统在更大程度上捕捉标记点,从而显著减少遮挡。此外,主动发光标记点也是提高对象可见性的有效方法。被动发光标记点是表面具有反光带或反光涂料的标记点,主动发光标记点是内置LED的标记点。通常来说,主动发光标记点在动捕相机内的亮度更高,因而更容易被动捕相机识别到。



最后,不断提高的动捕相机硬件精度和分辨率也大大增加了相机对标记点的有效识别距离。Vicon最新的Valkyrie系列动捕相机拥有高达2600万像素的分辨率和每秒2000帧的高速捕捉模式。


软件件解决方案

动捕软件的发展也是克服标记点被遮挡问题的有效方法。比如Vicon的Shogun软件刚体跟踪模式下,就可以快速自动识别已创建的跟踪对象,并能够在多个标记点被完全遮挡的情况下进行跟踪。这一功能在技术上是通过将多个标记点虚拟连接在一起以形成刚性对象来实现的。如果该对象上的标记(一个或多个)被遮挡,软件将根据剩余标记点自动计算它们的位置。


与刚体跟踪一样,Shogun软件对人体的跟踪也采用了类似的方法。将动捕演员身上按模板粘贴的标记点连接在一起,完成角色建立,软件就可以在标记点被遮挡或掉落时实时自动计算丢失标记点的位置,进而计算身体组件的运动轨迹。


技术+创造力

虚拟制片是技术和创造力的融合。随着实时可视化技术的进一步发展,虚拟制片的表现方式也越来越多样化。虚拟制片技术在主流电影制作中的爆炸式增长也促使越来越多的后期制作流程前置到拍摄阶段,使制作团队可以实时、快速、直观地了解影片创意的制作效果,使拍摄现场更加沉浸、高效



结语

虚拟制片开启全新的创作领域,带来美轮美奂的感官体验。迪生数字,提供提供最前沿的动作捕捉和虚拟制作产品与服务,用技术赋能艺术创作,打造的实时、稳定、沉浸式的视觉效果,助您突破圈层、点燃创意,探索影视制作的无限可能!

本文为作者 迪生数娱 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/147866

迪生数娱

点击了解更多
北京迪生数字娱乐科技股份有限公司,是一家面向国内外数字传媒娱乐市场提供动画内容制作服务、技术服务、产品研发、教育服务和创业孵化的专业企业。迪生人秉承三十年的行业经验,以引进国际先进技术、提供专业技术服务和自主研发作为发展战略。多年来一直专注于为动画、游戏、影视、广电、自媒体等领域,提供动作捕捉、虚拟现实、影视特技、动画制作和技术服务的整体解决方案。2016年初正式挂牌新三板,成为技术优势突出、横跨多数字内容领域的公众公司。
扫码关注
迪生数娱