技术强贴：详解工业光魔动作捕捉神器iMoCap
本文转载已经获得原作者浩子1990的公共授权，请关注作者微博：http://weibo.com/tianhao1990
再次转载，请同时注明：本文转载自人人网“电影特技”公共主页（http://page.renren.com/vfx/note/843064044 )！本文原标题为：详解工业光魔动作捕捉神器iMoCap
iMoCap是工业光魔公司（ILM）在制作《加勒比海盗2》时研发的动作捕捉系统，它与之前的各种动作捕捉系统最大的不同就在于它直接使用视频摄像机，基于图像识别，而且可以在拍摄现场的实景中使用。下面，本文将详细讲解iMoCap的由来、特点、原理和应用。
ILM花絮视频《The Making of Davy Jones》：
一、iMoCap的缘起
iMoCap全称为Image Based Motion Capture，中文译作基于图像的动作捕捉系统，事实上这一技术早已有科学家进行研究，但是真正投入到电影特技的制作中，还是工业光魔研发部门的功劳。iMoCap的问世，得益于一个著名的好莱坞奇幻系列片——《加勒比海盗》。角色和剧情的需要给了工业光魔开发新技术的机会。
在《加勒比海盗》系列的第一部《黑珍珠号的诅咒》中，有一段月光下的击剑戏。由Jonny Depp饰演的斯派洛船长在被巴博萨船长的剑刺中后变成了骷髅的模样，另外还有众多被诅咒的水手变成了骷髅，并击剑混战。当ILM的制作人员读到剧本时，大家都不约而同地立即想到了一部经典的影片《Jason And The Argonauts》（杰逊王子战群妖，1963年），在这部影片中，特效大师Ray Harryhausen使用手工动画制作了著名的骷髅战士的特效镜头，这一镜头在当时达到了电影特技制作的最高水平，并被载入史册，哈里豪森因此也被人尊称为电影特技先驱。
（杰逊王子战群妖）
（特效大师Ray Harryhausen）
而在《黑珍珠号的诅咒》中，情况变得更加复杂，因为导演Gore Verbinski希望达到的效果是即便角色变成了骷髅，观众们仍然可以区分出他们谁是谁；并且，整个战斗场景是发生在晚上，周围还有大量的烟雾，因此对于制作手工动画来说，难度更大，由于剧情中有真人和骷髅的来回变换，所以跟踪匹配也需要达到极高的精度。
（加勒比海盗1中的骷髅）
当时的拍摄过程是这样的：导演Gore在片场指导拍摄背景素材（clean plate），这个镜头里不包含那些骷髅角色，有时候，演员也进入场景中演一遍，但这仅仅是作为参考素材。几周过后，演员们来到ILM的动作捕捉车间（这里尚且用的是传统的室内动作捕捉系统），穿上捕捉服，重新表演他们在片场时所表演的那些动作，也就是为CG制作的骷髅们赋予动作。这个阶段的捕捉工作是由特效总监John Knoll和动画总监Hal Hickle负责的，导演Gore并未在场，结果是，演员们的表现远没有在片场时好，动作和表情怎么也没有在片场那么自如、准确。所以，最终，导演Gore基本上放弃了由动作捕捉得来的那些不合格的数据，而让动画师们根据片场拍摄的参考视频，用手工匹配的方式制作动画。
虽然工业光魔拥有经验丰富、水平高超的动画师团队，但是手工关键帧远没有动作捕捉数据来得方便；另一方面，演员们总是抱怨要在片场和车间里表演两次，而两次均没有互动参照（真人演员看不到CG角色，动捕演员也看不到真人角色，两者无法互动，目光和动作都不准确），所以大家表现的自然很不好。种种因素都指向了一个未来的目标——在片场拍摄的同时进行动作捕捉。
再来看看传统的动作捕捉系统有什么问题。传统的光学动作捕捉系统由于使用特殊的红外线摄影机，因而对捕捉环境的限制很严格，一般都在专门的室内车间完成，并且根据计算机视觉原理，用于捕捉的摄影机都需要精确校准（具体的技术原理将在后文说明），各个标记点间也容易相互干扰，而且整套设备复杂、笨重、昂贵，完全没有办法在《加勒比海盗》那种潮湿、阴暗、雾气蒸腾的拍摄现场使用。
（传统光学动作捕捉系统）
当《加勒比海盗》系列的第二部影片《聚魂棺》制作任务下来时，John Knoll感到了巨大的压力，但也看到了一丝新希望，因为不再有真人个CG角色之间变来变去的镜头。毫无疑问，《聚魂棺》中制作难度最大的角色就是章鱼船长Davy Jones，以及它的那些被称为“水鬼”的水手们。由于角色众多，如果完全使用特效化妆的方法来制作的话，这要耽误很多的时间，并且Davy Jones显然是无法通过化妆来制作的。当Davy Jones的扮演者被确定为Bill Nighy时，导演Gore看到片场上的Bill活脱脱就是Davy的感觉，他希望再也不要使用第一部里那种落后的动作捕捉工作流程。最终，John Knoll向工业光魔的研发部门下达了任务，开发一套可以用于实景的动作捕捉系统，而这个系统，就是如今的iMoCap。2010年，iMoCap的开发人员Steve Sullivan、Kevin Wooley、Brett Allen、Colin Davidson还获得了奥斯卡电影科学技术成就奖。
二、iMoCap的新特点
自从有了iMoCap，之前的那些问题就都迎刃而解了。演员们可以在片场进行表演，而技术部门在这之后能顺利获得演员们的动作数据，不需要他们表演第二遍。iMoCap以全新的方式融入影片制作，Bill Nighy的精湛表演也得以完整地复制到Davy Jones身上。最终，《聚魂棺》里只有Bill Turner采用特效化妆制作，其他“飞翔的荷兰人”号上面的角色全部采用iMoCap技术制作。
（加勒比海盗2水鬼制作过程）
iMoCap与之前的动作捕捉系统不同，不是基于光学（红外线），或者磁场、机械、超声波，而是直接从摄像机拍摄的视频图像中识别人物动作，这一巨大革新使得iMoCap几乎不受环境的限制，只要摄像机拍到的图像具有可辨识性，就可以进行动作捕捉，这也是iMoCap能够被带到片场使用的根本原因。之前的光学动作捕捉系统，由于对红外线的依赖性很高，极易受到干扰，所以一直无法在实景中使用，直到去年，Weta Digital在《猩球崛起》中使用主动式频闪红外线发光二极管，结合蓝牙同步、数据过滤等新技术，才将光学动作捕捉系统带到片场，但是这一系统仍然需要大量的设备，需要在拍摄前专门花时间搭建和校准，因而从使用的便利程度上仍然不及iMoCap，但是捕捉范围和精度比iMoCap要高。
事实上，工业光魔的研发部基于这样一个指导理念：动作捕捉不是100%的解决方案，而只是动画制作的起点。因而对于iMoCap来说，精确度并不是它所特别关注的，轻便易用、机动性能好，这才是它的优势所在。而且，工业光魔希望iMoCap的通用性足够高，也就是说，对片场和演员的限制尽可能少。因此，iMoCap可以使用任意型号的摄像机，不需要对拍摄现场做什么特殊处理，也不需要携带任何其他的复杂设备，随时可以进行捕捉；另外，即便是捕捉中偶尔出现遮挡、跳跃等问题，即便有部分的数据不完整，也不影响整个制作，因为iMoCap的理念就是简化实景捕捉的要求，把处理过程都留给后期工作人员。
iMoCap系统的配置包括带有标记点和标记带的中灰色半紧身捕捉服、几台便携式高清摄像机（黑白或彩色均可，最好是同型号）、便携式三脚架，以及后期处理所需要的专业软件，仅此而已，因而整套系统可以很方便地带去片场使用。不过，在iMoCap使用之前，是需要传统的光学捕捉系统给它帮一个忙的，这将在后面的原理解析中详细说明。之所以使用中灰色半紧身捕捉服，是因为中灰色可以提供较为准确的光照参考，演员穿上捕捉服站在片场里，中灰色衣服上的光照效果就反映了未来CG角色的受光情况，这对于后期制作CG角色时的打光具有极大的借鉴价值，其作用相当于特效部门经常在片场使用的灰度球。其实衣服的颜色应该根据所要制作的CG角色表面主色调来决定，这样才能更准确地得到光照参考。比如在《钢铁侠2》中，Robert Downey Jr和Don Cheadle就分别穿的是红色和灰色的捕捉服，而在《铁甲钢拳》里，替身演员穿的是蓝色的捕捉服。
（加勒比海盗2中的捕捉服）
（钢铁侠2中的捕捉服）
（铁甲钢拳中的捕捉服）
对于捕捉摄像机，iMoCap也没有什么严格要求，少则一台，多则四五台，型号只要是小高清（HDV）就行，并且几台摄像机要是同一型号。在室内场景中，工业光魔会将捕捉摄像机连接到笔记本电脑上，然后使用同步系统同步摄像机的拍摄和参数设置；而在外景地拍摄时，摄像机则会自带电池且不使用同步线，只用三脚架支起来就行。虽然未经同步的几条视频素材在数据处理时会有些小麻烦，但是经过人工调整后，还是能获得满意的结果。
三、iMoCap技术原理
首先应当解释一下，从二维影像中获取三维信息是如何做到的。事实上，单纯地从一幅平面图像中得到三维信息在数学上是行不通的，我们可以借助下图来理解。摄像机成像过程可以看作一个小孔成像过程，现实的场景经过小孔之后形成倒像。这个倒像仅仅只是透镜成像的物理性质所造成，我们完全可以把这个倒像映射到镜头光心的前面，与镜头焦距等同的位置，这和小孔成像的效果是一样的。
（小孔成像模型）
我们选择图像上的某一点，从镜头光心作该点的延长线，那么根据光路可逆原理，以及光线沿直线传播原理，空间中所有位于该条延长线上的点在成像时都会显示为照片上的同一个点。因此，单从一幅图像上，我们是无法得到某一点的空间三维位置的，得到的只能是一条射线。
（二维影像无法直接得到三维坐标）
但是，如果我们在另一角度放置第二台相机，也同时拍摄这个场景，那么从第二台相机拍摄的照片上选择同一个点作延长线，由于这两个点表示的是场景中的同一个点，所以延长线B一定会与延长线A相交，且交点的位置就是图像上该点对应的真实的空间三维位置（两条相交直线确定空间中的一个点）。如果还不能理解的话，再想想光路可逆原理，空间中的一点，它是朝四面八方辐射光线的，现在被两台相机同时捕捉到了，把两条光路反过来，两台相机所作的延长线交点就是空间中的那个点。
（计算机视觉原理）
这就是计算机视觉原理，最少需要2台同步的摄像机，并且两台摄像机要同时捕捉到同样的点，那么就可以计算出这些点的空间三维坐标。由于人体的运动很复杂，身上的某一标记点经常被其他身体部位挡住，所以要想保证每个标记点随时都能被至少两台摄像机捕捉到，我们就需要增加捕捉摄像机的数量，并合理安排它们的布局，这也就是传统的光学动作捕捉系统需要很多台摄像机的原因，事实上多数的捕捉系统要求每个点至少能被4台摄像机拍到。
但是我们面对的问题没有这么孤立，我们需要识别的是人体的运动，而且是从一段连续的视频中来识别，因此这无形中给数学计算加上了诸多的限制条件，使得上文提到的无数种可能性变成寻找一种最大的可能性。人体的自由度有上百个之多，这些自由度之间的组合可以形成不计其数的各种姿态，我们要做的就是在这些姿态组成的搜索空间中寻找那个最贴近于捕捉图像的姿态，以此作为三维骨骼来输出，如果不加限制，要从海量的姿态中寻找正确的姿态几乎是不可能的，好在，已经有专家学者研究出了一些行之有效的限制条件。
人体骨骼可以看作是一个多刚体树形连接结构，也就是说，人体是由多段骨骼按照树形结构连接起来的，一般把腰部作为树根节点，树根节点一般不赋予旋转自由度，而只有平移自由度，那么相对于世界坐标系而言，腰部的坐标就指定了人物所处的位置。而其他各段骨骼的姿态，可以看成是骨骼绕关节旋转的结果，由于树形结构的存在，我们只需要按照从树根到树枝的顺序，依次指定每个关节的旋转情况，就可以得到一种特定的人体姿态。所以，整个人体骨骼的姿态，可以用一个位移向量和多个旋转向量来表示。旋转向量一般用欧拉角表示，也就是大家在三维软件里常见的调节物体旋转的那三个正交圆环，而人体的很多关节并没有三个旋转自由度，比如膝关节和肘关节只有一个自由度（屈伸），而且绝大多数关节的旋转范围都不到180°，所以对于一些具有二义性的计算结果，根据人体的这些解剖学知识就可以判断哪个结果是正确的，哪个结果是错误的。另外，虽然整个人体是一个非刚体，即人体的形态是不断变化的，但是对于每一段骨骼来说，它是不发生形变的，它的长度是固定的，所以，一段骨骼两端的标记点，在空间中的相对距离永远是固定的，这也是一个极其重要的限定条件。
（人体骨骼简化模型）
最后，由于人体的运动具有连续性，姿态不可能有大的突变，比如走路的时候手一定是逐渐往后摆又逐渐往前摆，而不可能突然从后摆变成前摆，因此在帧率足够的视频序列中，根据帧与帧之间的动作相关性，使用当前帧的人物状态来预测下一帧的人物状态，也成为了一种重要的限定条件。有了这些限定条件后，基于单目视频的三维动作重建便得以实现，在此不详述具体的数学计算方法，有兴趣的朋友可以查看本文最后列出的文献资料。总之，我们知道了如何使用先验知识来尽可能缩小搜索空间，剔除错误的结果。
在各种基于图像的动作捕捉实验系统中，根据计算流程可以把它们分成两类：自顶向下流程和自底向上流程。自顶向下也就是从一个骨骼模型开始，让模型来匹配图像中的人物，这个方法可以实现无标记点的动作捕捉；而自底向上则是从图像本身的特征入手，一般要求角色身穿带有特征标记点的捕捉服，然后识别这些标记点，并在整个帧序列中对这些标记点进行跟踪，然后根据上文提到的计算方法来计算这些点的三维空间位置，进而结合人体骨骼结构，生成骨骼动画。这种流程中，特征点的跟踪是核心技术，对于特征点之间的遮挡问题，也有专家研究出了相应的处理办法。而iMoCap使用的是自顶向下的流程，根据上一段的描述，我们也知道了在建立限定条件的过程中，一个正确的人体模型是非常重要的，而iMoCap的工作流程正是从这里开始。
在进入片场拍摄前，先对需要进行动作捕捉的演员进行建模。因为各个不同的人之间，身体骨骼的比例会有一些差异，如果使用统一的骨骼模型的来作为限定条件的话，那么对于不同的演员所拍摄的视频，可能无法解算出正确的骨骼姿态。对演员的建模是在传统的室内捕捉车间进行的，演员们穿上捕捉服（如下图，注意，图中显示演员穿的是iMoCap的捕捉服，而建模使用的是传统的红外摄像机，因此捕捉服上除了iMoCap专用的黑白标记带之外，还要有用于红外摄像机识别的传统的反光球），在技术人员的指导下做一些基本动作，这样对应此名演员骨骼比例的模型就被建立起来了。
（iMoCap前期建模过程）
同时，该骨骼还被赋予蒙皮，蒙皮上定义了一些标记点，这样当我们给骨骼设定一个特定的姿态时，我们可以看到对应的标记点、标记带会是什么样子。而动作捕捉正是做了相反的事情，知道标记点的样子，求骨骼姿态。因此我们看到在建模同时，有两台高清摄像机在拍摄演员，这就是在测试iMoCap系统得到的结果是否与传统的红外动作捕捉系统相一致。
（带蒙皮的演员模型）
前期的建模完成之后，演员就可以穿着捕捉服去片场拍戏了。iMoCap专用捕捉服上的标记与之前的光学动作捕捉系统有些不同，除了胸前、背部和手部使用了传统的反光球之外，其余的关键部位都使用了黑白相间的标记带。这种设计其实在技术上是有其独特考虑的。首先，由于要在实景拍摄的视频中识别出这些标记点，要克服烟雾、雨水、阴影等各种复杂的环境干扰，因而标记点被做得比较大，而且黑白相间，非常显眼，使得其在各种环境下都能比较容易地从视频中识别出来。其次，工业光魔希望最大程度地解放演员的表演，使其只需要专注于自身，而无须担心动作捕捉服对其带来的限制和影响。传统的动作捕捉服使用比较厚的紧身材料，穿戴起来很不舒服，并且球状的标记点也一定程度上影响了演员的动作表演，像《猩球崛起》那种主动发光式的标记点更是要求演员背上背一块电源，身上还要排布很多电线，整个捕捉服显得笨重不便。因此，既然是基于视频的捕捉，那么只要能被拍到就行，所以工业光魔在iMoCap的捕捉服上使用标记带来作为特征。并且环状的标记带还有个巨大的优势，就是减少遮挡，传统的标记点如果到了背面就无法被拍到，但是在iMoCap中，比如手臂上的标记带，不管如何挥臂都总有特征点能够被拍到。而整个捕捉服也由紧身材料改进为半紧身材料，演员穿戴更为舒适，表演也更加自如。
（第九区中的iMoCap捕捉服）
虽然结合各种技术，我们已经可以从单目视频中获取人物的三维骨骼，但是一般不直接使用拍摄电影的那台主摄影机作为动作捕捉摄像机，因为主摄影机不可避免地要移动，要变焦，要改变景别，甚至基于艺术创作的需要，还经常有虚焦的镜头，对于这样复杂的画面，我们需要先解算出摄影机自身的参数和运动，还要考虑景别变化造成的人物影像不完整，以及虚焦带来的特征点难以识别，这些问题都预示着主摄影机是不适合用来做捕捉摄像机的。所以，在片场，除了主摄影机之外，一般都另外架设iMoCap专用的高清摄像机。摄像机的数量根据动作复杂程度来决定，从一台到多台不等，但一般不超过四五台。iMoCap允许使用任意型号的摄像机，但是这几台摄像机最好型号相同，并且支持同步功能。因为人物动作本身的复杂性，很难保证一台摄像机可以从头至尾都能拍到所需要的标记点，某些标记点被遮住是难免的事，所以iMoCap经常使用两台成90°摆放的摄像机来从正、侧两个方向拍摄人物，这样某个标记点在其中一台摄像机上拍不到时，另一台摄像机却可以拍到它。如果人物动作不复杂，使用一台摄像机也可以，或者将两台摄像机分别放置于主摄影机的左右两侧。
（两台捕捉摄像机的位置分布）
拍摄完成后，视频进入后期识别阶段。在这里，还需要提到一点有关摄像机标定的知识，在三维重建的过程中，涉及到三个坐标系，分别是世界坐标系、摄像机坐标系和图像坐标系，世界坐标系通过平移和旋转变换为摄像机坐标系（摄像机可能是朝向任何方向的，跟世界坐标系的x、y、z三个轴不一定相同，所以需要变换），摄像机坐标系通过投影变成图像坐标系，在此，我们假设图像是没有畸变的，否则投影生成的理想的图像坐标系和实际的图像坐标系之间还有偏差。图像坐标系只有x、y两个坐标，通过相反的过程，我们要计算其世界坐标（x，y，z）。
（三种坐标系的转换关系）
根据前文所述，只要在单目视频中知道一个特征点的深度值（z值），那么其三维坐标就可以得到，也就是说从那条延长线上确定了一个点。假设该点为某段骨骼的一端，我们已经有了该段骨骼在图像上的投影长度，则根据骨骼的刚体性质（长度不变），我们很容易得到骨骼另一个端点的世界坐标。这样依次类推，只要知道某一时刻的人体投影和其中某个关节点的深度值，就可以还原出整个人体的骨骼姿态。
（图像坐标结合深度值得到空间位置）
那么，这个深度值又如何获取呢？别忘了，我们之前给演员建立过模型，这个模型的各段骨骼长度跟演员是一样的。所以，我们先使用人体最不容易发生形变的那几个标记点，可以是胸前的那几个，也可以是帽子上那几个，他们本身的距离已经测量过了，也就相当于这几个标记点构成一个尺寸已知的标记物。而根据视频中这一标记物的大小，就可以很快地得到标记物在z轴方向的位置。举例来说，图像上有个正三角形，那么从光心作延长线的话，空间里所有由这三条线确定的正三角形在图像上的投影都一样。但是，如果我们已经知道了空间中的正三角形它的边长是1米，那么满足条件的z轴位置就只有一个了，基于这个原理，人物的位置就得以确定。同时，使用尺寸已知的标记物，在摄像机内部参数不变的情况下（捕捉摄像机一般都静止摆放且不会变焦），可以计算得出摄像机的内部参数（从摄像机坐标系到图像坐标系的变换）及外部参数（从世界坐标到摄像机坐标的变换)，这也就完成了所谓的摄像机标定过程，得到了摄像机的投影模型，根据这个投影模型，我们可以知道空间中任意物体被摄像机拍到后应该是什么样子。
（摄影机标定原理）
这之后，演员的模型就将发挥重要作用了。根据前段提到的方法，模型给出了演员每段骨骼的物理长度，结合已知的图像和计算出的深度值，就可以得到演员的三维骨骼姿态，把这个姿态赋予给演员模型，并按照深度值将模型摆放到正确的空间位置中，就算自动完成了初始化，把姿态数据输出就得到了第一帧的动作捕捉结果。接下来，根据运动的连续性原理，预测人物的运动趋势，比如手往哪个方向摆，脚往哪个方向伸，这也就预测了下一帧的骨骼姿态。在一开始可能会得出几种可能的预测结果，接下来便通过视频的下一帧来验证。把预测得到的下一帧的可能姿态赋予给模型，模型就变成了下一帧的可能姿态，然后将模型通过前段求得的投影参数，变换成二维投影图像，也就是如果摄像机拍这个骨骼模型会得到的图像，将这个生成的图像与实拍图像序列的第二帧进行对比匹配，刚才说了预测的时候可能有几种结果，那么现在将模型投影与下一帧实际图像匹配，最贴合的那个模型姿态就是第二帧的人物姿态，输出即得到第二帧的动作捕捉结果。依次类推，每一帧的人物姿态都逐渐被识别出来，这样就得到了完整的一段动作捕捉数据。
（模型预测匹配过程）
在模型投影跟实拍图像匹配时，匹配算法是很重要的。在自底向上的流程中，一般由人工定义首帧的各个关键点，然后程序自动查找该特征在后续帧中相邻区域里运动轨迹，这跟摄影机轨迹反求（Camera Tracking）中的二维跟踪是一样的，只不过摄影机反求是跟踪场景中相对静止的点，而动作捕捉跟踪的是人物身上的标记点。其原理同样是预测，预测标记点在下一帧可能出现在哪里，因为标记点的运动同样是连续性的，所以只需在邻近范围搜索即可。但是像iMoCap这种自顶向下的流程，预测的就不是标记点的运动了，而是骨骼的运动，或者说，是标记点在三维空间中的运动。得到投影图像后，与实拍图像进行对比，这里需要建立相关的匹配函数和阈值，当函数值达到最小或者小于某个阈值范围时，就认为投影图像与实拍图像相匹配，从而模型的姿态就是此刻的正确姿态。
四、应用和未来的展望
iMoCap的出现，以其便捷、轻巧的特点极大解放了动作捕捉工作，实景中的动作捕捉变得越来越流行。继《加勒比海盗2》之后，《加勒比海盗3》、《第九区》、《钢铁侠》、《钢铁侠2》、《美少女特攻队》、《铁甲钢拳》、《异星战场》等影片在制作过程中均使用了iMoCap系统。但是，iMoCap系统也有明显的不足，那就是精度不够，iMoCap目前还无法做到对面部、手指等精度要求较高的区域进行捕捉，而且整个设计理念本身就要求动画师在后期进行大量修改工作。另外，在《阿凡达》中首次投入使用的头戴式面部捕捉系统如今几乎成为了标准配置，这一系统可以保证不管演员走到哪里，都能随时随地记录其面部表情，如果今后身体的动作捕捉也可以跟随演员的话，那么必将是动作捕捉领域的又一次巨大变革。
大家也可以看到，iMoCap系统看似简单，其实背后的原理也非常复杂，应用了大量计算机图形学的尖端科技成果，凝聚了众多研发人员的心血。这也正是电影特技的魅力所在，正如工业光魔2010年推出的纪录片标题一样——Creating the Impossible。
五、参考文献
《Industrial Light & Magic：The Art of Innovation》
《Cinefex》第107期
《影视特效镜头跟踪技术精粹》
《工业光魔：创造不可能》纪录片
《The Making of Davy Jones》花絮
《基于视频的人体运动捕捉综述》李豪杰 等
《人体运动捕捉及运动控制的研究》黄波士 等
《一种基于视频的人体动画骨架提取技术》庄越挺 等
《适用于单目视频的无标记三维人体运动跟踪》邹北骥 等
《视频中不完全运动特征的跟踪算法》罗忠祥 等
《光学动作捕捉中的摄像机标定》张金剑 等
《基于单目视频运动跟踪的三维人体动画》吴玥 等
http://www.awn.com/articles/production/looting-cg-treasure-idead-man-s-chesti-part-2
http://www.studiodaily.com/2006/07/john-knoll-on-on-set-motion-capture-for-pirates-2
http://movies.about.com/od/piratesofthecaribbean3/a/pirates080106.htm
http://www.fxguide.com/featured/ilm_computers_and_that_pirate_movie/
http://www.fxguide.com/featured/Demystifying_Motion_Capture_Technique/
点击查看作者另一解析文章：《猿族崛起》动作捕捉技术及制作流程详解
点击阅读影视工业网文库特效文章集锦
再次转载，请同时注明：本文转载自人人网“电影特技”公共主页（http://page.renren.com/vfx/note/843064044 )！本文原标题为：详解工业光魔动作捕捉神器iMoCap
iMoCap是工业光魔公司（ILM）在制作《加勒比海盗2》时研发的动作捕捉系统，它与之前的各种动作捕捉系统最大的不同就在于它直接使用视频摄像机，基于图像识别，而且可以在拍摄现场的实景中使用。下面，本文将详细讲解iMoCap的由来、特点、原理和应用。
ILM花絮视频《The Making of Davy Jones》：
一、iMoCap的缘起
iMoCap全称为Image Based Motion Capture，中文译作基于图像的动作捕捉系统，事实上这一技术早已有科学家进行研究，但是真正投入到电影特技的制作中，还是工业光魔研发部门的功劳。iMoCap的问世，得益于一个著名的好莱坞奇幻系列片——《加勒比海盗》。角色和剧情的需要给了工业光魔开发新技术的机会。
在《加勒比海盗》系列的第一部《黑珍珠号的诅咒》中，有一段月光下的击剑戏。由Jonny Depp饰演的斯派洛船长在被巴博萨船长的剑刺中后变成了骷髅的模样，另外还有众多被诅咒的水手变成了骷髅，并击剑混战。当ILM的制作人员读到剧本时，大家都不约而同地立即想到了一部经典的影片《Jason And The Argonauts》（杰逊王子战群妖，1963年），在这部影片中，特效大师Ray Harryhausen使用手工动画制作了著名的骷髅战士的特效镜头，这一镜头在当时达到了电影特技制作的最高水平，并被载入史册，哈里豪森因此也被人尊称为电影特技先驱。
（杰逊王子战群妖）
（特效大师Ray Harryhausen）
而在《黑珍珠号的诅咒》中，情况变得更加复杂，因为导演Gore Verbinski希望达到的效果是即便角色变成了骷髅，观众们仍然可以区分出他们谁是谁；并且，整个战斗场景是发生在晚上，周围还有大量的烟雾，因此对于制作手工动画来说，难度更大，由于剧情中有真人和骷髅的来回变换，所以跟踪匹配也需要达到极高的精度。
（加勒比海盗1中的骷髅）
当时的拍摄过程是这样的：导演Gore在片场指导拍摄背景素材（clean plate），这个镜头里不包含那些骷髅角色，有时候，演员也进入场景中演一遍，但这仅仅是作为参考素材。几周过后，演员们来到ILM的动作捕捉车间（这里尚且用的是传统的室内动作捕捉系统），穿上捕捉服，重新表演他们在片场时所表演的那些动作，也就是为CG制作的骷髅们赋予动作。这个阶段的捕捉工作是由特效总监John Knoll和动画总监Hal Hickle负责的，导演Gore并未在场，结果是，演员们的表现远没有在片场时好，动作和表情怎么也没有在片场那么自如、准确。所以，最终，导演Gore基本上放弃了由动作捕捉得来的那些不合格的数据，而让动画师们根据片场拍摄的参考视频，用手工匹配的方式制作动画。
虽然工业光魔拥有经验丰富、水平高超的动画师团队，但是手工关键帧远没有动作捕捉数据来得方便；另一方面，演员们总是抱怨要在片场和车间里表演两次，而两次均没有互动参照（真人演员看不到CG角色，动捕演员也看不到真人角色，两者无法互动，目光和动作都不准确），所以大家表现的自然很不好。种种因素都指向了一个未来的目标——在片场拍摄的同时进行动作捕捉。
再来看看传统的动作捕捉系统有什么问题。传统的光学动作捕捉系统由于使用特殊的红外线摄影机，因而对捕捉环境的限制很严格，一般都在专门的室内车间完成，并且根据计算机视觉原理，用于捕捉的摄影机都需要精确校准（具体的技术原理将在后文说明），各个标记点间也容易相互干扰，而且整套设备复杂、笨重、昂贵，完全没有办法在《加勒比海盗》那种潮湿、阴暗、雾气蒸腾的拍摄现场使用。
（传统光学动作捕捉系统）
当《加勒比海盗》系列的第二部影片《聚魂棺》制作任务下来时，John Knoll感到了巨大的压力，但也看到了一丝新希望，因为不再有真人个CG角色之间变来变去的镜头。毫无疑问，《聚魂棺》中制作难度最大的角色就是章鱼船长Davy Jones，以及它的那些被称为“水鬼”的水手们。由于角色众多，如果完全使用特效化妆的方法来制作的话，这要耽误很多的时间，并且Davy Jones显然是无法通过化妆来制作的。当Davy Jones的扮演者被确定为Bill Nighy时，导演Gore看到片场上的Bill活脱脱就是Davy的感觉，他希望再也不要使用第一部里那种落后的动作捕捉工作流程。最终，John Knoll向工业光魔的研发部门下达了任务，开发一套可以用于实景的动作捕捉系统，而这个系统，就是如今的iMoCap。2010年，iMoCap的开发人员Steve Sullivan、Kevin Wooley、Brett Allen、Colin Davidson还获得了奥斯卡电影科学技术成就奖。
二、iMoCap的新特点
自从有了iMoCap，之前的那些问题就都迎刃而解了。演员们可以在片场进行表演，而技术部门在这之后能顺利获得演员们的动作数据，不需要他们表演第二遍。iMoCap以全新的方式融入影片制作，Bill Nighy的精湛表演也得以完整地复制到Davy Jones身上。最终，《聚魂棺》里只有Bill Turner采用特效化妆制作，其他“飞翔的荷兰人”号上面的角色全部采用iMoCap技术制作。
（加勒比海盗2水鬼制作过程）
iMoCap与之前的动作捕捉系统不同，不是基于光学（红外线），或者磁场、机械、超声波，而是直接从摄像机拍摄的视频图像中识别人物动作，这一巨大革新使得iMoCap几乎不受环境的限制，只要摄像机拍到的图像具有可辨识性，就可以进行动作捕捉，这也是iMoCap能够被带到片场使用的根本原因。之前的光学动作捕捉系统，由于对红外线的依赖性很高，极易受到干扰，所以一直无法在实景中使用，直到去年，Weta Digital在《猩球崛起》中使用主动式频闪红外线发光二极管，结合蓝牙同步、数据过滤等新技术，才将光学动作捕捉系统带到片场，但是这一系统仍然需要大量的设备，需要在拍摄前专门花时间搭建和校准，因而从使用的便利程度上仍然不及iMoCap，但是捕捉范围和精度比iMoCap要高。
事实上，工业光魔的研发部基于这样一个指导理念：动作捕捉不是100%的解决方案，而只是动画制作的起点。因而对于iMoCap来说，精确度并不是它所特别关注的，轻便易用、机动性能好，这才是它的优势所在。而且，工业光魔希望iMoCap的通用性足够高，也就是说，对片场和演员的限制尽可能少。因此，iMoCap可以使用任意型号的摄像机，不需要对拍摄现场做什么特殊处理，也不需要携带任何其他的复杂设备，随时可以进行捕捉；另外，即便是捕捉中偶尔出现遮挡、跳跃等问题，即便有部分的数据不完整，也不影响整个制作，因为iMoCap的理念就是简化实景捕捉的要求，把处理过程都留给后期工作人员。
iMoCap系统的配置包括带有标记点和标记带的中灰色半紧身捕捉服、几台便携式高清摄像机（黑白或彩色均可，最好是同型号）、便携式三脚架，以及后期处理所需要的专业软件，仅此而已，因而整套系统可以很方便地带去片场使用。不过，在iMoCap使用之前，是需要传统的光学捕捉系统给它帮一个忙的，这将在后面的原理解析中详细说明。之所以使用中灰色半紧身捕捉服，是因为中灰色可以提供较为准确的光照参考，演员穿上捕捉服站在片场里，中灰色衣服上的光照效果就反映了未来CG角色的受光情况，这对于后期制作CG角色时的打光具有极大的借鉴价值，其作用相当于特效部门经常在片场使用的灰度球。其实衣服的颜色应该根据所要制作的CG角色表面主色调来决定，这样才能更准确地得到光照参考。比如在《钢铁侠2》中，Robert Downey Jr和Don Cheadle就分别穿的是红色和灰色的捕捉服，而在《铁甲钢拳》里，替身演员穿的是蓝色的捕捉服。
（加勒比海盗2中的捕捉服）
（钢铁侠2中的捕捉服）
（铁甲钢拳中的捕捉服）
对于捕捉摄像机，iMoCap也没有什么严格要求，少则一台，多则四五台，型号只要是小高清（HDV）就行，并且几台摄像机要是同一型号。在室内场景中，工业光魔会将捕捉摄像机连接到笔记本电脑上，然后使用同步系统同步摄像机的拍摄和参数设置；而在外景地拍摄时，摄像机则会自带电池且不使用同步线，只用三脚架支起来就行。虽然未经同步的几条视频素材在数据处理时会有些小麻烦，但是经过人工调整后，还是能获得满意的结果。
三、iMoCap技术原理
首先应当解释一下，从二维影像中获取三维信息是如何做到的。事实上，单纯地从一幅平面图像中得到三维信息在数学上是行不通的，我们可以借助下图来理解。摄像机成像过程可以看作一个小孔成像过程，现实的场景经过小孔之后形成倒像。这个倒像仅仅只是透镜成像的物理性质所造成，我们完全可以把这个倒像映射到镜头光心的前面，与镜头焦距等同的位置，这和小孔成像的效果是一样的。
（小孔成像模型）
我们选择图像上的某一点，从镜头光心作该点的延长线，那么根据光路可逆原理，以及光线沿直线传播原理，空间中所有位于该条延长线上的点在成像时都会显示为照片上的同一个点。因此，单从一幅图像上，我们是无法得到某一点的空间三维位置的，得到的只能是一条射线。
（二维影像无法直接得到三维坐标）
但是，如果我们在另一角度放置第二台相机，也同时拍摄这个场景，那么从第二台相机拍摄的照片上选择同一个点作延长线，由于这两个点表示的是场景中的同一个点，所以延长线B一定会与延长线A相交，且交点的位置就是图像上该点对应的真实的空间三维位置（两条相交直线确定空间中的一个点）。如果还不能理解的话，再想想光路可逆原理，空间中的一点，它是朝四面八方辐射光线的，现在被两台相机同时捕捉到了，把两条光路反过来，两台相机所作的延长线交点就是空间中的那个点。
（计算机视觉原理）
这就是计算机视觉原理，最少需要2台同步的摄像机，并且两台摄像机要同时捕捉到同样的点，那么就可以计算出这些点的空间三维坐标。由于人体的运动很复杂，身上的某一标记点经常被其他身体部位挡住，所以要想保证每个标记点随时都能被至少两台摄像机捕捉到，我们就需要增加捕捉摄像机的数量，并合理安排它们的布局，这也就是传统的光学动作捕捉系统需要很多台摄像机的原因，事实上多数的捕捉系统要求每个点至少能被4台摄像机拍到。
但是我们面对的问题没有这么孤立，我们需要识别的是人体的运动，而且是从一段连续的视频中来识别，因此这无形中给数学计算加上了诸多的限制条件，使得上文提到的无数种可能性变成寻找一种最大的可能性。人体的自由度有上百个之多，这些自由度之间的组合可以形成不计其数的各种姿态，我们要做的就是在这些姿态组成的搜索空间中寻找那个最贴近于捕捉图像的姿态，以此作为三维骨骼来输出，如果不加限制，要从海量的姿态中寻找正确的姿态几乎是不可能的，好在，已经有专家学者研究出了一些行之有效的限制条件。
人体骨骼可以看作是一个多刚体树形连接结构，也就是说，人体是由多段骨骼按照树形结构连接起来的，一般把腰部作为树根节点，树根节点一般不赋予旋转自由度，而只有平移自由度，那么相对于世界坐标系而言，腰部的坐标就指定了人物所处的位置。而其他各段骨骼的姿态，可以看成是骨骼绕关节旋转的结果，由于树形结构的存在，我们只需要按照从树根到树枝的顺序，依次指定每个关节的旋转情况，就可以得到一种特定的人体姿态。所以，整个人体骨骼的姿态，可以用一个位移向量和多个旋转向量来表示。旋转向量一般用欧拉角表示，也就是大家在三维软件里常见的调节物体旋转的那三个正交圆环，而人体的很多关节并没有三个旋转自由度，比如膝关节和肘关节只有一个自由度（屈伸），而且绝大多数关节的旋转范围都不到180°，所以对于一些具有二义性的计算结果，根据人体的这些解剖学知识就可以判断哪个结果是正确的，哪个结果是错误的。另外，虽然整个人体是一个非刚体，即人体的形态是不断变化的，但是对于每一段骨骼来说，它是不发生形变的，它的长度是固定的，所以，一段骨骼两端的标记点，在空间中的相对距离永远是固定的，这也是一个极其重要的限定条件。
（人体骨骼简化模型）
最后，由于人体的运动具有连续性，姿态不可能有大的突变，比如走路的时候手一定是逐渐往后摆又逐渐往前摆，而不可能突然从后摆变成前摆，因此在帧率足够的视频序列中，根据帧与帧之间的动作相关性，使用当前帧的人物状态来预测下一帧的人物状态，也成为了一种重要的限定条件。有了这些限定条件后，基于单目视频的三维动作重建便得以实现，在此不详述具体的数学计算方法，有兴趣的朋友可以查看本文最后列出的文献资料。总之，我们知道了如何使用先验知识来尽可能缩小搜索空间，剔除错误的结果。
在各种基于图像的动作捕捉实验系统中，根据计算流程可以把它们分成两类：自顶向下流程和自底向上流程。自顶向下也就是从一个骨骼模型开始，让模型来匹配图像中的人物，这个方法可以实现无标记点的动作捕捉；而自底向上则是从图像本身的特征入手，一般要求角色身穿带有特征标记点的捕捉服，然后识别这些标记点，并在整个帧序列中对这些标记点进行跟踪，然后根据上文提到的计算方法来计算这些点的三维空间位置，进而结合人体骨骼结构，生成骨骼动画。这种流程中，特征点的跟踪是核心技术，对于特征点之间的遮挡问题，也有专家研究出了相应的处理办法。而iMoCap使用的是自顶向下的流程，根据上一段的描述，我们也知道了在建立限定条件的过程中，一个正确的人体模型是非常重要的，而iMoCap的工作流程正是从这里开始。
在进入片场拍摄前，先对需要进行动作捕捉的演员进行建模。因为各个不同的人之间，身体骨骼的比例会有一些差异，如果使用统一的骨骼模型的来作为限定条件的话，那么对于不同的演员所拍摄的视频，可能无法解算出正确的骨骼姿态。对演员的建模是在传统的室内捕捉车间进行的，演员们穿上捕捉服（如下图，注意，图中显示演员穿的是iMoCap的捕捉服，而建模使用的是传统的红外摄像机，因此捕捉服上除了iMoCap专用的黑白标记带之外，还要有用于红外摄像机识别的传统的反光球），在技术人员的指导下做一些基本动作，这样对应此名演员骨骼比例的模型就被建立起来了。
（iMoCap前期建模过程）
同时，该骨骼还被赋予蒙皮，蒙皮上定义了一些标记点，这样当我们给骨骼设定一个特定的姿态时，我们可以看到对应的标记点、标记带会是什么样子。而动作捕捉正是做了相反的事情，知道标记点的样子，求骨骼姿态。因此我们看到在建模同时，有两台高清摄像机在拍摄演员，这就是在测试iMoCap系统得到的结果是否与传统的红外动作捕捉系统相一致。
（带蒙皮的演员模型）
前期的建模完成之后，演员就可以穿着捕捉服去片场拍戏了。iMoCap专用捕捉服上的标记与之前的光学动作捕捉系统有些不同，除了胸前、背部和手部使用了传统的反光球之外，其余的关键部位都使用了黑白相间的标记带。这种设计其实在技术上是有其独特考虑的。首先，由于要在实景拍摄的视频中识别出这些标记点，要克服烟雾、雨水、阴影等各种复杂的环境干扰，因而标记点被做得比较大，而且黑白相间，非常显眼，使得其在各种环境下都能比较容易地从视频中识别出来。其次，工业光魔希望最大程度地解放演员的表演，使其只需要专注于自身，而无须担心动作捕捉服对其带来的限制和影响。传统的动作捕捉服使用比较厚的紧身材料，穿戴起来很不舒服，并且球状的标记点也一定程度上影响了演员的动作表演，像《猩球崛起》那种主动发光式的标记点更是要求演员背上背一块电源，身上还要排布很多电线，整个捕捉服显得笨重不便。因此，既然是基于视频的捕捉，那么只要能被拍到就行，所以工业光魔在iMoCap的捕捉服上使用标记带来作为特征。并且环状的标记带还有个巨大的优势，就是减少遮挡，传统的标记点如果到了背面就无法被拍到，但是在iMoCap中，比如手臂上的标记带，不管如何挥臂都总有特征点能够被拍到。而整个捕捉服也由紧身材料改进为半紧身材料，演员穿戴更为舒适，表演也更加自如。
（第九区中的iMoCap捕捉服）
虽然结合各种技术，我们已经可以从单目视频中获取人物的三维骨骼，但是一般不直接使用拍摄电影的那台主摄影机作为动作捕捉摄像机，因为主摄影机不可避免地要移动，要变焦，要改变景别，甚至基于艺术创作的需要，还经常有虚焦的镜头，对于这样复杂的画面，我们需要先解算出摄影机自身的参数和运动，还要考虑景别变化造成的人物影像不完整，以及虚焦带来的特征点难以识别，这些问题都预示着主摄影机是不适合用来做捕捉摄像机的。所以，在片场，除了主摄影机之外，一般都另外架设iMoCap专用的高清摄像机。摄像机的数量根据动作复杂程度来决定，从一台到多台不等，但一般不超过四五台。iMoCap允许使用任意型号的摄像机，但是这几台摄像机最好型号相同，并且支持同步功能。因为人物动作本身的复杂性，很难保证一台摄像机可以从头至尾都能拍到所需要的标记点，某些标记点被遮住是难免的事，所以iMoCap经常使用两台成90°摆放的摄像机来从正、侧两个方向拍摄人物，这样某个标记点在其中一台摄像机上拍不到时，另一台摄像机却可以拍到它。如果人物动作不复杂，使用一台摄像机也可以，或者将两台摄像机分别放置于主摄影机的左右两侧。
（两台捕捉摄像机的位置分布）
拍摄完成后，视频进入后期识别阶段。在这里，还需要提到一点有关摄像机标定的知识，在三维重建的过程中，涉及到三个坐标系，分别是世界坐标系、摄像机坐标系和图像坐标系，世界坐标系通过平移和旋转变换为摄像机坐标系（摄像机可能是朝向任何方向的，跟世界坐标系的x、y、z三个轴不一定相同，所以需要变换），摄像机坐标系通过投影变成图像坐标系，在此，我们假设图像是没有畸变的，否则投影生成的理想的图像坐标系和实际的图像坐标系之间还有偏差。图像坐标系只有x、y两个坐标，通过相反的过程，我们要计算其世界坐标（x，y，z）。
（三种坐标系的转换关系）
根据前文所述，只要在单目视频中知道一个特征点的深度值（z值），那么其三维坐标就可以得到，也就是说从那条延长线上确定了一个点。假设该点为某段骨骼的一端，我们已经有了该段骨骼在图像上的投影长度，则根据骨骼的刚体性质（长度不变），我们很容易得到骨骼另一个端点的世界坐标。这样依次类推，只要知道某一时刻的人体投影和其中某个关节点的深度值，就可以还原出整个人体的骨骼姿态。
（图像坐标结合深度值得到空间位置）
那么，这个深度值又如何获取呢？别忘了，我们之前给演员建立过模型，这个模型的各段骨骼长度跟演员是一样的。所以，我们先使用人体最不容易发生形变的那几个标记点，可以是胸前的那几个，也可以是帽子上那几个，他们本身的距离已经测量过了，也就相当于这几个标记点构成一个尺寸已知的标记物。而根据视频中这一标记物的大小，就可以很快地得到标记物在z轴方向的位置。举例来说，图像上有个正三角形，那么从光心作延长线的话，空间里所有由这三条线确定的正三角形在图像上的投影都一样。但是，如果我们已经知道了空间中的正三角形它的边长是1米，那么满足条件的z轴位置就只有一个了，基于这个原理，人物的位置就得以确定。同时，使用尺寸已知的标记物，在摄像机内部参数不变的情况下（捕捉摄像机一般都静止摆放且不会变焦），可以计算得出摄像机的内部参数（从摄像机坐标系到图像坐标系的变换）及外部参数（从世界坐标到摄像机坐标的变换)，这也就完成了所谓的摄像机标定过程，得到了摄像机的投影模型，根据这个投影模型，我们可以知道空间中任意物体被摄像机拍到后应该是什么样子。
（摄影机标定原理）
这之后，演员的模型就将发挥重要作用了。根据前段提到的方法，模型给出了演员每段骨骼的物理长度，结合已知的图像和计算出的深度值，就可以得到演员的三维骨骼姿态，把这个姿态赋予给演员模型，并按照深度值将模型摆放到正确的空间位置中，就算自动完成了初始化，把姿态数据输出就得到了第一帧的动作捕捉结果。接下来，根据运动的连续性原理，预测人物的运动趋势，比如手往哪个方向摆，脚往哪个方向伸，这也就预测了下一帧的骨骼姿态。在一开始可能会得出几种可能的预测结果，接下来便通过视频的下一帧来验证。把预测得到的下一帧的可能姿态赋予给模型，模型就变成了下一帧的可能姿态，然后将模型通过前段求得的投影参数，变换成二维投影图像，也就是如果摄像机拍这个骨骼模型会得到的图像，将这个生成的图像与实拍图像序列的第二帧进行对比匹配，刚才说了预测的时候可能有几种结果，那么现在将模型投影与下一帧实际图像匹配，最贴合的那个模型姿态就是第二帧的人物姿态，输出即得到第二帧的动作捕捉结果。依次类推，每一帧的人物姿态都逐渐被识别出来，这样就得到了完整的一段动作捕捉数据。
（模型预测匹配过程）
在模型投影跟实拍图像匹配时，匹配算法是很重要的。在自底向上的流程中，一般由人工定义首帧的各个关键点，然后程序自动查找该特征在后续帧中相邻区域里运动轨迹，这跟摄影机轨迹反求（Camera Tracking）中的二维跟踪是一样的，只不过摄影机反求是跟踪场景中相对静止的点，而动作捕捉跟踪的是人物身上的标记点。其原理同样是预测，预测标记点在下一帧可能出现在哪里，因为标记点的运动同样是连续性的，所以只需在邻近范围搜索即可。但是像iMoCap这种自顶向下的流程，预测的就不是标记点的运动了，而是骨骼的运动，或者说，是标记点在三维空间中的运动。得到投影图像后，与实拍图像进行对比，这里需要建立相关的匹配函数和阈值，当函数值达到最小或者小于某个阈值范围时，就认为投影图像与实拍图像相匹配，从而模型的姿态就是此刻的正确姿态。
四、应用和未来的展望
iMoCap的出现，以其便捷、轻巧的特点极大解放了动作捕捉工作，实景中的动作捕捉变得越来越流行。继《加勒比海盗2》之后，《加勒比海盗3》、《第九区》、《钢铁侠》、《钢铁侠2》、《美少女特攻队》、《铁甲钢拳》、《异星战场》等影片在制作过程中均使用了iMoCap系统。但是，iMoCap系统也有明显的不足，那就是精度不够，iMoCap目前还无法做到对面部、手指等精度要求较高的区域进行捕捉，而且整个设计理念本身就要求动画师在后期进行大量修改工作。另外，在《阿凡达》中首次投入使用的头戴式面部捕捉系统如今几乎成为了标准配置，这一系统可以保证不管演员走到哪里，都能随时随地记录其面部表情，如果今后身体的动作捕捉也可以跟随演员的话，那么必将是动作捕捉领域的又一次巨大变革。
大家也可以看到，iMoCap系统看似简单，其实背后的原理也非常复杂，应用了大量计算机图形学的尖端科技成果，凝聚了众多研发人员的心血。这也正是电影特技的魅力所在，正如工业光魔2010年推出的纪录片标题一样——Creating the Impossible。
五、参考文献
《Industrial Light & Magic：The Art of Innovation》
《Cinefex》第107期
《影视特效镜头跟踪技术精粹》
《工业光魔：创造不可能》纪录片
《The Making of Davy Jones》花絮
《基于视频的人体运动捕捉综述》李豪杰 等
《人体运动捕捉及运动控制的研究》黄波士 等
《一种基于视频的人体动画骨架提取技术》庄越挺 等
《适用于单目视频的无标记三维人体运动跟踪》邹北骥 等
《视频中不完全运动特征的跟踪算法》罗忠祥 等
《光学动作捕捉中的摄像机标定》张金剑 等
《基于单目视频运动跟踪的三维人体动画》吴玥 等
http://www.awn.com/articles/production/looting-cg-treasure-idead-man-s-chesti-part-2
http://www.studiodaily.com/2006/07/john-knoll-on-on-set-motion-capture-for-pirates-2
http://movies.about.com/od/piratesofthecaribbean3/a/pirates080106.htm
http://www.fxguide.com/featured/ilm_computers_and_that_pirate_movie/
http://www.fxguide.com/featured/Demystifying_Motion_Capture_Technique/
点击查看作者另一解析文章：《猿族崛起》动作捕捉技术及制作流程详解
点击阅读影视工业网文库特效文章集锦
本文为作者 107分享 分享，影视工业网鼓励从业者分享原创内容，影视工业网不会对原创文章作任何编辑！如作者有特别标注，请按作者说明转载，如无说明，则转载此文章须经得作者同意，并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/5436
