【专访】光场VR领导者虞晶怡：在原墙上开一扇虚拟现实的窗

近日，在北京电影学院未来影像高精尖创新中心主办的第七届北京国际先进影像大会暨展览会上，
上海科技大学信息科学与技术学院虚拟现实中心主任、叠境数字科技创始人虞晶怡教授发表了关于光场虚拟现实技术的演讲，引起了热烈反响。

在读了全球最好的两个理工大学——美国加州理工大学（获应用数学及计算机学士学位）、
美国麻省理工大学（获计算机与电子工程硕士、博士学位）之后，
虞教授放弃了美国特拉华大学计算机与信息科学系终身教授的职位，回国投身于新成立的上海科技大学（中科院上海分院）。


虞晶怡教授

首先，让我们来看看什么是“光场虚拟现实技术”。
这个刷爆朋友圈的视频，应用的光场技术就来自于全美最大的初创公司 Magic Leap。
该公司目前市值 45 亿美元。



发言以他最喜欢的哲学家福柯的话作结： “我不是先知。我的工作是在原有的墙上开窗户”。



演讲之后，影视工业网采访了虞教授。

影视工业网：最近，李安导演的新作《比利 林恩的中场战事》采用了120帧/秒的格式。
李安的剪辑师蒂姆 •　斯奎尔斯（Tim Squyres）曾说：“多数VR的实际分辨率很低。我们的（120帧）与VR截然不同，在清晰度和直观感受方面区别很大。”
而且李安还说人眼能达到800~900帧/秒。
那么您的光场技术有没有帧数概念？

延伸阅读：【专访】李安御用剪辑师蒂姆 • 斯奎尔斯详析《比利 • 林恩的中场战事》

虞晶怡：这是一个非常有意思的问题。
我的学生和我都看了那个电影，有很多评论，也准备写文章专门阐述。简单介绍一下。

速度方面绝对是帧数越多越好。
但首先，绝大部分人并没有看出这120帧，或者说他不知道已经看到这120帧了。
为什么120帧有变化呢？
传统的30帧、60帧，或者更低的时候，照相机摇镜（pan）、旋转（rotate）或者人物移动时，会有运动模糊（motion blur），整个边界会模糊。
而在120帧的效果中，运动时边界是完全清晰的。
所以再看一遍，你就会留意到这个边界。
很多旋转镜头转一圈的话你会发现，镜头每一帧都是清晰的。
从理论上来说，它是模拟人眼，因为当人脑在转的时候，我能够控制住我的焦距，正好在你身上。
动的时候，你边界仍然是清晰的，不管我多快地移动，所以从这一点上，确实模拟到了人眼的效果。

但是它有一点没有模拟到——动态对焦。
整个电影超清晰，就像我跟你面对面交谈。
但真实交谈时，你的焦距不会一直对在我的脸上的，而是会不停从我的脸上对焦到后面，然后再对焦到脸上，会不停地变焦。
但如果这样超清晰，整个两个小时你的眼睛就定死在屏幕上，不给你任何移动的空间，用户体验上有时候会产生晕眩。
至少我个人有轻微晕眩，就是因为我始终定焦在这个3D画面上。
所以我唯一的不满是图像太锐利，没有焦距配合，会产生恐怖谷效应（Uncanny valley）。

所以今后我可以跟李安合作，做一个光场效果，或者一个片段的光场效果，人工转换焦距——
可以对焦到后面，也可以对焦到前面。
如果拿到3D片源，我们有成熟的技术可以做后处理，产生光场效果。
120帧光场的难度非常高，因为数据量巨大。
通常的解决方案是，用光场做一个静态场景，然后用插件插入动态物体，这样就可以大幅度减小数据量。

事实上我觉得整个电影的设计不是为了在电影院看的，是为了戴着头盔看的。
很多特写（close-up）镜头，都是非常高精度地对着脸来拍。
戴完头盔以后觉得你离我的距离就是这么近。

其实我觉得最难的是演员，这么近地拍高清，是对演员巨大的挑战。
演员的感情是真还是假，人是很容易看出来的。

影视工业网：打个业余的比喻，这是不是有点像初代的《生化危机》游戏，2D场景+3D人物。

虞晶怡：对，不过是反过来的。我的光场环境是4D，人物反而是3D的，比你的例子降一维。

影视工业网：游戏发展这么久，被称为第九艺术，追求第一人称视角的沉浸式体验，但在艺术成就上跟电影还没法比。
刚才您提到焦点改变，而景深是电影叙事的重要手法。
不知道您怎么在VR内容，特别是叙事上应用这一点？

虞晶怡：这个问题非常好，我暂时也不能够回答什么样的内容最适合动态对焦。
首先，景深对电影构图非常重要。
一般来说，导演和摄影师会设计一种构图，会引导观众变化焦点（focus）。
除了美国的Lytro可能也在尝试，中国的话，我们是唯一一家实时动态对焦虚拟现实内容的公司，可以做到超高清、无瑕疵的对焦效果，眼睛哪里，焦就跟到哪里。
现在给观众自主的焦点，把主动权交给观众，那么如何控制观众、什么时候看哪个焦点，是很有意思的探索。
不管是软件，还是拍摄技巧，今后都会有大量这样的尝试。

影视工业网：您认为VR技术目前有什么难点，特别是光场VR？

虞晶怡：我觉得每一个都是难点。（笑）
现在的VR技术还远没到成熟阶段，可以说是0.01版。

首先是画质。
分辨率仍过低。
帧率是提高了，但仍不够，原因有带宽、处理等各方面。
整个画质、帧率要达到一定高度，难度相当高的。

第二部分，是“辫子”（线缆），这个东西之前50年都没去掉。
50年之前，是伊凡 · 萨瑟兰（Ivan Sutherland）的 ”达摩克利斯之剑”（ The Sword of Damocles），不过不是一个辫子，而是一个柱子；
50年之后，HTC还是有一个”辫子”。
最近HTC Vive号称可以无线传输，但带宽还不一定够。
在无线设备上剪掉辫子很重要，可以自由移动。

第三部分，重量问题很实际——头盔不能太重。
现在很多头盔非常重，哪怕是AR的也是。
光场技术最大的问题是数据量。
采集那么多光线，必须要做适当压缩。
怎么解、压缩会是光场的一个核心，我们也在尝试。
这等于是老瓶装新酒，因为数据压缩是很老的课题，但从没有被很严肃地研究、大规模地研究、在光场上研究。

影视工业网：如果光场VR的“虚拟真实”比所谓“虚拟现实”还真实，会不会对我们的视觉和大脑产生冲击，甚至影响其生理构造？

虞晶怡：这是非常有意思的一个问题，可以分生理、心理两部分来讲。
生理上，光场技术想要重现三维世界，因为我们的人眼就是光线采集器。
人眼主要由三部分组成：角膜、晶状体、视网膜。
人眼把外部光线通过角膜和晶状体，汇聚到视网膜上，这个成像过程就是光线采集过程。
人对3D世界的感知，至少在视觉上是不知道有3D的，只有光线，所以用光场投影产生虚拟现实的内容，其实完全符合人看世界这样一个原理的，所以才会让人觉得非常真实。
而且从光照强度来说，外界的光照强度可能比显示器的更大，所以生理上可能不会受影响。
但有几个部分可能会受影响。
比如现有的头盔等普通显示器都是定焦的头盔。
定焦头盔固定眼睛在一个焦距，那么眼睛是没办法变焦的。
光场显示也需要显示器。
光场显示器，现在只有Magic Leap做了一个四维的。
光场拍摄技术可以虚拟对焦。它不是真实对焦，其实晶状体没产生焦距的变化，仍然是在看那个面。眼肌也没变化。
但根据眼球跟踪，可以做到你看什么地方，什么地方就是实焦，剩下部分全是虚焦。
这样人的大脑会产生一个幻觉：我看到一个对焦。
这有没有对身体和心理造成影响，可能是将来，生物学、计算机一个有意思的研究课题。

影视工业网：您怎么看虚拟真实的伦理？

虞晶怡：我不担心，为什么呢？我觉得人是有自适应能力的。
以前电视机发明的时候，大家都担心会足不出户了、永远呆在家里看电视了。
但这种事并没有发生。
微信其实也是一个虚拟现实。很多人有一部分就活在朋友圈里，但仍能够很好地生活。
所以人如果意识到这是虚拟的，不管看上去多真实，还是能控制住自己的。
科技不是洪水猛兽，我相信人有智慧去适应。

影视工业网：有人称今年为VR元年，那么您怎么看过去的一年？
您对产业有怎样的展望呢？

虞晶怡：泡沫很快慢慢要消除了，我很高兴。
今年市场上很多泡沫，很多没有实际技术的公司都在融资。
但没有核心技术，就没有核心竞争力，做出来的东西也不够好。
今年元年是产生泡沫的一年，明年很多泡沫都会被去掉，而真正留下来的是真材实料。