索尼将智能化拍摄带入高校课堂,录课不用摄影师也能搞定?

2023-07-19 10:38

今年初,索尼发布了一款可以解放教师双手、自动化拍摄、构图专业的4K PTZ智能中心构图摄像机新品。


在我们还在寻找ChatGPT与人工智能在教育行业的应用与变革时,索尼已经交出了一份答卷。


索尼的新品可以通过AI算法实现教育场景中智能化视频拍摄,几乎能替代摄影工作者,解决教育行业有录课需求,但缺少专业摄影师的痛点,是人工智能在教育应用领域中的一次突破。


7月11日,索尼消费电子与专业系统本部市场总部,影像方案及移动通信市场部高级经理,影像与分析产品负责人贾导以“人工智能让拍摄更智慧”为题,在第41期多知OpenTalk的现场分享了这款PTZ智能中心构图摄像机。

(以下为演讲全文,经多知网编辑整理)

索尼影像方案及移动通信市场部高级经理贾导


索尼的产品在很多高校都有广泛应用,例如清华大学混合课堂用的摄像机、上海交大用的云台摄像机等等。回到今天的主题“探索教育智能硬件的未来”,那么,索尼在教育场景里的影像产品长什么样?智能硬件到底帮助大家做什么?

# 01

自动化的教育场景视频拍摄,解决行业痛点


当今不仅很多学校、教育机构都有录课的需求,在实际的教学场景中,还出现了更加复杂的教学场景—混合课堂,即一部分学生在现场、一部分学生在线上。复杂的应用场景对于影像拍摄的质量、操作智能化程度,都提出了更高的要求。


在实时录课、在线传播过程中,大家发现这并不是一件轻松的事情。课堂中,老师不断走动,很容易就走出画面,网络稍有延迟就导致传播中断,画质不清、焦点模糊、光线昏暗、现场操作人员不足等种种问题存在于实际教育场景应用中。


基于教育行业的需求和索尼的AI技术沉淀,索尼推出了具有人工智能分析的PTZ智能中心构图摄像机SRG-A40与SRG-A12两个型号的新产品,它们的亮点在于能很好的解决智能化、自动化视频拍摄的痛点。


例如,老师在讲课走动时,过去的操作是由其他摄像师转动机器,寻找老师的画面,将人物置于C位。现在,索尼的设备会自动捕捉选定人物、追踪人物轨迹,即使画面中出现其他人,也不会丢失追踪对象。省去了以往摄像老师盯着设备手动调整画面的操作,使拍摄更自动化,节省人力。


这款产品重点关注的行业包括教育、体育、医疗、政府、媒体等,这些行业的共同特点就是没有太多专业的摄像机操作人员,特别是教育行业,对操作简单、自动化程度高的教学设备需求很大。

索尼SRG-A40/A12 PTZ智能中心构图摄像机


强大的画面捕捉算法和高清成像质量,即使没有专业的摄影师,也能拍出高质量的课堂。除此之外,它还能解决摄像人手不足的问题。以往,一台摄像机旁往往还需要配一个摄像师管理设备,如果遇到多位教师录制,就面临人手不足的情况。PTZ智能中心构图摄像机可以自动在台后端进行操作。只需要一位老师就可以用该摄像机负责多间课堂的图像采集工作。


对于有录课需求、课堂转播需求的学校和机构来说,自动化、智能化程度高的摄像机让教育行业智能化加快了脚步

# 02

AI构图,通过算法实现专业拍摄


索尼的PTZ智能中心构图的核心优势有三点:

其一,全自动操作,通过我们平台实现全自动地搜寻拍摄目标,并且开始跟踪;

其二,构图模式与细节调整,满足教育智能化里面不同的场景的构图;

其三,内置人工智能分析能力,对于供应商或集成商来说,可以节省成本,减少系统的节点;

PTZ智能中心构图功能的关键是得到原生画质。对比普通的摄像机来说,照相机要实现中间有人的构图裁切,是通过裁切固定的4K画面中的一部分得到的,这种方式是低质量的,我们的摄像机通过Pan/Tilt/Zoom(平移/俯仰/变焦)三大操作,大家得到的是高品质原生画面。

在跟踪拍摄方面,PTZ智能中心构图摄像机会进行面部识别,骨骼框架识别,对于检测到的拍摄者的骨骼框架进行多位置打点,分析计算每一个微小动作,并给出行为指令到云台。


通过SRG-A40/A12智能中心构图功能,包括内置的核心处理芯片,索尼摄像机可以实现全身、半身、特写等多种构图切换。


演讲者被识别之后,能够始终处在画面的中心位置,不会丢失拍摄目标。在构图方面,拍摄目标始终处于C位,即使演讲者有些轻微的动作,或者有干扰性路人穿插的时候,算法也能给出合理的构图,摄像机始终追着演讲者。

# 03

高品质影像依旧是核心长板


索尼除了在AI方向的探索外,核心优势仍然在于高品质影像。


索尼的成像器技术采用Exmor R背照式成像器,通光量提高,在暗环境也可以拍出好的画面。用Exmor R的成像器能够采集低噪点、高质量的图像,华为手机、苹果手机里面的成像器大部分应用到了索尼这一项核心器件。

超分辨率技术使光学变焦倍增,加上清晰影像变焦功能和长焦转换模式,通过裁剪图像传感器的中心部分,A40在高清模式下摄像机可以扩展到80倍变焦,即使在阶梯教室也能拍出高质影像。A12可达24倍变焦。

在宽视角方面,索尼以往的PTZ摄像机摄像机视角大约为65°,索尼新品则达到约70°,宽视角使捕捉到的画面更加宽广。

索尼始终将用户的体验摆在第一位。以校园为例,老师在上课的过程中,可能会用到很多工具,电脑、翻页笔、话筒等,如果想转播课程,可能还需要在现场配备多名操作人员,对课堂环境有很大的影响。在使用场景中,老师肯定是希望场景中的设备越少越好,最好达到无感的操作环境,不影响上课。PTZ智能中心构图摄像机SRG-A40/A12 能做到的就是自动化操作,不需要过多的人员在现场,干扰课堂。


我们不想让硬件加重老师的负担、剥夺了教师本该履行的职责,更不能让他分心。我们做产品一定不能脱离教育本身的逻辑。


在教育智能化的探索过程中,索尼一直希望可以提高技术支持。从摄像机实现图像的采集、吸顶麦克风实现声音采集、再到商用显示器实现图像显示等,索尼专业产品都可以在教育环境中呈现。


具有人工智能分析功能的PTZ智能中心构图摄像机正在逐步改变教育场景化的未来,基于人工智能技术呈现出的高清影像画质,为还原一堂精彩纷呈的沉浸式数字课堂提供了强有力的技术支持。


以上就是我们今天关于索尼智能硬件的分享。感谢大家。

# 04

Q&A


与观众互动交流


提问:您好,我是元宇宙硬件销售代理商,也是一个消费者,摄像机这种场景我们经常会应用到,我们公司开线下沙龙就需要摄影师,不同的分享者间隔时间有长有短,这样的情况下,是不是后台需要有一个人操作?

贾导:比如今天有三位嘉宾,轮流演讲,如果时间过长,为了保证会议效果,最好有一个人在后台进行手动选择,然后保持准确构图和跟踪,选择哪位演讲者,镜头就会一直跟着他,可以是嘉宾自己通过系统点击选择,给他设计一个很简单直观的操作界面,也可以是后面一位工作人员进行辅助。




提问:我是一家咨询公司的市场分析师,比较关注咱们现在这套解决方案在教育场景是不是已经有落地?如果没有的话,未来期望的落地方向有哪些?

贾导:这个产品今年1月31号全网发布,真正供货是6月初,在这之前进行了很多线下市场推广活动,例如在全国进行的11站线下推广沙龙活动等。

我们的第一个案例来自于纽约大学上海校区,他们的学生有的在国外通过线上上课,有的在线下,他们的用法是把我们这些AI功能都用上,并且能够通过索尼免费的虚拟摄像头驱动软件,很方便接入到软件平台,不需要采集卡。

在国内,我们还和东亚银行等进行合作。

关于我们的销售规模和预期,目前大部分市场还是留给国内的录播一体的平台,而索尼这部分切入的目标市场有所不同,索尼的摄像机在国内的教育领域更多的是针对精品的AI智能混合课堂,而不是泛市场的录播系统。



提问:这个摄像机能美颜吗?

贾导:这个功能我们产品暂时没有加入,但是在新产品的设计时,会审慎的考虑用户的需求。索尼影像产品一直以来坚持真实还原,例如我们的相机、摄像机的使用者大多是进行艺术创作,因此索尼呈现的是一个没经过任何处理的原生画面,在这个基础上他们进行二次创作。但未来在教育、工作场景中如果客户有这方面需求,根据市场反馈,我们会考虑进行功能升级。




提问:大家非常关心的一个问题是,跟踪老师到讲台的时候,板书或课件是否能看得清楚?

贾导:我们今天的这款机器是一款4K摄像机,纽约大学之所以选择我们,原因之一就是因为我们拍的板书很清楚。另外,采用索尼的另一款AI设备,可以把板书提取出来,在老师的前面形成板书的画面,从后面提取到前面,让线上线下的观众,通过显示器可以清楚看到板书。课堂中最主要的信息是板书,板书的前置提取,都可以通过影像采集和AI分析的技术实现。




提问:如果是两个老师在台上,摄像机怎么追踪呢?

贾导:目前来讲,如果两个人都出现,两个人脸上都有选框,自动模式会优先选择第一个进来的人。也可以手动干预进行点选,这是1.0的版本。

未来是会考虑一个问题,如果这两个人是分道扬镳,你往这边走,我往那边走,怎么办?PTZ摄像机是物理云台在动作,AI算法给出云台指令到底跟谁,这有一定的逻辑难点,索尼也在研究这个场景的下应该给出什么样合适的构图。

本文为作者 索尼中国 专业 分享,影视工业网鼓励从业者分享原创内容,影视工业网不会对原创文章作任何编辑!如作者有特别标注,请按作者说明转载,如无说明,则转载此文章须经得作者同意,并请附上出处(影视工业网)及本页链接。原文链接 https://cinehello.com/stream/149106

索尼中国 专业

点击了解更多
向中国专业制作领域介绍索尼专业解决方案,支持广大节目制作人员深入了解索尼前沿影像技术和专业系统解决方案。