欢迎来到8虎体育

【创业说】虞晶怡:以光场技术重构未来的“观看”之道

keji 2019-06-11 23:18:24

中新经纬客户端6月11日电(驻上海 樊中华 郁玫)设备打开,身处世界各地的与会者以全息影像出现在同一间会议室;走进商场,只需一张全身像就能通过AR试遍所有心仪的服装;非物质文化遗产以栩栩如生的方式被观摩学习…在位于上海科技大学的光场实验室中,这些看似科幻的场景已经部分地成为了现实:绿色幕布围绕的光场动态采集内,80个静态相机和60个动态相机以360°环绕,全方位的光线信息采集通过深度运算,可以使人的三维数字形象瞬间出现在场外的另一处,举手投足,流畅清晰。

“光场技术能够模拟人眼去看世界,像人眼对焦获得的3D+信息一样,获取物体的全部信息细节,这就使智能图像分析可以获得目前通常使用的2D影像所不能的信息。”上海科技大学教授、叠境数字创始人及首席科学家虞晶怡介绍说,“光场技术真正将人工智能的感知、认知、行为三个部分结合起来,是对当前人工智能认知技术的巨大颠覆。”

【创业说】虞晶怡:以光场技术重构未来的“观看”之道(图1)

上海科技大学教授、叠境数字创始人及首席科学家虞晶怡 受访者供图

重建“观看”之道

光场是指光在空间中辐亮度的空间和方向分布,是对光线在空间传播时的完整描述。与很多已大规模落地的二维人工智能技术不同,光场技术对于大多数人来讲仍是一个十分陌生的词汇。

但据虞晶怡介绍,早在2000年,世界上第一个光场相机阵列就诞生在MIT,彼时他正在MIT读博士。“光场技术我们已经做了大概20年,到2015年左右,发现数据、算力与成像本身都达到了可以实现场景落地的程度,”虞晶怡说。2016年,他作为联合创始人,创立了叠境数字。

“叠境”这个看起来略带诗意的词汇并非随意得来,它源于“数字孪生”的概念。“一个物理世界必定存在一个与之孪生的数字世界,真假两个环境相重叠,即是叠境。”虞晶怡解释道。

虽然当前图像识别已是人工智能应用领域中最为成熟的技术,但2D图像所能的数据信息有很大局限性,无法实现从物体感知到认知的进化。换言之,在2D的图像识别下,例如个性化试穿衣服的场景是无法实现的,因为没有足够的图像信息去建构起一个具有个体特征的三维人体。

同样,近年来大热的VR/AR技术也有为人诟病的一面,无法摆脱的头盔眼镜、清晰度与真实感的相互掣肘、难以避免的眩晕感等,都使3D技术的应用局限于小范围的娱乐领域。

而光场视觉则从光线的角度另辟蹊径,由多相机阵列和深度相机结合来采集光线,再通过后期的软件算法自动处理完成物体的光场重建,呈现真正虚实难辨的3D效果。

“我们第一次使用了深度学习的方法,将物体的感知与认知结合在一起,在通过光场采集三维空间所有光线的同时,进行物体的对焦和识别,包括物体的材质等细节,实现快速的认知,这是模拟人眼的观看功能。”虞晶怡表示。

在光场“人眼”的捕捉下,深度学习使物体的快速高逼真度重建、超高精度微观还原成为可能。同时,双目视觉、动态焦距、移动对焦等技术实现了人眼所能达到的景深信息获取,解决了传统3D体验中的眩晕感难题。

光场应用爆发:静待5G花开

尽管“光场”这一名词还未为大众所熟知,但它所造出的虚拟之境已经应用在为数不少的场景中。如2017年的阿里巴巴“造物神计划”上海博物馆的虚拟博物馆建设、一大会址VR全景、“功夫世界杯”光场建模等,高精度的智能视觉开始为人的日常观看体验重写定义。

虞晶怡认为5G技术的成熟将会为光场技术的大规模应用带来契机,而2019年无疑是一个重要的节点。“比如我们现在就在为一些手机厂商定制,围绕一个人拍一圈,就能得到他的3D模型,而在5G时代,仅需拍一张照片,就可以得到3D模型,传统的2D或图片变成3D,数据量会有大幅上升,正好契合5G对大流量入口应用场景的需求,届时,全息通话、全息远程教学等等都会产生颠覆性的变革。”虞晶怡表示。

这种变革是可以预见的,最直观的便是,当人群可以以全息的方式聚集,拥挤的远程通勤与忙碌的“空中飞人”都将不再必要,人类在应对距离与速度上再进一程。

同时,光场技术的应用也使3D技术不再局限于文娱领域。虞晶怡展示了2018年进博会中与阿里合作的光场交通分析,在传统的中,固定视角的摄像头需要分多屏进行观察,关联性差,但光场将全部镜头串在一起做了3D化,具有亿万级像素的清晰度。“我们第一次实现了从上帝视角来看车辆的流量走向,并可以随时切换任意角度,这对于城市交通将是一个非常便捷的改变。”他介绍道。

做产学研结合的“上科大”样本

作为上海科技大学信息科学与技术学院教授和博士生导师,虞晶怡更加享受教学的过程,在他看来,学生才是创新的未来。

为什么选择上科大?虞晶怡告诉中新经纬客户端,上科大有独特的产学研模式,首先体现在学院内不设科系划分,而是按照研究领域划分为智能视觉、网络安全、雾计算、智能医疗等七大中心,鼓励不同领域的教授交叉合作;其次则是实施已国际评审为基础的终身教授制,不以著作论文论英雄,保证真正兴趣领域的科研工作不扰;第三是使用核心专利授权的方式鼓励教授参与创业,真正实现产学研的高度结合。

在虞晶怡看来,这样的模式既保证教授具有独立科研和创新的精神,又能进行交叉性合作,“这是上科大非常特殊的地方,有自由的创新空间、鼓励独立的研究能力,以及创新的合作模式。”

谈及做产学研的经验,虞晶怡认为,作为教授先要“get hands dirty(自己动手亲力亲为)”必须了解创业的艰辛,走在业界应用前沿,才能更好地指导学生了解行业痛点,让他们自己去发现解决一些问题,成为问题解决型人才,而不是考试人才。

“上科大一直鼓励学生做一些非常前沿的、创造性的工作,在大二以后就让他们到实验室来,通常留给他们的问题都没有唯一的答案,也没有时间限制,需要他们自己独立思考和实践,他们都非常刻苦努力。”虞晶怡介绍说:“2018年毕业的第一届学生吕文涛曾承担了一个亿万级像素实时浏览的项目,他花了整整三个月时间写出了这样一套操作,在去年进博会期间进行了展示,颇受好评。”

这个140亿像素的实时浏览远能看到浦江两岸全景,放大后近能看到浦江游轮上落着的一只鸟的清晰神态。“这是上科大一个本科生完成的,很了不起。”虞晶怡的语气充满了自豪。

“中国学生的基础理论、数学训练都非常好,高校应该赋予他们更加自由开放的创新空间,而不是迫使他们往一个既定的方向走,科学应具有创造精神。”虞晶怡说。中新经纬APP

网友评论

提交评论
相关文章 TOP ARTICLES
文章排行 TOP ARTICLES