刘 禹 本报记者 王 春
前不久,在嘉兴召开的2017国际VR/AR技术与产业大会上,叠境数字科技(上海)有限公司创始人、上海科技大学虞晶怡教授利用虚拟现实领域的一项全新技术——光场技术,将同会的外籍嘉宾栩栩如生地展现在手机上,引起了全场热议。
光场技术模拟人眼,是介于建模和计算机渲染之间的技术。在光场技术构建的场景里,用户可以走动,从不同的角度和距离观察事物。最重要的是,光场技术还能再现物体的光泽和材质。因其真实性远超国内主流技术,虞晶怡认为这是目前还原物体真实性唯一的方法。
虞晶怡笃定地说:“光场技术将成为VR/AR行业的投资焦点。”
国内VR行业在“吃老本”
“严格来说,国内VR领域的企业缺乏核心技术。”谈及技术,虞晶怡毫不留情地说。
目前,VR内容制作主要有两种主流方法:一是利用全景相机拍摄360度视频,即360度环拍技术;二是利用更加高端的软件建模技术,利用计算机工具打造更具沉浸感的VR游戏或视频。但在虞晶怡看来,这些都不是VR内容制作最理想的方法。
大约20年前,出现了一种影响深远的虚拟现实技术,叫做QuickTime VR。这项技术很简单:拿手机拍一圈,把照片拼成一个360度的图片,现在手机上就能实现这个功能。“现在市面上很多做虚拟现实的公司就是用的这样的技术!1996年的技术!”
“360度环拍技术最大的问题就是无法实现动态视觉。”虞晶怡解释说,人眼重叠的区域特别大,在重叠区域里,由于左眼和右眼看到的东西一样,就会形成动态的视野,这就是人眼的3D识别。然而,360度环拍技术无法实现这一功能。
早在1995年,苹果就发布了一款主要拍摄360度图片的QuickTime VR相机。虞晶怡也于1999年创业试图将QuickTime VR相机的技术运用到旅游上,并用360度环拍技术拍摄了拉斯维加斯赌场等地的全景照片,但最后却发现做出来的全景照片并不怎么吸引人。虞晶怡认为这个问题到今天依然存在。
同样,软件建模技术虽然更加高端,但不够真实的缺点依然存在。现在很多虚拟现实应用场景,如VR看房,都是采用三维建模实现的——需要先建模、贴“皮肤”以及大量的人工,而且不可能做到非常精细,导致最后的效果相当粗糙。
模拟人眼,所见即所得
什么是光场技术?虞晶怡举了个例子:“人眼就是两个天然的光场捕捉器。”人眼观看3D世界觉得真实,是因为双目视觉看到的是立体而非平面图像,在三维空间围绕观看可实现360度的视觉构建,而且人眼具有对焦功能。
人眼之所以能够实现这些复杂的功能,是因为人眼采集光线空间。而光场技术就是把人眼看到的光线空间采集下来,再将光线进行重组,可以让虚拟现实模拟出人眼基于距离对物体聚焦、移动的效果,捕捉光线信息,重现三维世界。
叠境科技用广角摄像头模拟人眼,只不过不是两个摄像头,而是由至少上百个摄像头组成的相机矩阵。典型的中型场景光场拍摄方案,是由140个相机(包括80个静态相机和60个动态相机)组成的对内环拍摄影系统,可以从任意角度对物体进行拍摄。
拿一堆相机拍摄的时候,一个最大的问题就是遮挡。因为遮挡,哪怕140个相机对一个人物进行环拍,也不足以呈现人物的全部。“同样,人的眼睛不光有几何,还能看到材质。这些材质信息是超越几何的。”人之所以能够判断材质,原理还是光场。当转动脑袋和双眼的时候,物体上面的光发生了变化,光的信息蕴含了材质的信息。
如何解决这些问题?叠境科技的方案是为“眼睛”配备一个“大脑”。借助计算机视觉和深度学习,把每一帧的时空信息集合在一起,就可以产生非常好的3D重现效果。同样借助深度学习,模仿人类判断材质的学习方式,大量采样,经算法处理呈现出材质特征。
另一方面,叠境科技多摄像头的数据采集方式也带来了海量的数据。如何才能以最快的速度处理完这些海量数据,便成了相机矩阵光场技术最大的技术门槛。据虞晶怡透露,叠境科技研发的光场数据压缩技术,已经可以将1.5G的数据压缩到30M左右。
仅一年时间,叠境科技就建立了一整套以光场采集、捕捉、显示为核心的VR/AR解决方案,可制作物体和动态人物的360度3D光场采集、建模和渲染以及光场VR/AR内容生成,向内环视和向外环视360度3D视频直播。将全球最顶尖的光场技术引入到虚拟现实领域,很大程度上解决了虚拟现实体验差的问题,给虚拟现实行业带来了巨大的变革。
国内应用步步展开
应用方面,叠境科技的光场技术首先可以用于三维建模。相比传统的建模方案,叠境科技采集了真实物体的光线信息,所建立的三维模型更加真实。目前,该技术已经在上海博物馆、淘宝“buy+”计划等案例中得以应用。
据虞晶怡介绍,针对不同的应用场景,光场技术将有不同的应用方式。一种是小型光场:针对具体物件,可以更加完整全面地展现实物,给用户更直观的体验,在电商领域将有巨大应用与突破。在去年淘宝“双十一”发布会上,叠境科技展示了用光场重建的唐三彩。面对材质复杂的模型,光场技术不但实现了捕捉不同视角观看物件产生的光影效果,真实再现了唐三彩的质感,还用压缩与渲染的方法完美植入到淘宝卖家平台。亚马逊看到这一应用后,也开始积极发展这项技术。虞晶怡透露,几个月后,用户将可在手机端看到自己的光场渲染器。
在人物拍摄为主的中型光场中,光场技术可以快速复现动态人物,一台电脑几分钟就可以完成全过程,实现近乎实时的人物复现,未来将会在娱乐、电影特效、体育训练等方面大展手脚。
大型光场拍摄针对环境,可直接应用于房地产行业虚拟看房等场景。利用光场技术进行拍摄,可以更加真实地复现场景,并且允许用户走动,从不同的视角和距离进行观察,不久这项功能也会在手机上出现。
新化月报网报料热线:886 2395@qq.com
最近更新
- 【长三角日报】绍兴原市委书记马卫光,任杭州市政协党组书记2022-01-15
- 西安市新城区发布关于在外人员返乡有关事项的通告2022-01-15
- 大幅提速!长春中院首次适用二审民事案件独任制审判2022-01-15
- 天津津南检察:“既要抓好防疫,也要办好案件”2022-01-15
- 豫警文苑丨黑夜卡口,藏着最深的爱和最亮的光2022-01-15
- 全省法院实现诉讼费缴退费“线上办” 传统线下缴退费功能为何仍保留?2022-01-15
- 受疫情影响西安部分区县蔬菜滞销,亟需各方助力解决2022-01-15
- 恩施州6个重大交通运输项目集中开工!总投资32亿元2022-01-15
- 【15号用】3岗招聘若干人!45岁以下可报!五险一金+包食宿!2022-01-15
- 国际科技合作助推湖南优势领域提升国际竞争力2022-01-15
- 延安城区新增车位3100个 有效破解停车难2022-01-15
- 鸿星尔克入选2021年“诚信之星”!2022-01-15
- 菏泽农商行新兴支行开展包片行政村信贷产品推介活动2022-01-15
- 巩义市:党员“双报到”进社区 为民服务“不打烊”2022-01-15
- 广东珠海1月15日新报告1例本土确诊病例2022-01-15
- 大降价!阜阳即将启动2022-01-15
- 北京专报丨国家卫健委:天津疫情仍在持续发展,西安疫情进入收尾阶段2022-01-15
- 陕西对符合解除隔离条件人员 落实后续7天居家健康监测措施2022-01-15
- 信阳消防联合多部门 开展应急实战演练2022-01-15
- 城西区:“红色存折”让社区志愿服务更有温度2022-01-15
- 乘动车忘带身份证 可开电子证明2022-01-15
- 陕西组建2400人的省级医疗团队 支援本土确诊病例救治工作2022-01-15
- “德尔塔”与“奥密克戎”,救治有何不同?2022-01-15
- 手拉手共成长 长沙清水塘北辰小学孩子“牵手”湘西娃2022-01-15
- 抓整改 提标准 县住建局全力提升城市精细化管理水平2022-01-15
- 破防了!这家山东科技企业的暖心行动2022-01-15
- 临潼区:多措并举助力农业复工复产2022-01-15
- “这个嘉宾思路厉害”,市消保委委员张兆安做客《海波热线》特别节目2022-01-15
- 福州市副市长、公安局长王锡章带队到莆田市公安局考察调研疫情防控工作2022-01-15
- 合肥这家知名书店,新年再出发2022-01-15