近年来,增强现实由于有望成为下一代具有革命性的新计算平台而受到政府、学术界和明升界前所未有的关注。
《国家创新驱动发展战略纲要》将增强现实(AR)技术列为我国创新驱动发展战略的重要主角之一;工信部发布的《虚拟现实明升发展白皮书5.0》认为AR/VR(虚拟现实技术)将成为我国新技术经济的重要支柱明升;多个关于AR的项目亦被列为国家重点专项项目。
学术界对AR的相关基础理论的研究也投入了巨大的热情,并取得了丰富的研究成果。明升界,微软、Google和Facebook等IT巨头纷纷在该领域进行战略布局,抢占相关市场;各种AR初创公司纷纷成立;AR相关技术和企业成为各种商业资本追捧的对象。
虽然AR被明升界追捧,但市场上却鲜见AR的成熟产品。AR发展的现状到底如何?AR还面临哪些难解的理论问题和技术难点?AR未来发展的方向是什么?在明升官网计算机学会青年科技论坛(CCF YOCSEF)举行的“增强现实技术现状与展望”手机版会上,来自学术界、明升界的相关学者和专家,共同讨论了增强现实研究的最新进展和未来趋势。
技术尚未成熟
人们认为Ivan Sutherland(图灵奖得主、计算机图形学之父)在1965年创立了虚拟现实的理论基础,他描述了“终极现实技术”:终极现实技术是利用计算机控制物体的空间。在这个空间里呈现的物体近乎完美,像爱丽丝梦游仙境一般。
北京理工大学教授刘越介绍,与当时的系统相比,Ivan 提出用户应该能和虚拟环境交互,他开发了第一台功能头戴显示设备,标志着增强现实的诞生。因此,Ivan的研究成为虚拟现实的理论基础,他用半透明的镜子作为图像显示,并同步合成了CRT显示器(阴极射线显像管)显示的计算机图像和真实环境。另外,Ivan用机械方法和超声波传感器测量用户头部的位置,这能确保图像重叠和真实环境的正确注册。
增强现实并不像虚拟现实那样把人们置身于完全合成的虚拟世界,而是将合成的部分嵌入到现实环境中或现实生活视频中。浙江大学CAD&CG(计算机辅助设计和高级绘制语言)国家重点实验室教授鲍虎军指出,这样就会有个基本问题:真实环境远远要比完全虚拟的合成环境复杂。
“增强现实技术旨在将虚拟和现实环境融合起来,以增强用户对现实环境的感知,是当前信息技术领域的前沿研究方向。”鲍虎军介绍,长久以来,限制增强现实技术发展的主要是计算能力和算法,及如何做出更小更轻的硬件。
AR所依赖的控制、计算机视觉等一系列技术仍尚未成熟。针对标准的头戴式显示器,AR只能通过语音和手势操控,但语音和手势操控技术可靠性还不够高,无法广泛应用。刘越表示,对于计算机视觉,AR头戴式显示器依赖于摄像头拍摄现实画面,才能在现实影像上叠加虚拟信息,但这项技术看似简单,实现难度却非常大。
鲍虎军表示:“实现AR最大的挑战之一就是计算能力。计算机视觉的算法必须非常强大,才能让机器理解事物并精确追踪物体。目前,只能采用更加强大的半导体,否则很难在功耗低的移动设备中实现计算机视觉能力。”
重构绘制图形流水线
“要实现AR,网络必须能处理大量现实世界数据,识别并准确测量现实物体,然后将虚拟信息反馈到这些物体上。”鲍虎军表示,合成的虚拟信息(通常是三维图像)和真实环境的准确、有效地注册非常重要。为了达到这个目的,对于正在移动的用户,系统必须持续地判断用户在环境中的实时位置。“增强现实信息和真实环境有很强的链接,是一种空间上的联系,我们将这种联系称之为‘注册’。”
因此,“追踪”和“注册”问题是增强现实技术的主要挑战。鲍虎军介绍,对增强现实应用来说,精确、快速、健壮地追踪观测物,并且很好地融合虚拟物体和现实世界很重要。通常,我们可以通过全局坐标系下的绝对位置追踪来分辨从外到内或是从内到外。第一种是用环境中的固定传感器来追踪运动目标;第二种是用运动目标本身的传感器。这些传感器可以判断它们与环境中特定标记的相对位置,这两种方法通常是用是否使用摄像头来区分,但它们也可以用其他传感器来描述。
为了提高计算机视觉能力,鲍虎军团队目前正在攻克重构绘制图形的流水线,“将计算数据拆分,一部分放在云上,一部分放在移动端。”鲍虎军介绍,“由于场景数据太大,如果都放在移动端,直接迁移并不现实。”其核心原则就是与端无关的数据放在云上,与端相关的数据则有两个处理办法,“程序将自动感知用户的计算能力,如果移动端能力足够强,就将数据直接迁移到端;计算能力弱的话,就放在云这一边”。这样一来,端优化定制的功能得到体现,在这个场景当前的数据根据网络带宽性能、能耗等状态来分配数据量,“每一个场景的算法都是优化定制的,这是我们的目标”。
触觉交互“隔空”探物
要使用户体验身临其境的感觉,视觉增强只是其中的一个分支,包括视觉、听觉、味觉、嗅觉在内的多感官模拟技术,也将成为未来计算机发展的主要方向。而计算机触觉交互技术则是北京航空航天大学教授王党校的研究方向。
计算机触觉或称触(力)觉交互技术,可以使操作者通过运动或力等形式感知虚拟环境中物体的粗糙度、纹理、温度、振动和刚度、硬度、重量以及操作力等丰富的外界环境信息,从而使操作者体验到如同操作真实物体的触觉感知效果。
虽然创造触觉系统有多种方法,但大都有两个非常重要的共同点——当操纵者的虚拟形象与物体发生交互作用时决定力度大小的软件,以及可以将作用力反馈给操纵者的设备。“软件进行运算的过程被称作触觉再现,这种三维物体可以模拟出各类表面材质。”王党校说,“比如网购的衣服,客户可以‘隔空’感受衣服的质地。”
计算机触觉技术与计算机图形学、触觉心理学和机器人技术密切相关。王党校介绍,目前,计算机触觉技术的研究和应用领域主要集中在:手术模型、机器人主从控制、产品虚拟样机设计、游戏和娱乐、明升体育app计算可视化等。
“计算机触觉技术是新一代人和计算机交互的关键技术。”王党校说,使用者将真正体会到和虚拟世界的交互。“力觉和触觉反馈的研究必将促进计算机体系结构和硬件、软件技术的发展,也必将促进对人类自身的认识和理解”。