发烧学堂：手机AR怎么建造另一个世界？

2024-12-13上海AR开发专家

• 
     单说
  AR技术
  也许有些人会觉得陌生，但AR技术已经融入了我们的生活中。相信经常使用百度地图的用户已经发现，AR实景导航已经加入地图中，开启后透过后置摄像头可以在实时场景中指出路线，对于广大路痴来说，可以说是拯救级别的必备工具。当然比较知名的还有之前风靡一时的《
  Pokemon
   Go》游戏以及春节期间AR找红包活动。可以说，AR技术已经在休闲娱乐、实用工具方面都有了可观的发展。
  手机AR怎么建造另一个世界
      如果这些例子还不足以引起你的兴趣的话，那么科幻电影里那些可以实时显示外界信息的眼镜肯定可以引来你的目光，这其中的大部分功能都是对AR技术的应用。AR全称Augmented Reality，即
  增强现实
  。简单的说，它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。现在还没有像电影中一样的
  AR眼镜
  ，但已有其雏形出现过，那就是谷歌的Google Project Glass。
  Google Project Glass
      Google Project Glass镜片上配备了一个头戴式微型显示屏，它可以将数据投射到用户右眼上方的小屏幕上，显示效果如同2.4米外的25英寸高清屏幕。并且可以根据环境声音在屏幕上显示距离和方向，在两块目镜上分别显示地图和导航信息，当用户盯着一栋建筑、一座地标时，关于这个建筑、地标的信息会即刻出现在镜片上。谷歌眼镜还会帮助佩戴者找到周围的朋友。虽然由于种种原因第一代的谷歌眼镜并没有获得广泛的推广，但却让我们看到了AR广阔的前景。
      AR技术听起来十分简单，但其技术含量却远远超过我们表面上看到的这些。一个典型的
  AR系统
  结构由虚拟场景生成单元、透射式头盔显示器、头部跟踪设备和交互设备构成。其中虚拟场景生成单元负责虚拟场景的建模、管理、绘制和其它外设的管理；透射式头盔显示器负责显示虚拟和现实融合后的信号；头部跟踪设备跟踪用户视线变化；交互设备用于实现感官信号及环境控制操作信号的输入输出。
  AR原理（图片引自腾讯）
      透射式头盔显示器采集真实场景的视频或者图像，传入后台的处理单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；交互设备采集外部控制信号，实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在头盔显示器中，展现在人的视野中。
      手机AR则是将整个AR系统整合到一部手机上，摄像头负责采集图像，处理单元对其进行分析和重构，实现坐标系的对齐并进行虚拟场景的融合计算，交互也是通过人和手机的交互实现，处理后的图像就会显示在手机屏幕上，从而实现现实增强效果。
  AR测量（引自Laan Labs）
      在前不久的WWDC 2017大会上，
  苹果
  宣布在iOS 11中带来了全新的增强现实组件
  ARKit
  ，此举被称为苹果迈进AR领域最坚实的一步。而在这不久，便有很多与ARKit有关的消息传出。据悉，目前通过iPhone的AR功能可以实现测量距离，而且数据相当精确，通过AR和现实中尺子的对比说明了这一点，可以看到AR测量的跟尺子测量的完全一样。YouTube用户Matthew Hallberg用更是苹果ARKit做了一款AR版《
  我的世界
  》的demo，在AR版《我的世界》中，玩家可以用AR技术把自己的世界叠加在真实世界上。
      在苹果ARKit之前，谷歌的Project Tango已经有了比较显著的发展。Project Tango是在谷歌在Google Project Glass失败后针对智能手机的增强现实项目，通过一系列摄像头、传感器和芯片，能实时为用户周围的环境进行3D建模，通过手机屏幕，能够将虚拟物品呈现在真实环境中。其中典型机型就是前不久刚刚在台湾上市的华硕Zenfone AR。
  ZenFone AR
      ZenFone AR是继联想的Phab 2 Pro之后的第二款Tango手机，也是第一款同时支持VR和AR的智能手机。华硕为了在Zenfone AR实现Tango技术，为其专门设计了三镜头系统，包含了能够追踪用户的动态追踪镜头、测量自身周围环境的深度感应镜头，最后再加上扑捉现实环境的2300万像素主摄像头。能够精准的记录、绘制三维空间信息，让虚拟和现实完美结合。
      当然，苹果ARKit和谷歌Project Tango也是有区别存在的。
  谷歌Tango运行条件（图片引自界面）
      谷歌的Tango手机依靠堆硬件来满足AR技术需要的各个条件：运动追踪、深度感知、区域学习。Tango手机需要一颗鱼眼镜头和一颗红外传感器，等同于刚才提到Zenfone AR追踪用户的动态追踪镜头、测量自身周围环境的深度感应镜头。动态捕捉和深度感知后还需要进一步的对数据进行整合，Tango手机一旦检测到这个场景中有和之前某个场景中的深度和特征点匹配的点，就会将两个场景结合，最后经过一段时间的学习，所有新场景都会被Tango手机记住并且构成一整套空间，这就是区域学习。
  基于谷歌Tango的
  AR游戏
  （引自17173VR）
      苹果ARKit则是通过单摄像头实现的。ARKit使用一种称为“视觉惯性测距”（visual-inertial odometry）的技术，将来自iOS设备如iPhone/iPad的运动传感器的数据与设备相机可见的场景相结合，ARKit得以识别场景图像中的特征，并在用户移动装置时，追踪相机里这些特征在位置的变化。这种技术不在空间中创建3D模型，而是将对象“钉”在某一个点上，在现实中改变其比例与视角。
      所以两种方案的优劣也显而易见，谷歌Project Tango能够获取更加全面的环境信息，但缺点在于需要较为复杂的硬件支持；苹果ARKit单摄像头附加运动传感器就可以实现，但无法实现深度感知，所以无法用于复杂的场景和功能。
  百度地图AR导航（图片引自搜狐）
      而我们现在接触到的大多数AR功能，都跟苹果ARKit的原理类似，是没有进行深度感知的。就拿笔者在文初提到的百度地图AR导航来说，在室内打开后仍有方向指示（此时位置与定位位置不匹配），由此笔者推测其并不是根据实际场景进行计算导航，而是地图数据导航与实时场景的叠加。由于其他
  AR应用
  笔者并未接触过，所以在这里不多加评论，但想来现在大部分人接触到的AR都是通过简单的图像叠加实现的。
      由于谷歌Tango技术较早的面世，目前已有不少基于Tango的应用和游戏被开发出来。比如可以用AR试衣，GAP公司在拉斯维加斯的CES大会上发布了一款应用程序DressingRoom，可让用户在增强现实体验中试穿衣服，该应用会把虚拟影像叠加在真实世界上，用户可以移动虚拟化身，通过不同的角度查看穿衣效果。
  家居选购（引自硅谷密探）
      另外比较实用的就是购物，尤其体现在家居家装类。用户可挑选该场馆中的虚拟家居产品，并在手机上看到真实空间中1:1的摆放效果，并且可以移动和旋转商品，商品会自动贴合场景，当有多个商品存在时，彼此会保持相对位置，实际体验的效果十分真实。
      当然对于手机AR技术的应用不仅仅于此，未来AR的发展显然会实现更强的实用性和娱乐性，而且随着AR技术的发展与完善，在使用体验上也会有较为长足的进步。