浅谈手机AR的缺陷及可能性解决方案

2024-12-22上海AR开发专家

• 
  移动时代将个人电脑和互联网的力量放在我们的口袋里。我们突然之间可以在旅途中搜索答案并消费信息。对于
  增强现实
  ，许多人认为这是下一代主要的计算平台。
  A16Z的Benedict Evans认为AR可能是继移动之后的下一个基本平台转变
  但AR要达到这个阶段，它不能仅仅只是移动一种边际改善。实际上，如果AR只是移动的边际改变，这种技术将就不会获得足够的速度来摆脱移动范式的轨道，并且成为最终的主流。
  AR在本质上允许我们，及时地，无障碍地，以及无屏幕地从源头中存取知识。时髦的AR眼镜尚未解决无屏幕问题，但我们至少可以解决前两个因素。苹果ARKit和谷歌ARCore正朝着正确的方向迈进，但它们只是支持为移动应用创建增加边际价值的新颖功能。我们目前仍处于AR平台创建的初期阶段，所以我们还有很多工作要做。这篇文章的目标是说明一种可能的AR用户之旅，为什么我们不能仅仅只是依靠ARKit，以及实现AR真正的承诺到底需要什么。
  每个计算平台都是由少数几家公司引发和定义。目前我们正处于增强现实平台的“创造”阶段，几乎没有脱离移动的范例
  1. 未来的AR城市
  这是一个熙熙攘攘的星期六，你正在塔乘地铁去和好朋友一起吃午饭。在即将到达站点的时候，一条绿色指示线将出现，指引你如何走过地铁站并最终到达餐厅。随着你走过车站，空白的墙壁上将会出现迎合你兴趣的虚拟品牌店。你会注意到H＆M刚刚进货了一系列的新款夹克，这时你可以询问AR眼镜夹克具体的价钱，然后把它们保存在你的愿望清单中。
  景点，方向和其他有用的信息都可以随时随地无缝融合到现实之中
  很快你就走出了地铁站并来到大街，而朋友曾在Facebook上提及或在大众点评过的店面将会突出显示。一辆旅游缆车经过，而你会看到一张面向你的路线图。突然之间，你发现《宠物小精灵》游戏中的队员在喷泉后给你留下了小精灵蛋。于是你留下了一个大大的红心表情符号来表达你的感谢。这时，绿线指示线变成了闪烁的黄色，提醒你要加快脚步，不否你将会迟到。
  这是一个增强城市的愿景，亦即数字（有用的数字信息和幻想的数字信息）能够与现实世界无缝融合。引用
  苹果
  执行总监蒂姆·库克的话来说就是：“增强现实将会改变一切”。然而，今天的工具尚无法帮助我们实现这一点。要理解具体的原因，我们首先要理解
  ARKit
  的功能与局限。
  借助世界尺度的AR，整个城市都可以成为你的游乐场。这是演示应用程序中的一个实时画面，其中篮球可以识别建筑物，并在墙壁之间和汽车之间跳动
  2. 当前的ARKit应用
  我们再次从上文提及的相同场景开始，但这一次我使用的不再是AR眼镜，而是智能手机上的ARKit应用程序。应用程序开始检测最多离你15英尺远的水平面，如地面或汽车车顶。然后应用利用检测到的平面作为锚点来放置3D数字对象，这样当你移动手机的时候系统仍然能粗略保持对象的相对位置。
  但是，你将会注意到以下几点：
  数字对象无法持久存在，同时不具备社交性。这意味着这些对象在用户在关闭应用程序后就会消失，而且另一个走过同一位置的应用程序用户无法查看这些内容。简而言之，没有持续性+没有社交性=孤独的AR体验。
  你每次都必须重新扫描场景才能启动AR体验，因为系统没有保存任何世界模型。所以在你每次重新启动应用程序时，应用都会从周围的空白版面开始。这给用户体验增加了很多不必要的摩擦。
  ARKit应用无法检测垂直平面或距离太远的平面（摄像头的感知范围无法覆盖那么远的远距）。如果应用程序无法检测到平面，它将无法与之进行交互。
  此外，ARKit应用依靠智能手机中的GPS和指南针/磁力计来估算你的位置并将数字对象放置在正确的位置。这在精度上可能不太可靠，特别是在城市之中（你是否还记得百度地图时的“南辕北辙”指示呢），这意味着星巴克的评分可能被错误地显示在麦当劳身上。
  由于存在这些限制，大多数AR应用程序仅限于平面或所谓的“桌面AR体验”。这种应用只能带来新颖的功能，但在实际上无法驱动日常用例。你是否每天都会通过宜家应用来可视化数字家具呢？
  为了帮助AR走向主流，我们需要为其带来情景性，及时性，持久性，可扩展性，以及能效性。AR社区将所需的突破性解决方案称为AR Cloud（AR云），业界资深人士Matt Miesnieks将其定义为“现实世界的机读型1：1比例模型”。我们的AR设备将成为这个平行虚拟世界的实时接口，而后者将能完美地覆盖在物理世界之上。”
  3. AR Cloud
  将如何增强ARKit
  简而言之，AR Cloud将可以令ARKit/ARCore在基于位置的AR应用程序方面变得更加强大。以下是说明了我们是如何解决当前平台的一些限制：
  我们使用卫星图像（天空视图）来绘制出真实世界的精确3D模型，并继续检测和转换地理空间特征（如建筑物和城市景观），然后将其转换为机器可读的格式。接下来，AR Cloud引擎将通过视觉处理来分析你周围的特征（地面视图），从而即时地和准确地定位你的位置和方向。这可以通过任意摄像头实现，如智能手机，头显，甚至无人机。
  通过结合天空视图和摄像头提供的地面视图，AR Cloud能够确定你在世界上的位置，并且识别你的周围环境
  现在，ARKit可以利用这些AR Cloud衍生的地理空间测量来减少手机GPS和内部传感器的定位误差，并且精确检测街道级别的3D特征，如地形高程，建筑物表面（垂直平面），甚至是树木的变化。另外，通过将ARKit的网格计算限制在场景中的一些有限对象（即人和车），应用程序将可以节省大量的电量。
  4. 世界尺度的AR
  简而言之，AR Cloud能够帮助同一个ARKit应用程序充分利用你周围环境的潜力，并且解锁大量的创意设计和社交应用。所以，现在皮卡丘不仅只是可以行走在地面上，它还可以从墙壁上跳下来或者躲在雕像后面。你同时可以想象“星球大战”中Porgs小企鹅冲过公园，跳过长椅。以下部分素材来自于我们内部创建的应用程序：
  AR应用程序Vortex Ball的真实片段。
  具备社交性的有用AR：留下数字红心，让朋友发现或看到视觉指引和兴趣点（如餐馆，剧院，景点）
  情景感知的数字对象（黄色），如猩猩爬上建筑物，牌匾从墙上伸出，小偷溜过角落，兔子躲在灌木丛中等等