仅凭 ARKit 无法推动 AR 大规模爆发，AR 云才是关键

2024-12-24上海AR开发专家

• 
  编者按：随着
  ARKit
  和
  ARCore
  的发布，尤其是前不久刚刚推出的iPhone X的诞生，都引发了业界对AR这个大趋势的讨论。不少人都认为，AR走进黄金时代。但是Ori Inbar在发表在Medium上的一篇博文指出，AR想要走进黄金时代，必须要有AR云的支持，文章中不仅介绍了为什么需要AR云，还详细解剖了AR云所需要的技术能力及发展情况、当前各大巨头在AR云领域的布局状况，以及创业公司都有哪些机会等等。本文作者Ori Inbar在AR领域已经有了10年从业经验，与人联合创立的公司（Ogmento——Flyby）被
  苹果
  收购，成为ARkit的基础。现在与人共同创办了专注于投资AR领域的风投Super Ventures。文章由36氪编译。
  随着苹果的ARkit和Google的ARCore的发布，
  增强现实
  （AR）应用已经具备了成为一种商品的能力。
  但到目前为止，AR的“大规模普及”主要是在
  AR开发
  者当中，并在YouTube上产生了大量的浏览量。不过，开发者们还没有证明他们的应用能够成为第一批新奇应用，并获得大量用户的支持。
  可以肯定的是，将会有一些超级热门的
  AR应用
  （如
  Pokemon
  Go），将会在iPhone和高端安卓手机上享受到新推出的AR应用的超级分销渠道。不过，我并不指望每天都有数亿人使用AR应用。
  基于ARKit&ARCore的AR应用就像是在1996年的时候，你一个人在网上冲浪，没有朋友。
  不要误解我的意思，ARKit的发布对于AR行业来说是一个好事儿，不过，促进AR应用的大规模采用将需要更多的因素。当AR体验通过空间、时间和设备等因素在现实世界中持续存在的时候。AR云将会产生。
  我希望iPhone X将引入一种关键的元素，让用户可以在AR云上看到更多的AR，而不是ARKit。这并不单单是一个后置式的深度摄像头，它应该可以让数千万台相机感知周围环境的形状，并为用户和用户提供一个丰富的、精确的3D地图。但这还没有发生，希望在下一个版本中会出现。不过，这只是减慢了AR云的创建速度，但它无法阻止对它的需求。
  新发布的iPhone X在机身背面还没有完整的深度摄像头功能。
  发布在2017年的伟大枢纽
  在过去的几年里，随着人们对AR和新型移动设备的了解越来越多，对AR的计算需求正在迅速增长。许多创业公司一直致力于开发与ARkit和ARCore类似的AR Tracking功能。不过，自从苹果和谷歌发布了相关成果之后，这些创业公司都在争先恐后地调整自己的定位，以继续冲击这个热门新潮。自然枢纽通常是跨平台的能力。一方面，这是一个合乎逻辑的堆栈提升，但另一方面，这个额外的薄层有多大的机会呢？而不是Unity已经提供了跨平台功能（在多个平台上进行部署）？这些创业公司难道不需要提供更强大的工具、服务和内容，来证明它们在新层上的存在吗？
  我倾向于在这些戏剧性的发布之后寻找积极的结果，所以我马上想到：Kit＆Core终于释放了技术AR创业公司解决这个困难问题的需要，并允许（聪明的）提升价值链，并专注于一个更有利可图的项目：AR云。
  AR研究人员和业内人士长期以来一直认为，在未来的某个时刻，实时3D（或空间）的世界地图——AR Cloud将成为计算领域最重要的软件基础设施，其价值远远超过Facebook的社交图谱或谷歌的页面排名索引。
  我在增强现实（AR）工作已经有十年了，我在2009年与人联合创立的公司（Ogmento——Flyby）被苹果收购，成为ARkit的基础，有趣的是，在收购之前，同样的技术也被授权给了Google Tango。我也共同创立了AWE（专门针对AR的会议）和Super Ventures（专注于AR的投资基金），因此我对AR行业有非常广阔的视野，并且总是在寻找AR可以产生巨大价值的领域。
  这篇文章的目的是为了引起人们对ARKit和ARCore以外的AR云的价值的关注。
  为什么我们需要AR云？
  有了AR云，整个世界就可以变成一个共享的空间屏幕，从而支持多用户参与和协作。
  正如文章开头所说的，大部分基于Kit&Core的应用都不过是单一用户体验，这将限制它们的应用吸引力。而且，可以预见的是，YouTube肯定会因为受到大量分享AR体验视频的影响。
  但是分享一个AR体验的视频远比不上分享真实的体验。借用Magritte（比利时画家）的说法：这不是一个真正的管道。
  Magritte 1928年的一幅画，邀请观众讨论一种说法，即管道的表征不是真正的管道。
  AR云是物理世界的共享记忆，它能让用户共享体验，而不仅仅是分享视频或消息。它将允许人们在游戏、设计、研究或团队协作中进行协作，解决问题——现实世界中能做的任何事情。
  多用户参与是AR云的重要组成部分。但更大的希望在于，在现实世界中，信息的持续存在。
  利用AR位置在共享空间中协作的概念——2011
  我们正处在信息组织方式的根本性转变的边缘。今天，世界上大部分的信息都是用数字文档、视频和信息片段组织起来的，存储在服务器上，在网络上随处可见。但它需要某种形式的搜索或发现。
  根据谷歌最近的统计数据，超过50%的搜索是在移动中完成的（在本地搜索）。现在，越来越多的人需要在你需要的地方找到你需要的信息。
  AR云将成为世界的软3D拷贝，并允许在其起源——在物理世界中（或如科学家在拉丁语中称为“原位”）重新组织信息。
  有了AR云，每个物体的使用方式，任何地方的历史，任何人的背景——都将在那里被发现——就在这个东西身上。
  谁控制了AR云，谁就能控制世界信息的组织和访问方式。
  这种情况何时会发生？
  AR云的创建并不是一个简单的事情。行业领袖们正在恳求开发者、专业人士和消费者都有耐心，因为这需要一段时间才能实现。但作为AR和前沿科技的投资者，现在是时候确定这场长距离比赛的潜在赢家了。
  第一个用于建筑的协作性AR演示-2004
  作为参考，让我们快速了解一下AR追踪技术的时间线，该技术刚刚被ARKit和ARCore商品化：
  第一个点云构想:19世纪
  安德鲁·戴维森（Andrew Davidson）使用计算机视觉的第一个实时SLAM：1998
  乔治·克莱因（George Klein）在iPhone上展示的第一首单声道：2008年
  第一个AR专用设备宣布——Project Tango:2012
  具有Occipital结构传感器的iPad上的SLAM：2013
  Flyby展示了类似于ARKit般的能力:2013
  ARkit和AR Core的发布:2017
  看看这段简短的历史教训——在成熟的AR云服务得到广泛普及之前，它的发展还需要3年甚至更长的时间。
  与此同时，创业公司可以解决整体愿景的部分问题，采取先发优势，为特定需求打造服务（比如企业）。
  现在还没有任何AR云吗？
  在过去的十年中，有几家公司在云服务中提供了AR服务，最早是在2008年，然后是Layar、
  Metaio
  （Junaio）、后来的
  Vuforia
  、Blippar、Catchoom，以及现在的新进入者。但这些云服务通常是2种类型的服务之一：
  储存GPS或位置相关信息（在餐馆里显示信息提示）
  在云端提供图像识别服务，从而触发AR体验。
  这些云服务并不了解实际的场景和物理环境的几何结构，如果没有它，将虚拟内容与真实世界的结合是一件很困难的事情，更不用说与他人分享真实的体验（而不仅仅是一段很酷的视频）。
  等等，《Pokemon Go》呢？
  《Pokemon Go》令人难以置信的是，它是一种侥幸，是一种异类，独一无二。用类似的游戏机制复制自己的成功将会非常困难。它的游戏服务器存储地理位置信息、超本地图像和玩家的活动——但不存储其6500万月活用户在物理位置上的共享记忆。因此，没有真正的共享经验。
  为此，它需要AR云。
  什么是AR云？
  一些科学家从1990年代起就构想了AR云的不同方面，但我还没有看到其他人有简洁的描述。这是我在AR行业的简化版本。
  AR云系统应该包括：
  1）一个与真实世界坐标相一致的持久点云——一个共享的世界的软拷贝
  2）从任何地方和多设备上立即实现本地化（使世界的软拷贝与世界同步）的能力。
  3）将虚拟内容放入世界软拷贝的能力，并能够实时同步，能够使设备和远程操作中与之交互。
  让我们把它分解一下：
  1）一个与真实世界坐标一致的持久点云
  在维基百科中定义的点云是“在某些坐标系统（x，y，z）中的一组数据点”，目前是一种非常常见的3D绘图和重建、测量、检查和其他工业和军事用途的技术。从现实世界捕捉点云是工程师们的行话“解决问题”。几十个硬件和软件解决方案已经存在了一段时间，它们使用激光雷达、深度或立体摄像机等激光扫描仪，如Kinect、单眼相机照片/无人机/卫星图像，以及用摄影测量算法处理的图像，甚至使用合成孔径雷达系统（无线电波），如Vayyar或太空载雷达。
  从长远来看，摄影测量是和摄影一起发明的——所以第一个点云是在19世纪诞生的。
  一款游戏根据Hololens产生的点云来适应你的客厅的形状。
  来自大众的AR云
  为了确保它拥有最广泛的覆盖范围，并且始终保持着一个新的世界副本，一个持续的点云需要另一个复杂的层次：云数据库需要一个机制来捕获和存储来自不同来源（包括移动设备）的一组统一的点云，并且它的数据需要能够实时地访问许多用户。
  解决方案可以使用最好的本地扫描或跟踪机制在指定设备上（Kit、Core、Tango、Zed,、Occipital等），但必须将点云数据存储在跨平台的可访问数据库中。
  用户分享个人点云的动机类似于Waze（译者注：利用移动设备的GPS信息来获取有关路面交通流量的信息，从而向汽车驾驶员提供更好的行车路线）用户的动机：获得有价值的服务（最佳导航方向），而在后台分享设备上收集的信息（你在任何特定路段的速度），以改善其他用户的服务（为其他司机更新时间）。
  尽管如此，这可能会对增强现实的地图服务造成严重的安全和隐私问题，因为这些环境的映射将比普通的公共道路更私密。我看到了加密点云创业公司的巨大机遇。
  深度照相机加速了AR云的创建
  深度相机可以极大地帮助创建3D地图。事实上，这是一个非常重要的组成部分，如果没有它，普通的智能手机就无法为3D地图做出多大贡献。
  有了深度相机，你就能更好地理解场景的几何结构。这些算法的工作原理与普通智能手机摄像头的工作原理类似，但捕捉到的点云将会更加密集和精确，从而产生更高质量的AR云。
  之前有几款设备提供了这种功能，但从未大规模普及:Tango是一项试验，有数千台销量;Occipital传感器的销量为几千台;2017年推出的基于Tango技术的联想Phab 2 Pro是首款配备深度摄像头的商用智能手机，但普及率并不高，而最新的华硕ZenFone AR则更加智能，但仍然处于边缘。
  iPhone X仍然没有深度摄像头——一旦它做到了——它将为用户提供指数级的价值。因为它有很多用户。
  多用户并不新鲜
  AR云的多用户实时访问需求与任何MMO（大型多用户在线）核心的服务器能力类似，允许大量用户从任何地方访问信息，从而实现实时协作。除了在MMO中，你会发现一个完全合成的永久开放世界，与人物、故事情节和内容一起存储在一起，而在AR云中，真实世界是开放的世界——而“点云”和“增强信息”是完全一致的。
  3D地图并不新鲜
  3D地图已经广泛应用于无人驾驶汽车、机器人和无人机。即使是像Roomba这样的自动真空吸尘器，也会使用这些3D地图进行导航，甚至会考虑分享这些地图。
  AR云很特别
  但是，AR的点云并不是你的平均点云——它需要给AR提供一个友好的环境。如果3D地图过于密集，在移动设备上进行处理将会太慢，而用户希望在移动设备上进行即时响应。如果地图是局部的，那么从任何角度来看，它可能都不足以实现本地化，从而破坏用户体验。换句话说，AR云是一种特殊的点云，它有自己的一组参数。
  谷歌Tango将其称为“区域学习”——它让设备能够看到并记住物理空间的关键视觉特征——边缘、角落和其他独特的功能——这样它就能在稍后识别该区域。”
  AR云的要求可能会在室内和室外发生变化，也可能在企业或消费者用例中使用。
  但最根本的需求是快速本地化。
  2）多设备上在任何地方的即时本地化
  本地化意味着要预测相机的姿势，这是任何AR体验的基础。
  Flyby的定位器将一个点云与一个真正的厨房相结合。
  为了让AR应用在现实世界中定位虚拟内容，这是它的创造者想要的方式，因此设备需要理解摄像头的视角相对于环境本身的几何图形的位置。
  为了在世界上找到自己的位置，该设备需要将摄像头视图中的关键功能点与AR云中的点进行比较，然后找到匹配对象。为了实现即时的本地化，AR云定位器必须根据设备的方向和GPS定位（以及wifi、蜂窝信号等其他信号进行三角测量）来缩小搜索范围。通过使用更多的上下文数据和人工智能，可以进一步优化搜索结果。
  一旦设备被本地化，ARKit或ARCore（使用IMU和计算机视觉）就可以接管并执行稳定的追踪——就像之前提到的那样，这个问题已经解决并被商品化了。
  目前，已有数十种解决方案来定位一款设备，如谷歌Tango、 Occipital 传感器，当然还有ARKit和AR Core。但这些开箱即用的解决方案只能在本地的点云上进行本地化，每次只能实现一个设备。微软Hololens可以定位于一组在该设备上创建的点云，但（开箱即用），它无法针对由其他设备创建的点云进行本地化。
  搜索是为了“终极定位器”，它可以在任意给定的角度对一大片本地的点云进行本地化，并且可以与多个跨平台设备共享点云。不过，任何本地化者都只能像其持久的点云一样优秀，这是尝试和构建两者的强大动力。
  3）在3D环境中放置和可视化虚拟内容，并在设备和远程设备上实时与其交互。
  一旦你拥有了一个持久的点云和终极定位器——完成AR云系统的下一个要求是能够定位和可视化3D注册的虚拟内容。“以3D形式注册”是一种技术术语，“在现实世界中排列，就好像它真的存在一样”。虚拟内容需要具有互动性，这样一来，多个持有不同设备的用户就可以从不同角度观察真实世界的同一部分，并实时与相同的内容进行交互。
  “上帝模式”
  管理和维护AR云及其应用的一个关键特性是上帝模式：在整个点云的任何角落远程放置3D内容（+交互）的能力。这有点类似于黑和白这样的游戏，玩家可以扮演上帝：在地图上选择一个位置，从不同的角度观看一个场景，实时监控活动，并能在其中乱搞。这可以在电脑、平板电脑或其他设备上完成。这些类型的工具将为现实世界定义一个新的内容管理系统类别。
  在黑白视频游戏中，“上帝之手”可以看到任何东西并操纵任何东西。
  这就得出了AR云的3个要求。听起来很难。今天有谁能建造它吗？
  谁能建造它？
  AR云是一个如此庞大的项目，世界上大概有3家公司拥有足够的财力和足够的雄心来解决这一问题。
  苹果、谷歌和微软都有可能在某一天实现完全的AR云。实际上，如果他们不这样做，他们就会被谁搞砸了。
  但是，正如历史给我们的启发一样，那就是它将需要一个（疯狂的）初创公司来整合这些构建模块，并证明它的概念。因为只有一家创业公司可以大胆地相信自己能够做到这一点。
  这将需要一个疯狂的创业公司。
  由于对于一家创业公司来说规模太大，我们可能会看到不同的创业公司在处理不同的业务。至少一开始是这样。
  过去的几年，一些疯狂的创业公司解决了AR云的部分问题，并被巨头收购
  13 th Lab（被Facebook收购）
  Obvious Engineering/Seene（Snap）
  Cimagine（Snap）
  Ogmento->Flyby（苹果）。Flyby也将其技术授权给Tango。
  Georg Klein（微软）
  Georg是一个人，不是创业公司，但他的个人业务远远超过了许多公司。2009年，他在iPhone 3 G上演示了类似的与ARKit的演示。
  目前正在专注AR云的创业公司或部分：
  YOUar（波特兰）
  Scape （伦敦）
  Escher Reality（波士顿）
  Aireal（达拉斯）
  Sturfee（圣克拉拉）
  Paracosm（佛罗里达州）
  Fantasmo（洛杉矶）
  Insider Navigation（奥地利维也纳）
  InfinityAR（以色列）
  Augmented Pixels（乌克兰/硅谷）
  Kudan（英国布里斯托）
  DottyAR（悉尼澳大利亚）
  Meta（硅谷）
  Daqri（洛杉矶）
  Wikitude
  （奥地利维也纳）
  6D.ai（旧金山）
  Postar.io（旧金山）
  大公司在做什么？1）苹果
  苹果CEO蒂姆•库克一直在宣传AR是一个“大而深远”的产品，而苹果似乎也对AR有着巨大的野心。
  ARkit对苹果来说是一个很不错的低价选择。他们让它在房子里运行（多亏了这次收购Flyby），并且在家里有专门的技术来生产它（多亏收购了Metaio）。据报道，苹果公司决定要发布ARkit到在今年的WWDC大会上发布了ARKit，仅仅花了6个月的时间。
  未来的一款深度摄像头可以为智能手机创造一种新的标准功能，从而为智能手机创造出一种新的标准功能。但我们仍需等待。
  不过，除了为其自动驾驶汽车项目进行3D扫描、为其地图绘制2D地图和定位功能，以及“数千名从事AR工作的工程师”之外，苹果似乎还没有准备好开始打造完全成熟的AR云。这可能是因为数据的隐私和安全问题。或者，他们可能像以往一样，隐藏得很好。
  2）谷歌
  AR云是谷歌“组织世界信息”远景的下一步。谷歌在这个大型项目上可能比其他任何人都拥有更多的难题，但我并没有屏息期待。
  Tango在2013年作为一个“臭名昭著”的项目启动，其愿景包括3个元素：
  运动跟踪（使用视觉特性和加速计/陀螺仪）——这和ARCore一样，被剥离出来了。
  区域学习——“区域学习让设备能够看到并记住物理空间的关键视觉特征——边缘、角落和其他独特的特征——这样它就能在稍后识别该区域，并将环境数据存储在地图中，之后可以重新使用，与其他Tango设备共享，并通过诸如注释、指令或兴趣点等元数据进行增强。
  这听起来与AR云愿景非常接近，但实际上Tango目前在设备上存储了环境数据，但却没有与其他Tango设备或用户分享的机制。Tango API本身并不支持云中的数据共享。
  深度知觉：探测环境中的距离、大小和表面——这需要Tango相机。
  谷歌在今年的I/O大会上宣布了一项新服务，该服务和被称为“视觉定位服务”（VPS）的AR云非常类似，不过基于开发者的调查，该服务正处于“非常早期的阶段”。
  当然，得益于街景车，谷歌已经为其打造了一款非常精致的3D地图（用于户外）。谷歌可能会在几年内将所有的AR云服务整合在一起。不过，谷歌的API往往是有限的，而且可能还不够好，无法获得最佳体验。
  因此，谷歌是拥有AR云的自然首选，但不太可能是最好的，甚至不可能是第一个。
  3）微软
  微软首席执行官的振兴重点已经在云和全息计算方面得到了明确的传播。Hololens是迄今为止最完整的
  AR眼镜
  系统（尽管仍然很笨重），微软提供了一种神奇的能力，可以在设备上创建点云。然而，它不能在多个设备上进行本地分享。由于微软在当前的移动战争中没有表现出足够的实力，它跳过了整整一代的智能眼镜，引领了这一潮流。不过，由于智能眼镜预计将缓慢普及，它们的“增大化”云可能在一段时间内不会有太大的需求。
  4）Facebook、Snap，或许还有亚马逊、阿里巴巴和腾讯
  他们也有这样的野心，但它们已经落后了好几年。（这是一些初创公司获得收购的绝佳机会）
  5）其他竞争者包括特斯拉、优步和其他自动驾驶汽车和机器人公司
  这些公司已经在打造户外或室内真实世界的3D地图——但并不需要特别关注AR。
  一个建立未来基础设施的机会
  随着
  Magic Leap
  的发展，AR云将成为增强现实技术的最大机遇。说到Magic Leap，它曾经雄心勃勃地想要打造AR云。他们还保持着这一雄心吗？我们应该在意吗？
  此外，以上这些公司都没有动力去构建跨平台的解决方案（除了Facebook）——因此，创业公司还有另外一个有意义的优势，可以在创建AR云的过程中发挥主导作用。
  这篇文章并不是要像在RFQ中那样定义AR云的需求……只是为了反映我对它的设想。