苹果如此关注AR 杀手级产品ARKit 2即将爆发

2024-11-06上海AR开发专家

• 
  自从iOS 11推出以来，
  增强现实
  技术（AR）在
  苹果
  的所有活动中都发挥了重要作用，蒂姆库克表示他相信它将与智能手机本身一样具有革命性，AR是Apple今年与WWDC开发者会议中最为关注的焦点。 引入了iOS 12，可以在运行iOS 11的所有应用程序上运行。但为什么大多数用户并不认为AR的杀手级应用程序那么抢眼 。
  从今年的WWDC主题演讲到苹果在圣何塞会议中心举办的各种开发者会议，并在网上发布供大家观看，但很明显，苹果正在大力投资未来的增强现实领域。
  我们将梳理苹果公司本周就AR和
  ARKit
  所说的内容，详细介绍工具包的工作原理和工作原理，并推测公司的策略 - 为什么Apple似乎非常关心AR，以及为什么他们认为它将在即将到来的AR热潮中
  战领
  一席之地。
  ARKit它是如何工作的
  让我们从ARKit的确切内容开始。该工具包的高级功能和用途。如果你想了解更多细节，苹果已经在开发者平台上提供了关于这个主题的谈话和文档。ARKit最简单，最简短的解释是，它为应用程序开发人员在使用iOS设备的相机，以及使其适合于扫描环境中的图像和对象以及在实际空间中定位3D模型。
  或者正如苹果所言：ARKit结合了设备运动跟踪，相机场景捕捉，高级场景处理和显示便利，简化了构建AR体验的任务。您可以使用这些技术使用iOS设备的后置摄像头或前置摄像头创建多种AR体验。苹果公司最初在2017年推出了iOS 11的 ARKit 。应用程序开发人员可以使用Mac上苹果公司的软件开发环境Xcode来构建应用程序。ARKit主要在
  AR应用
  程序的幕后进行三项重要的事情：跟踪，场景理解和渲染。
  跟踪可以监控设备在物理世界中的位置和方向，并且可以跟踪海报和人脸等对象 - 虽然其中一些可跟踪项目在最初的iOS 11版本中不受支持。场景理解本质上是扫描环境并向开发人员，应用程序或用户提供有关它的信息。在第一个版本中，我们有了一些见解。
  渲染意味着ARKit处理大部分工作，用于将3D对象放置在设备相机捕捉的场景中，比如在用户的餐厅中间使用家具购物应用程序时将虚拟桌子放在该中间。ARKit通过以某些特定方式跟踪环境来做到这一点。让我们来回顾一下在这方面支持的最初版本。
  定位跟踪
  在定位跟踪配置中，ARKit使用设备的内部传感器以三个自由度来跟踪旋转，但这就像转动头部而无需走到任何地方，这里没有跟踪物理位置的变化，只是在球形虚拟环境中进行定向设备在原点。定位跟踪对于增加远处的物体和设备的邻近区域是非常有用的方法。它跟踪设备的相机观看方向以及设备物理位置的任何变化。所以不同于定位跟踪，它理解设备是否向右移动了两英尺。它也没有任何关于环境的先前信息。
  此外，ARKit使用一种称为视觉惯性测量法的过程，该过程涉及识别设备周围环境中的关键物理特征。当设备在物理空间中移动和重新定向时（需要移动;旋转不能提供足够的信息），这些功能会从多个角度进行记录。在这个过程中捕获的图像一起使用，以了解深度;这与人类如何从两只眼睛感知深度相似。
  在Apple针对应用程序开发人员的在线视频会话的截图中，我们看到了可以使用ARKit创建的世界地图的可视化。深度信息通过视觉惯性测距法记录，其在某些方面与人眼相似地工作ARKit应用程序会不断测量跟踪质量，以便将其报告给用户或开发人员。跟踪状态可以分类并报告给用户。
  这就产生了苹果称之为世界地图的东西，它可以用来定位和定向物体，将照明和阴影应用到它们等等。用户移动和重新定向越多，追踪的信息就越多，并且增强可能会变得越准确和现实。当ARKit构建世界地图时，它会将其与可放置对象的虚拟坐标空间相匹配。
  该设备需要不间断的传感器数据，并且该过程在纹理良好且包含非常明显的特征的光线良好的环境中效果最佳;将摄像机指向空白墙并不会有多大帮助。场景中过多的移动也会导致该过程中断。
  ARKit在引擎盖下跟踪世界地图质量，它表明三种状态之一，建议开发人员以某种方式向用户报告：
  不可用：世界地图尚未建成。
  有限：某些因素妨碍了构建足够的世界地图，因此功能和准确性可能会受到限制。
  正常：世界地图足够强大，可以预期有良好的增强效果。
  平面检测
  平面检测使用世界地图来检测可以放置增强现实对象的表面。当ARKit与iOS 11一起发布时，只有水平面被检测到并可用，而像颠簸和曲线这样的变化可能会轻易地干扰在视图中精确放置3D对象的效果。
  使用这三种跟踪技术，开发人员可以点击ARKit轻松将他们在飞机上建模的3D对象放置在设备屏幕上用户的相机图像视图中。
  在iOS 11.3中添加了功能
  苹果今年发布了iOS 11.3的ARKit 1.5。此次更新对ARKit可以构建的体验的准确性和质量进行了总体改进，它还增加了AR体验期间用户基于摄像头的视图的分辨率。
  苹果发布了iOS 11.3，这是自iOS 11首次推出以来iPhone的最大升级版本。ARKit的初始版本只能检测，跟踪和放置物体在平坦的水平表面上，所以ARKit 1.5增加了对垂直表面和（在某种程度上）不完全平坦的不规则表面进行相同处理的功能。开发者可以将物体放在墙上，而不仅仅是地板上。
  图像识别
  ARKit 1.5添加了基本的2D图像跟踪功能，这意味着ARKit应用程序可以识别书籍中的页面，电影海报或墙上的绘画。一旦设备识别出这些2D图像，开发人员就可以轻松地让他们的应用程序向环境中引入对象。例如，当用户将设备的照相机指向复仇者联盟的电影海报时，可将真人大小的钢铁侠套装置放在环境中。
  苹果将在iOS 12中添加什么
  这将我们带到于2018年6月4日WWDC，苹果宣布iOS 12和ARKit的一些主要增强和补充，使平台能够实现更广泛的更现实的应用程序和体验。这些更改允许更加令人信服地适应环境的虚拟对象，多用户AR体验以及跨多个会话保持在环境中相同位置的对象。
  保存并加载地图
  以前，AR世界地图不会跨多个会话保存，并且它们不能在设备之间转移。这意味着如果一个对象被放置在特定位置的场景中，用户就无法重新访问该位置，并发现应用程序记住了它。这也意味着AR体验在绝大多数方面都是独立的。
  在iOS 11.3中，Apple推出了relocalization，它允许用户在中断后恢复状态，例如应用程序被暂停。这是一个重大的扩展。在iOS 12中获取世界地图后，用户可以在以后的会话中重新定位到世界地图，或者可以使用MultipeerConnectivity框架将世界地图共享给其他用户或设备。可以通过AirDrop，蓝牙，Wi-Fi或其他一些方法进行共享。ARKit知道该设备与另一个会话处于同一场景中，或者与其他设备处于同一场景中，并且可以确定其在之前的世界地图中的位置。
  从Apple的开发人员视频中放大到两位体验相同AR环境的用户。Apple通过构建
  AR游戏
  来为开发人员研究和模拟名为Swiftshot的游戏展示了这一点，该游戏让多个用户同时与多个设备上的相同3D对象进行交互。
  但多用户游戏并不是唯一可能的用例。除此之外，保存和加载地图可以允许应用程序开发人员在某个位置创建持久对象，例如城市广场上的虚拟雕像，所有iOS设备用户在访问时都会在同一个地方看到。用户甚至可以将自己的对象添加到世界上供其他用户查找。
  但是，仍然有一些限制。回到自上次访问以来在现实世界中发生了显着变化的场景，显然可能导致重新定位失败，但即使改变了光照条件（如白天和夜晚）也可能导致失败。这是ARKit中一个值得注意的新功能，但仍需要做一些工作才能充分发挥其潜力。