AR与VR：下一个通用计算平台竞赛的解读

2024-12-21上海AR开发专家

• 
  2016年，高盛发布了一份名为《AR与VR：下一个通用计算平台竞赛的解读》的行业报告，报告认为
  增强现实
  （AR）技术和虚拟现实（VR）技术将成为继计算机和智能手机之后的下一代计算平台，现有电子市场很可能将被重塑。到2025年，AR和VR的软硬件年销售额将达到800亿美元，如果解决了电池问题，年收入更可达到1820亿美元。
  报告发布之后，AR仿佛一夜之间进入了公众视野。实际上，
  AR技术
  并不是一个新兴概念，早在20世纪60年代末，就有科学家进行过增强现实技术的探索。而且AR（Augemented Reality）这个词的诞生还和航空有关，是由波音的工程师而创造。
  波音使用AR技术提高装配线束的效率
  1990年，波音启动了777飞机的研制工作。由于777采用了全新的航电、飞控、起落架等设计，需要在飞机上安装大量的航空线束。这些线束对于飞机来说，好比人体上的神经系统和能量传递系统，不仅提供传统的配电功能，还是各类系统的信息传输保证。线束的安装位置必须准确快速，一方面要保证各类线束之间彼此不产生干扰，另一方面也要避免被外界的信号干扰或者干扰外界的信号。
  飞机内部复杂的航空线束
  为了安装这些复杂的线束，生产人员必须在看安装指导书的同时进行手动绕线装配工作。这种方式不仅工作效率较低，而且安装的准确性也很难保证。
  为了解决上述问题，1990年波音的两位工程师Thomas Caudell和David Mizell，提出使用一种抬头透视装置。它依据头部摄像头采集的场景生成数字CAD图，自动从完整的安装指导书提取匹配当前场景的部分，生成当前操作的安装指导虚拟图像，叠加到真实视野场景里。这样工人便可以按照透视的虚拟线路指导，进行各类布线安装。通过这个装置，轻而易举地提高了安装线束的效率同时减少安装线束的错误。由此他们创造了“Augmented Reality”这个英文词组，来描述在真实场景下依据用户看到的物体，自动叠加虚拟内容的技术。
  波音公司最早进行AR技术的尝试
  所以要实现AR技术，有两项关键技术需要突破，分别是智能识别技术和跟踪注册技术。前者解决在哪里叠加虚拟物体，后者解决以何种姿态去叠加。由于配套上下游产业链尚不成熟，显示和跟踪注册等技术还不完善，最终这个设想离实用还有一段距离。
  工人按照谷歌眼镜的提示进行布线
  20多年过去后，布线方法依然没有太大改变。唯一的改变就是，1990年安装工人需要查阅的是纸质版手册，而现在是查阅平板电脑上的PDF版本。但波音并没有停止在航空线束装配中应用AR技术的步伐，谷歌眼镜的诞生为AR技术在航空工业的应用创造了条件。
  谷歌眼镜是谷歌公司2012年推出的一款AR眼镜。谷歌眼镜在镜片的右上方配备了一个头戴式微型显示器，可以在显示器上投射需要的信息，其效果与在2.4m外的25in(635mm)高清屏幕显示效果类似。谷歌眼镜只提供了基础的硬件平台，波音为此找到应用软件开发商Skylight，共同开发满足线束装配的AR应用软件。在试验时，一名工人首先领取谷歌眼镜，通过扫描一个二维码完成设备认证；完成认证后，系统给谷歌眼镜自动推送一个线束装配应用；然后这名工人走向装配现场，再次利用眼镜上的摄像头扫描在装配现场某个部件上的二维码，该部件线束的装配指导就自动地在眼镜上显示出来；工人便按照指导一步步地进行线束的装配。
  Skylight还基于谷歌眼镜开发了远程专家协助功能。当工人遇到无法独立解决的问题时，利用谷歌眼镜，把拍到的现场视频实时传给其他地方的专家进行求助。由于AR眼镜的摄像头处于人眼附近，专家看到的画面和现场工人看到的基本一致，远程指导更加有效。
  那么这个项目取得了什么效果？波音工程师DeStories表示，AR眼镜帮助安装工人节省了至少25%的装配时间，并显著降低了错误率。
  波音为了分析AR技术对于减少装配错误的影响，在2015年专门启动了对照试验。该试验选择了一个有50个步骤的装配任务，定量采集AR技术对于减少错误和提高效率的基础数据。波音将45名学生分成了三组，一组使用纸质版的操作手册，第二组通过平板电脑读取PDF格式的手册，最后一组使用具有AR功能的触屏式平板电脑。结果显示，使用纸质手册的学生在第一次装配时发生了8次错误，第二次又发生了4次。PDF组第一次和第二次都发生了1次错误。然而，AR组第一次发生了0.5次错误，第二次没有发生。通过这个试验，波音坚信AR技术可以帮助公司减少培训时间，加快制造速度，降低工人在不同任务中的切换难度。
  然而基于谷歌眼镜研发的APP要真正走向实用，还面临一个很大的障碍：信息安全。在试验项目中，所有设备都在封闭的网络环境中进行，而实际的装配环境却是依赖网络才能展开。如果网络被黑客攻破，把错误的装配指导发给了现场工人，后果将不堪设想。DeStories表示，信息安全问题必须得到非常严格的保障后，才能考虑在生产过程中使用基于网络连接的AR眼镜。
  在国外有谷歌在尝试，在国内有深圳的0glass在尝试，0glass AR智能眼镜在飞机发动机维修中已经落地应用。0glass将人工智能技术、AR智能眼镜与增强现实技术进行结合而设计的0glass AR智能眼镜全终端工作辅助和培训系统（PSS）在工作、管理、培训、和知识积累这几方面展示出智能化维修的优势。
  PSS不仅是一套AR智能眼镜工作辅助的数字化工具和系统平台，它核心的价值是“以人为中心”的企业大数据输出、采集、沉淀、过滤、分析的智能引擎，使用越多，数据积累越多，最终成为企业生产、管理决策的大脑之一。
  PSS同时也是机器学习应用的典型案例，它对“以人为中心”产生的人机、设备、环境等大数据进行分析和预测，可以实现降低生产成本，优化业务流程、提升工作效率、预防事故发生、改善客户体验、对工人进行精确的个性化培训、知识沉淀等。
  空客的
  AR应用
  尝试成果喜人
  空客公司对于AR技术的应用比波音要晚。空客曾将AR技术应用于水管安装、舱内连接器和客舱开发过程中。其中，在客舱开发时，空客使用AR技术在通用的设计样机/销售样机上叠加虚拟设计概念或用户配置，能够迅速让设计人员和用户体验到最终效果，减少刚性原型制作的昂贵成本。空客联合戴姆勒公司，利用索尼智能眼镜开发的
  AR系统
  、计算流体力学（CFD）软件和温度传感器等数据输入，实现座椅空间气流、温度的可视化，助力设计人员进行客舱开发。空客同时在不同机型的制造装配中，开展了使用增强技术辅助装配、质量控制等一系列的试验性项目。
  2015年上半年，空客在A330的最终装配阶段，引入了AR技术辅助实现座椅及其他客舱装修的精确位置标定，并首次利用了头盔式眼镜实现AR的功能。
  头盔式眼镜配备了一个摄像头，在扫描二维码后，设备会显示不同客户需求的舱内安装计划、信息和标定区域。原来必须有经验的工人来解码复杂的设计图、准备标定模板，并需要长时间保持专注。有了此AR头戴式设备，重塑了空客的标定操作模式，还能提供常见的手势交互和英文语音交互功能。
  空客工人利用
  AR眼镜
  在进行客舱装修的位置标定
  为了获得更加全面的测试效果，空客在5架A330飞机上进行了试验。结果非常喜人，即便毫无装配经验的人，位置标定所需要的时间也仅需要之前的1/6，错误率更是降为0。
  与此同时，空客在A380、A350XWB和A400M开展了类似的AR试验项目。空客在复合材料机舱内安装6～8万个托架，用来支撑大量液压管和线束，并使用带有AR功能的平板电脑，访问飞机3D模型并将操作和安装结果与原始数字设计进行对比，以检查是否有缺失、错误定位或托架损坏。在检查完成后，自动生成报告，包括任何不合格零件的细节，都能够很快得到替换或修理。利用该AR系统，A380机身上8万个托架的检查时间从3周缩减到了3天。
  其他制造商在尝试应用AR技术
  作为美国军用飞机最大的制造商，洛克希德-马丁同样尝试了将AR技术应用到飞机制造过程中。其中采用爱普生Moverio BT-200 智能眼镜的
  AR平台
  加速了F-22和F-35的制造过程，AR平台实时提供视觉帮助，方便地让生产人员了解零件的编号和计划，确保每个部分都能正确、快速的装配。比如，当工程师戴着AR眼镜进行起落架的部件安装时，只需要通过眼镜看着起落架的轮子，就可以跟随安装手册的一步步指导，包括每根线缆和每个螺栓以及它们需要安装的位置和编号等信息，完成安装。
  在这个平台的帮助下，工程师们的装配速度能够提高30%，准确率达到96%。除此之外，通过应用AR技术，把安装指导手册和质量要求在工人的眼镜上按需显示，也大量缩短工人的培训时间。
  洛马的战斗机装配车间
  洛马公司在维修领域也使用了平板AR技术，维修人员能够提前了解待修飞机的3D模型。通过这种方式能够将维修时间从几天减少到几个小时。
  除了以上飞机制造商之外，飞机维修维护企业汉莎技术和法荷航技术同样也有AR技术的应用探索。汉莎技术使用了基于激光投影的AR技术，协助机务实施头等舱舱内设施的安装。这个移动投影系统可以和每个安装场景适配，在飞机机体内可以灵活的固定和配准。所需要的安装模板直接被投影到飞机结构正确的位置上去，这个模板能为机务在正式安装时提供有力协助。据称，这种工作方式可减少50%的工作时间。而法荷航技术正考虑为法荷航提供具有AR功能的登机牌。
  时机成熟了吗？
  虽然分析了如此多应用AR的案例，但是要么是基于平板电脑的AR应用，要么是停留在试验阶段，并未在航空工业生产或者维修过程中，真正大面积实际应用基于眼镜的AR技术。
  跟踪和注册技术
  跟踪和注册是AR的核心技术之一，是实现虚实融合的基础技术。跟踪指的是确定某物体在物理世界中的位置和朝向，物体可以是待叠加虚拟图像的真实物体，也可以是指用户身体的某部分，如头部或者手部。注册是在跟踪的基础上，实现虚拟物体和真实物体的对准，从而完成虚实融合的目标。
  为了符合AR眼镜的使用要求，跟踪技术必须满足移动性、轻便性和厘米级精度。因此，基于硬件的跟踪技术，比如北斗/GPS、机械式跟踪器、电磁式跟踪器、超声波跟踪器、惯性跟踪器以及光学跟踪等，均无法满足上述要求。基于视觉的跟踪技术，提供了一种非接触式的、精确的、低成本的解决方法，在AR眼镜领域的实用性日益增强。尤其是随着处理芯片计算能力的增强、3D传感器成本和尺寸的大幅下降，即时定位与地图构建（SLAM）方法现在已经成了AR眼镜上跟踪技术的主流。SLAM技术通常使用深度传感器（ToF等）和双目视觉传感器采集到的3D数据，结合惯性传感器数据，不需要预存场景信息，在运行阶段完成场景的构建以及跟踪。这个技术满足了移动性、轻便性和厘米级精度的需求，已经在诸如微软Hololens等产品中得到了应用。
  注册的主要误差来自两个方面，第一个也是最主要的来源是跟踪误差，第二个来自于显示变形。跟踪误差改善的途径有两条，一是采用更多的传感器和更好的算法，比如使用SLAM等方法来减少跟踪误差；另一条是考虑渲染和跟踪误差，实现两者的联合优化，减少注册误差。因此，伴随着SLAM等技术的成熟和产品化，AR技术的跟踪和注册问题基本得到了解决。
  显示技术
  AR眼镜的显示包括了图像源和光学系统两个部分。图像源目前有LCoS（微软Hololens和索尼采用）、mini-OLED（
  苹果
  可能采用）和DLP（
  Oculus
  采用）等。显示技术现今的焦点在光学系统部分，按照成熟度由高到低，分别是ODG反射式方案、光波导方案以及光场技术。
  ODG反射式方案是一种改进型的棱镜方案，采用了单片半反半透镜的技术。该方案把棱镜的其他部分去掉，只留下半反半透的膜层。通过这种方式可以轻松实现夹着膜层的玻璃片的轻薄化。这种方案的特点是成本低、技术成熟，缺点是镜片尺寸和占用空间比其他两种方案略大。光波导方案利用了光的衍射原理实现图像投射。以Hololens为例，它使用了全息衍射波导光栅，这个显示技术的优点是镜片可以做到和普通镜片差不多厚度，缺点是现阶段视场较小，成本较高。MagicLeap公司曾将光场技术推向实用化，通过改变纤维在三维空间中的形状，特别是改变纤维端口处的切线方向来控制激光射出的方向。光场技术的发展潜能很大，能够解决目前VR/AR领域面临的诸如FOV较窄和图像质量差等诸多技术难题。然而，光场技术的缺点也是显而易见的，计算量大，极难在眼镜上实现，同时要以数据同步的方式实时调整光纤维的颤动方式，从而自然改变光的输出方向，也非常难实现。
  ODG反射方案和光波导方案现在均有了商用产品，而光场技术现在还停留在概念阶段，产品的推出尚没有准确时间。
  从AR眼镜在航空工业中的应用可能性来看，ODG反射式方案尽管体积较大，但对于工业级用户来说，可以接受。现阶段AR眼镜的显示技术也满足了大部分场景下的使用要求，但在航空领域的一些特殊工作场景，如室外机坪、大空间的机库和车间等，仍有难度。
  复杂环境适应性
  目前各大公司开发的AR眼镜和技术，目标的工作场景集中在小空间的室内环境，而航空工业的环境还包括室外机坪以及尺度达到几百米的大空间机库或者车间。
  室外的工作场景，除了对电子设备提出了三防、高低温等需求之外，对于AR的核心技术也提出了新的挑战。比如室外工作场景的光照条件是复杂多变的，会带来逆光、反光、光照不足、阴阳光照等问题，从而对于物体识别和SLAM技术带来实现的困难。此外，室外条件下太阳光的红外分量对于光传感器的干扰，也需要攻克。
  大空间也会对SLAM的工作距离提出挑战，现在的深度传感器最大的工作距离一般不超过150m，小于机库或者车间的尺寸。另外，在机坪、机库或者车间里，由发动机等设备发出的巨大噪声，也给语音交互造成技术障碍。
  因此，在复杂环境适应性方面，现有的AR技术需要进行进一步可行性论证和评估。
  实现AR在航空工业的突破
  待技术完全成熟有了产品，再去推广往往并不一定能成功。所以先以应用需求为牵引，在现有成熟技术的基础上，开发AR技术系统。只要能实现市场痛点的“单点突破”，就有机会推动应用的进一步纵向深入和横向扩展，同时也能促进技术的逐步成熟。
  尚未解决的核心技术必须高度重视。虽然现在实现光场技术还有很多困难，但是随着微软以及MagicLeap公司在该领域的深入，相信在不久的将来，该技术就有望实现产品化。由于光场技术对于人眼来说是最自然舒服的显示方式，一旦其实现产品化，势必会成为各大AR厂商首选的显示方案。
  复杂环境下的智能识别和环境建模也是下一步要攻克的难题。复杂的光照条件，对于基于视觉的识别和SLAM技术是一个难题。一旦得到解决，AR在航空工业的需求前景将十分广阔。
  随着芯片计算能力的提高、各种新型传感器小型化和低成本化、人工智能技术的快速发展，AR技术在航空工业中的应用前景将十分广阔。