AR之父：AR已经成为现实

2024-10-31上海AR开发专家

• 第一位重磅人物，是来自哥伦比亚大学计算机图形与用户界面实验室的Steven Feiner，他可是大名鼎鼎的AR之父哦！
  以下为Steven Feiner在第一届全球虚拟现实大会的演讲实录。
  演讲题目：Augmented Reality and the Future of User Interfaces（
  增强现实
  和未来用户接口）
  哥伦比亚大学计算机图形与用户界面实验室主任、教授、AR之父 Steven Feiner
  首先先定义一下虚拟现实，以确保我们都有同样的理解。
  虚拟现实最早是由研究者提出由计算机生成的世界，是虚拟的媒体世界，是3D的互动的，也能够追踪用户的动作。
  增强现实也是之前提到的这三点，同时加上我们在可以感知的真实世界中通过3D技术进行配准。
  VR是可以用到很多不同的媒体，但是我特别要说的是视觉方面的媒体，我们有
  三种方式来看到增强现实：
  第一，历史最悠久的是光学透视。就是说，我们有这样一个人在看一个显示器，在这个显示器当中有光学元件进行投影，包括镜子、镜头，让这个人既可以看到显示器，又能够看到真实的世界。所以它是真实世界和影像的结合。
  第二种视频透视，人是看到显示器的。真实世界由摄像头拍摄，这两个影像在计算机当中合成，共同现实出来。
  第三种是投影，我们可以投影到真实世界，把光子投射到现实世界当中。可以看到在现实世界，真实环境当中还有虚拟的图像。
  这三个图（现场展示图片）就是我们所说的三种显示方式，这些显示器可以是穿戴式的，比方说可以戴在头上的，我们会在一些图片中看到。还可以是手持的VR。还有是在环境当中的一些显示装备。
  VR和AR是历史比较长的技术，在50年之前就已经开始了VR和AR的研究，哈佛大学的教授在1968年就开始了研究，这是最早的光学透视式头盔显示器。
  接下来介绍VR的几个领域，是过去25年我和我的团队做的研究。
  第一个领域是旅行、旅游的导航。这是我们在2000年早期做的一个研究，是在1990年中期就开始的研究，是背包式的可穿戴设备，这个背包和现在的手机比起来已经没有手机这么先进了。通过这样的一个显示我可以看到餐厅的一些相关信息，不需要通过手机搜索相关信息了。这是在大约20年前做的研究，就是在工作的空间，有这样的一个显示器，它上面是通过2D和3D的信息显示我们的工作内容，这是过时的光学透视显示器。
  VR和AR都可以应用的领域就是游戏，这个游戏是通过这样的板作为球的导引，指引运动的轨迹。这里有虚拟的成分，还有视频透视器的设备，可以玩迷宫的游戏。
  接下来重点介绍非常重要的领域，有很多的使用目的，包括工业上的使用目的，就是任务辅助，主要是帮助人们通过这样的技术更快更准确地完成任务。这比传统的纸制的文件要容易得多。我先介绍一下我们的实验室当中的一些研究例子。这一个是单侧的视觉透视显示，我们看到这个是由一个人在进行零件的安装操作。实际上是飞机的发动机的燃烧室，通过这个系统我们通过一侧的眼睛可以看到文字说明，现在我们看到的单眼式的装备，我们看到燃烧室底部的部件是哪个，我们把它放到旋转桌上，再选顶部的部件。它又指出了部件哪里应该连接，再看到一些指示，告诉你怎么样安装，从哪个方向旋转，对齐，再用一些针固定。这是我们在研究中，这个技术怎么样帮助我们完成任务。这是第二个固定针，这样的任务就完成了。
  在我们实验室中有这样的系统，同时我们还研究人们用这个系统能够做到什么样的效果，他们可以多快，或者减少多少错误。
  总的来说，VR和传统的平板显示LCD的显示器相比，用AR大家能够更快，更准确地完成任务，比看平板显示器上的信息要好得多。在一个任务完成之后我们可以自动地进入下一个任务，这是平面显示器没有办法做到的。
  而且用AR可以减少近一半的时间。这个是关于AR怎么样来帮助一个人进行操作的例子，这是一个非常重要的应用领域，就是远程的任务协助。我们有一个专家，在工业当中其实就是某个专题的专家的意思。它是通过远程的方式帮助现场的技术人员，这是非常重要的应用，因为有时候在现场的工作人员比较年轻，没有太多的经验。有一个年长的更有经验的专家可能在总部，马上要退休了，不能出差。所以他就要用这种远程的方式来帮助现场的人。
  这里有两个目标：
  第一，帮助现场的技术员找到正确的位置，这就是在哪里，这是一个问题。
  第二个任务是帮助技术员正确完成任务，这些方式。在这里给大家播一个视频去展示怎么样帮助完成远程任务。在这里可以看到现场技术员还有远程的专家他们在我的实验室里面可以对物品进行大小、比例的调整。专题专家可以选择最正确的安装方式，现场的技术员就可以通过这一个远程专家设定的视窗去进行透视、指导，执行。这是我们刚才看到的远程专家，他在这个发动机上面有不同的方向和安装的方向。他选择了这个应该是现场技术员应该要选择的安装位置，这个技术员接收到信息，走到发动机上面，在这个屏幕上，这个是远程专家设定的视窗，他通过视窗看到了专家制定出的这个需要去具体安装的位置。我们对此已经做了大量的远程任务援助研究。
  最近，我们的一个开发是有像一个大的气囊的虚拟现实设备，大的气囊是在技术员的头上的，通过气囊这样的装置可以帮助指导技术员进行正确的安装。当我们的人员已经达到正确的位置的时候，我们要进行具体任务的执行。这个时候可以看到在这里有一些不锈钢元件，这一些不同颜色的线就是远程专家指导他要进行任务执行的方向。可以看到有一个虚拟的红线、绿线、蓝线。这些地方就是远程的专家指示现场的技术员要去做的一些安装的点还有方向，还有这些线是直接连接两个不同元件的一个安装的点的时候，也是让现场的技术员可以更加精确地执行任务。我们刚才讲到了有一个远程的专家，还有现场的技术员，通过增强现实进行任务的完成。
  现在的远程专家也是在观察现场技术员的作业，通过他的观察还可以实时的对现场的技术员去做出一些纠正，还有指导，有效地对现场技术员进行展示。同时他们可以实时进行交谈，这是非常有效的部分。这是现场技术员进行作业的情景。他就像是通过这一个视镜，像通过远程专家的眼光和角度去看待复杂的引擎安装的任务一样。
  在右边，可以看到我们的远程专家的远程视频监控，他通过语言在指导现场的技术员，现在看到的是远程专家在易地进行安装的指导的情景，在几秒钟之后可以看到他也可以通过他的视镜透视到另外一个地点的技术员的做法，透过他的眼光、视角去看技术员的实际操作。这个远程专家还可以选择一个第三方视角，通过第三方视角对比他做的安装和现场技术员做的安装两者之间的差异。看一下上下，元件是否结合正确，完全是通过3D虚拟去进行实现的。
  接下来有另外一个可替代的方案，现在在工业里面常用的叫做2D的扫描方式，远程专家首先在部件上进行一些扫描，时间有限，我在这里给大家介绍一下，我们在实验室里面通过研究可以看到其实用3D的互动要比2D的画图高效得多，时间用得短得多。
  另外给大家介绍的应用叫做显示和设备的合成，我们叫做混合的界面，比如说可以通过视频的透视，还有光学透视可以看到城市的图形，比如说这个是曼哈顿的城市图形，我们通过投射可以看到曼哈顿城市不同的高度、维度、比例的实景的建筑物。这个就是我们的个人头戴跟踪视频显示和智能手机的结合的应用。通过智能手机还有头戴的跟踪设备的结合，你可以看到整个城市的相关建筑物。它们全部都是实景的，同时还有相关的不同建筑物的信息。
  比如说，我们在这里看一下曼哈顿的部分的街区，现在这个实验者他头戴的显示设备，通过视频透视可以对不同的建筑物进行转向，和比例的大小调整，这是增强现实。
  每一个建筑物有地理信息的显示，所以对特定的建筑物可以自己的平板或者是手机去进一步查看制定特定建筑物的信息，后面有它的一些具体信息。比如说现在的建筑物的噪音水平，有没有受到噪音干扰，噪音投诉等等，这是我们使用AR的应用，包括任务援助，还有是混合用户界面的综合应用。
  所有这些指向我的观念是AR已经成为了现实，我们已经看到很多的不同的硬件还有软件的应用，不胜枚举。所有的这些发展都可以让关键的
  AR技术
  让人类更好地进行互动。