Oculus Insight内向外追踪技术的起步、发展与未来

2026-05-28上海AR开发专家

• 
  VR硬件
  原本需要通过数据线接入PC,直到Facebook工程团队发现了一种剪掉线缆的方法。
  当安娜·科兹明斯基(Anna Kozminski)于2018年作为软件程序工程师加入Facebook的时候,她的任务十分简单:剪掉VR设备的线缆,这样无论何时何地,任何人都能够戴上头显并马上沉浸在的虚拟现实世界中,无需外部追摄像头来捕获环境。
  安娜指出:“我们希望构建一个允许你像真实世界那样自然轻松地在VR世界中移动,并且能够在里面进行自由探索的系统。”
  对于安娜加入的团队,其使命是为消费者VR设备开发首款功能完备的“内向外”追踪系统。这项技术将能够追踪用户的完整运动范围(亦即六自由度),同时可以精确地定位头显和两个运动控制器的位置。
  VR设备原本需要利用外部传感器来追踪所述的运动。用于实现追踪的摄像头接入PC,而尽管这是可行的方案,但降低了VR的便携性和增加了设置复杂度。
  安娜表示:“借助头显的内向外追踪,步入VR就像戴上耳机听音乐一样简单。”
  但团队的使命远非易事。他们必须将研究实验室中最先进的计算机视觉技术带到任何人都可以使用的消费设备。追踪需要精确到低于1毫米,需要足以捕获头部的微妙倾斜或手部的短暂快速闪动。它必须足够强大,可以满足现实世界家庭中的几乎所有条件。它同时必须足够高效,而且可以依赖于电池来实现功能。
  Oculus Quest是第一款内嵌全六自由度追踪和双控制器追踪的头显设备。
  为了实现这一点,安娜及其团队利用计算机视觉和自研算法来生成用户周遭环境的实时3D映射,这样头显就能够计算你所在的位置并将其传至虚拟现实世界。
  Facebook将这个系统称为Oculus Insight。它使得全新的Oculus Quest和Rift S头显成为可能。日前,这家公司撰文介绍了苏黎世、门洛帕克和西雅图工程师团队是如何将这项技术变为现实的过程,下面是映维网的具体整理:
  https://v.qq.com/x/page/f0917iloibs.html
  Oculus Quest头显中的摄像头和追踪传感器
  1. SLAM
  Oculus Insight内向外追踪的基础是SLAM(即时定位与地图构建),它主要通过计算机视觉CV算法来融合来自多个传感器的输入数据,从而在不断更新的数字映射中确定对象的位置。SLAM早已用于机器人技术和智能手机中的AR相机效果,而Facebook也在2016年通过Santa Cruz VR头显原型进行了演示。但Oculus Insight需要前所未有的精度和效率,这意味着它需要适配最新的追踪技术和计算机视觉。
  “大多数技术都是从学术开始,源于实验室。”安娜如是说道。她加入Facebook苏黎士的工程团队不是偶然。实际上,这里的大多数成员都是来自于研发自动导航系统的Zurich Eye项目(由著名学院苏黎世联邦理工学院和苏黎世大学组织组织)。
  为了构建更先进的SLAM,工程团队借鉴了Facebook多年来在人工智能方面的研究工程工作,构建用于理解视频中出现的对象和行为的系统,并且开发了能够支持移动设备的高效计算机视觉算法。
  2. 应用于前沿VR设备
  奥斯卡·林德(Oskar Linde)是Facebook团队中负责Oculus Insight的首席机器感知架构师,他在构建超高效SLAM系统方面有着丰富的经验。林德是13th Lab的联合创始人,后者曾于2011年首次展示了用于消费者应用的视觉SLAM技术(用于AR手游)。Facebook于2014年收购了13th Lab及其SLAM技术,而林德顺势加入公司并负责开发VR头显的内向外追踪功能,同时组建了开始专研Oculus Insight的团队。
  2017年的Oculus Insight团队正在全心全意地投入到工作之中,但他们面临着一个核心挑战:创建基于SLAM的精确和高效算法,并且足以支持Oculus Quest等移动设备。林德的搭档是工程经理乔尔·赫胥(Joel Hesch),后者主要是研究将基于视觉、激光和惯性传感器的SLAM技术用以以辅助机器人导航,并致力于移动AR和VR应用。来到Facebook的赫胥负责把Oculus Insight整合至Quest和Rift S的团队。
  https://v.qq.com/x/page/l09176p737s.html
  Oculus Insight的工作原理
  林德、赫胥、安娜,以及他们的团队鉴了Facebook之前用于移动AR的SLAM工作,以及初代Oculus Rift系统中的追踪技术,但他们需要寻找新的方法来调整设计它们,从而能够支持VR头显实现内向外追踪。
  在智能手机端,SLAM利用手机摄像头创建“世界锁定”的照片和视频效果。但对于VR,这涉及多个摄像头,额外的传感器,以及需要在三维空间中追踪的三个不同对象。
  安娜解释说:“我们一次性需要解决三个移动组件:头显,以及两个额外的控制器。我们每一次都需要获取正确的姿态。”
  团队同时遇到了其他挑战。当你挥舞虚拟光剑或操纵虚拟飞船时,如果运动控制器过于过近或远离头显,头显摄像头将难以清楚地感知控制器的红外LED。Oculus Insight同时采用了其他传感器,包括头显和控制器内嵌的惯性测量单元所提供的加速度和速率数据。系统必须实时地处理所有数据,而对于Quest而言,这一切都需要由移动芯片集执行。
  3. 毫米级追踪精度
  为了解决所述挑战,Oculus Insight团队有条不紊地改进系统。为了提高系统的追踪精度和速度,他们构建了全新的计算机视觉算法。他们同时在各种样本环境中录制了数千小时的视频,然后用来训练系统识别其环境中的特征。例如,通过定位和追踪沙发的角落或桌子的边缘,Oculus Insight可以实时地对一个人在房间内的确切位置进行三角测量(类似于人眼检测对象的方式)。
  团队同时利用了非常精确的OptiTrack动捕阵列,一种用于好莱坞视觉特效制作的相同类型设备。通过对比OptiTrack和Oculus Insight的测量数据,工程人员能够微调系统的计算机视觉算法,从而实现毫米以内的追踪精度。
  4. 大量测试
  尽管研究实验室的重点是实现准确、可测量、可重复的结果,但对于构建能够支持消费者日常用例的技术而言,团队需要将重点转移到感知指标。换句话说:VR用户对给定体验的实际感受是如何?
  为了解决所谓的“Swimminess”(物理位置与运动和虚拟位置与运动不匹配时出现的失向感)和抖动(视觉频闪和画面拖尾)等感知伪影,工程团队充分发挥了自己的想象力。
  为了记录运动并提升
  Oculus
  Insight的追踪性能,苏黎世团队的工程师大卫·沃格特(David Vogt)正在设置OptiTrack动捕系统
  苏黎世团队在多种环境和条件下利用OptiTrack动捕系统对Oculus Insight进行了测试,而他们是将自己作为测试对象。
  为了测试Oculus Insight在现实世界中的性能,苏黎世团队的工程师利用了数以百计的真实世界房间。上图是其中一个用于测试的房间。
  5. 超越VR,成为
  AR眼镜
  的基础
  如今,Oculus Insight将步入VR体验变得前所未有的轻松。对于Rift S,你只需将头显接入PC,无需额外的传感器。Quest则完全不需要计算机,可以开箱即用并支持房间规模体验。但是,Facebook对未来的畅想远远超越了今天的可能。
  目前支持Oculus Insight(以及Facebook,Instagram,Messenger的AR体验)的相同体验最终将转化为未来设备的新体验。最终,它将成为轻巧,时尚型AR眼镜的基础。
  Facebook最后写道:“我们尚有一段很长的路要走,但Oculus Insight让我们更近了一步。”