布朗大学科学家用VR控制机器人，并开源项目代码

2024-12-21上海AR开发专家

• 
  尽管自动机器人能够独立而且出色地完成自己的任务，但仍然存在需要人类介入和控制的情况。由布朗大学计算机科学家开发的新软件能够支持用户通过虚拟现实远程控制机器人，而这将能帮助用户沉浸在机器人的环境之中。
  软件能够通过网络将机器人的手臂和抓爪，以及板载摄像头和传感器连接至虚拟现实硬件。借助手持式控制器，用户能够控制器机器人手臂的位置并执行复杂的操作。
  用户可以步入机器人的金属皮肤以获取环境的第一人称视图，或者以第三人称视角调查场景。你可以自由切换，寻找最方便完成任务的视角。而且机器人和虚拟现实设备之间传输的数据足够紧凑，能够以最低延迟通过互联网发送，以支持用户远程控制机器人。
  布朗大学研究生David Whitney是这一系统的联合负责人，他表示：“我们认为这可以用于需要精巧操作，而且人类不应该亲临现场的情景。我们在思考的三个专门用例是拆弹，在受损核设施内完成任务，或者在国际太空站中操作机器人手臂。”
  这一项目的其他负责人包括布朗大学的本科生Eric Rosen。这两人都在由计算机科学助理教授Stefanie Tellex负责的Humans to Robots实验室中工作。值得一提的是，他们本周在智利举办的国际机器人研讨会上介绍了描述这一系统和评估其实用性的论文。
  即使是高度复杂的机器人也常常使用一些相当简单的手段进行远程控制，通常是键盘或者诸如游戏手柄和二维显示器之类的设备。Whitney和Rosen指出，这适合驾驶轮式机器人或者无人机那样的任务，但可能不适合更加复杂的任务。
  Whitney说道：“对于操作机器人手臂那样包含多个自由度的机器，键盘和游戏手柄并不是十分直观。”他们指出，将三维环境映射到二维屏幕上会限制人们对机器人所处空间的感知。
  Whitney和Rosen认为虚拟现实或许可以提供更为直观和更加身临其境的选项。他们的构思与映维网早前关于丰田实验的报道类似。
  延伸阅读
  ：全身动作映射，丰田用
  HTC Vive
  远程控制机器人
  软件利用机器人传感器来创建机器人本身及其环境的点云模型，然后将其传输到连接至
  Vive
  的远程计算机。用户可以透过头显来感知相应的空间，并在内部进行虚拟行走。与此同时，用户还可以通过机器人手腕上的摄像头观看实时高清视频，获取操作任务的详细视图。
  研究人员表示，他们可以为用户创造一种身临其境的体验，同时保持足够小的数据负载，使其能够通过互联网进行传输。举例来说，位于普罗维登斯的用户能够远程操作位于马萨诸塞州剑桥的一个机器人（彼此之间相隔41英里），令机器人堆叠一系列的塑料杯。
  在另外的研究中，18位新手用户通过虚拟现实中完成叠杯操作的速度比传统的键盘显示器界面高出66％。用户也表示他们更喜欢虚拟界面，而且他们认为操作难度比键盘和显示器界面更加简单。
  Rosen认为，任务执行速度的提升是由于虚拟现实界面的直观性导致。Rosen说：“在VR环境中，人们可以像移动自己的身体一样移动机器人，所以他们在操作时更本不用多想。这让人们可以专注于手头上的问题或任务，不需要花费更多的时间去了解如何移动机器人。”
  研究人员计划进一步开发这个系统。第一个迭代专注于一个相当简单的操作任务（机器人保持固定），而他们希望尝试更复杂的任务，比如在操纵的基础上加入导航移动。他们同时希望尝试混合自动模式，比如机器人自身完成一部分任务，而用户则接管其他任务。
  研究人员已经把系统托管至GitHub（点击前往）。他们希望其他机械学研究人员可以进行尝试或创新，从而为我们带来更优或更多的用例。