VR/AR中自然手势交互的必要

2024-12-18上海AR开发专家

• 
  专家介绍
  毛文涛，uSens中国研发中心技术总监、首席研究员，计算机视觉及机器学习专家。先后在三星研究院、百度从事人体姿态估计，手势识别等工作，拥有多篇国际论文及若干国际专利。2015年加入凌感，他希望为用户搭建一个
  “超级现实Super Reality”
  的平台，让人们在真实与虚拟世界中，无缝实现完美的相互表达和沟通。
  我们希望能够实现，客观世界、虚拟世界和人三者融为一体，我们把这种体验称为“SuperReality超级现实”，打通这三者沟通壁垒，建构一个能够互相之间自然的表达和智能的理解的平台。我们只是在这个方向上迈出了一小步，正在尝试和摸索中。
  2016年我们努力的四个方向
  很多人对我们的产品名字——Impression Pi到底什么意思很感兴趣，其实它承载了我们的愿景，基于现实，超越现实，通过它将科技与艺术相结合，做一个VR/AR界里面的印象派。目前，我们研发融合
  AR+VR+六自由度头部跟踪+26自由度三维自然手势追踪
  的设备，它会有4个特点：移动性、AR/VR的无缝切换、6个自由度的头部跟踪、26个自由度的自然手势跟踪，这也是uSens凌感2016年的产品方向。这条路很长，我们作为先期实践者，也需要开发者一同努力，去构建“人、客观世界、虚拟世界”三者间自然的交互平台。我们将硬件、软件、SDK等开放给开发者，跟我们一起去打造一个更具想象力的超级现实。
  为开发者带来新的想象空间
  为开发者带来新对于开发者来说，这些特点能够提供哪些新的想象力呢？
  首先，
  自由在VR/AR中切换
  ，这样我们将不再局限在虚拟内容上，而是可以和身边的物体进行交互，来开发游戏或者各种应用。我们看到了VR AR之间的切换的确给人带来很多不同的体验，我们的兵马俑demo只是抛砖引玉，希望未来大家和我们一起开发出更多有想象力的应用和游戏。
  其次， 就是
  3D的自然手势交互
  ，它包括: 最基础的第一层次--静态手势，它能实现的是一些很简单的动作手势，但体验不够自然。假如你要拿起一个
  苹果
  ，并不是在苹果旁边摆一个抓取的姿势，说：“嘿，我已经放了2秒了，你该上来了。”这是不科学的，因为不是人类的正常交互，而应从你去触碰到苹果的那一瞬间，苹果在慢慢地被你拿起。第二层是动态手势的识别，它不光支持静态手势的动作，它还可能会有一个时间序列来进行手势识别，比如说手的挥动、手的点击等，比如: uSens开发的Pi Ui可以通过手势在主界面中进行菜单的滑动、翻页、选择等。这种算法已经能给人相当好的感受，让人觉得很自然，感到自己已经能用手去操作了。
  但是这还不够，最后一个层次就是
  自然手势跟踪
  ，这个就是不再拘泥于某一个静态手势，或者某一个短时间的动态手势了。它是从头到尾时刻都在跟踪用户的各种复杂动作，提取手的所有关节点，并且持续理解这些动作的含义，时刻知道你在做什么，和人的自然交互是一样的。
  自然的手势跟踪真的很必要吗？
  为什么我们一定需要这样的手势呢？如果我只是跟踪了手的位置，然后按个按钮就好了，为什么我们需要大费周章的去弄那么多的关节点呢？那我得先来分析下人在做动作的时候如何感受“真实”了。
  大家闭上眼睛，想象你前面有一个苹果，然后假象自己去抓起这个苹果，你是不是能感受到自己已经拿起了苹果呢？大家会觉得很神奇，的确我们在用手去抓苹果的时候，我们仿佛真的感受到了苹果的存在。所以说人感受动作的真实主要是分为两部分：动作本身和外界反馈。而这个动作本身需要符合我们人的经验知识和认知。
  我们再做一个实验，还是闭上你的眼睛，想象你前面有一个苹果，但是这次只允许你握着拳，不允许张开手，然后去拿起苹果，这时候你能感受到那个苹果随着你的拳头一起起来吗？很难吧，这就是因为它违背了我们人的认知，违背我们长期以来的本能反应。所以我们一定要做符合认知的动作，这是感受到真实的第一步，然后基于这个，再加上声音的反馈、交互的反馈，比如苹果起来了，还有力的反馈等等，人就能真正的体验到真实了。这就是为什么我们要花精力去做自然手势的跟踪。
  但是可能还有一个疑问，这有必要吗？我们现在的游戏没有它不是好好的吗？我想说不是手势没用，不是我们不需要，而是我们还没有在自然手势交互这块有太多的想象力，还没有真正的技术去支持这个东西。
  你可以想象下，游戏中添加很多丰富的动作，能够提升很多游戏的交互维度，带来新的体验。我们的一个合作方之前开发的一款很有名的
  VR游戏
  —猜拳岛，你可以在其中玩石头剪子布来进行攻击，这就打破了简单的点击移动操作的框架。再比如，在解谜游戏中，加入了自然手势，我们可以轻轻触碰、抓取、翻开道具，甚至我们可以手拧螺丝刀，可以任意在道具中翻箱倒柜，这是将会是多么好的体验。我从小就喜欢七龙珠，可能很多人都看过，第一次接触VR的时候就在幻想着有一天我能亲手发出一个冲击波试试，通过我的不同手势控制能量的大小，这应该非常的炫酷。
  所以自然的手势跟踪是真正的AR/VR所必须的，我们需要能准确快速的识别复杂动作，并且作为SDK提供给开发者只需要占用很少的资源。目前我们正在不断优化，已经可以实现很多复杂动作的识别，握拳、遮挡等等。
  我们想做的就是让你在虚拟世界，随意走动，随意交互，现在来看，唯一限制你的不是技术，而是你的想象力！