基于计算机 uSens推出手部骨骼追踪AR SDK

2024-12-20上海AR开发专家

• 
  去年这个时候，计算机视觉公司uSens推出了一款支持手部追踪的立体摄像头模型。现在，uSens只需通过智能手机摄像头即可实现相同的功能。
  在日前举行的世界
  增强现实
  大会（AWE）中，uSens推出了uSensAR Hand Tracking SDK的beta版本。这一工具可以帮助开发者在iOS和安卓设备上为VR和AR移动应用整合手部追踪和3D动作识别。借助智能手机的RGB摄像头，uSensAR Hand Tracking可以通过计算机视觉和深度学习来追踪整只手的骨骼动态，不仅仅只是一只手的指尖。
  到目前为止，增强现实的主流普及主要集中在智能手机方面。因此，智能手机AR的任何主要界面创新都是一个重大发展。尽管
  苹果
  和谷歌已经通过
  ARKit
  和
  ARCore
  为移动设备带来了水平表面和垂直表面的无标识追踪，图像识别，甚至是多用户体验，但用户与增强现实内容的交互仅限于触摸屏界面，不同于
  HoloLens
  和Meta 2。
  uSens联合创始人兼首席执行官何安莉表示：“uSens很自豪能够将AR推向下一个前沿，帮助开发者为智能手机用户创建更加引人入胜和娱乐性更强的增强现实体验，为他们带来更加直观的操作：只需用双手和手指在空中滑动即可。”
  何安莉还说道：“这为开发者带来了全新的可能性，使得他们能够为主流受众创建真正独一无二的体验。就像是触摸屏帮助市场拥抱了智能手机，为用户提供一种简单自然的方式来与AR/VR对象和环境进行交互，这将在促进消费者普及方面发挥重要作用。”
  在短短一年时间里，uSens为什么可以在没有外部硬件的情况下实现同样的追踪水平呢？关键是机器学习。
  uSens产品与运营副总裁王亚明表示：“自从我们在去年年中开始直接面向手机市场以来，我们便一直致力于研发基于智能手机RGB摄像头的手部追踪。它与我们为基于深度学习的技术所研发的算法类似。现在不同的是，我们训练算法来学习单个摄像头输入。”
  “它可以根据我们的算法提供骨骼信息和关节信息，不过它的性能不如立体摄像头或深度摄像头，因为它的视场更小。但是，我们相信它为一系列的用例提供了足够好的性能。”
  王亚明表示，uSens已经在与美图进行合作，将这项技术集成至他们的AR摄像头效果。另外，uSens同时在与一家未透露名字的游戏开发商合作，而王亚明暗示这家公司已经在美国纳斯达克上市，并且“在社交设定中发行了一款网络游戏”。
  尽管如此，虽然移动AR已经加速了消费者对AR的采用，但触摸屏仍然是用户和内容之间的障碍。在回顾当前市场上最佳的移动
  AR应用
  程序时，我们可以马上想象手部追踪将能如何改善已有的优秀体验。
  当然对于智能手机用力而言，用户的一只手已经要用来握持设备。不过，uSens技术同样可以促进智能眼镜的更快速创新，特别是基于安卓的可穿戴设备。随着精度和覆盖范围的提升，基于摄像头的追踪解决方案可以支持硬件厂商减掉专用深度传感器的需要。
  希望AR硬件行业能够按照相关的思路进行摸索，而这可能意味着厂商将能比想象中更快地为我们带来优秀的AR体验。