让你一秒变动画人物的 AR 应用：Pinscreen

2024-12-23上海AR开发专家

• 
  随着 Facebook 收购 MSQRD 和 Snapchat 收购 Looksery，AR 和换脸将成为移动应用的下一个方向。但是一家名叫 Pinscreen 的 AR 创业公司想在这个领域玩点新鲜的。Pinscreen
  Pinscreen 成立于 2015 年，已经获得了拉克斯资本和 Colopl VR 基金的 1800 万美元的投资。创始人兼 CEO 是 Hao Li，虽然名不见经传，但他曾担任美国南加州大学助教，参与了几部卖座电影的动作研究。
  在视觉工作室 Industrial Light & Magic 工作时，Li 开发了一些方便实时动作捕捉工具。他当时的想法是，当演员在电脑摄像头前表演，场景将实时转化成 CGI 角色。
  Li 也在其他领域展开过广泛的研究，包括实时制作真人三维模型、真人肖像重点部位捕捉，特别是脸部和头发。最近，Li 和其他研究者一起展示了一个新的研究成果：仅用一个镜头捕捉人的动作，就可以转化成动画角色。
  这并不是一个新的概念，有许多其他公司也在做类似的移动应用，甚至更复杂的系统，如 2015 年被
  苹果
  收购的 Faceshift（一款运动捕捉工具，它主要用来复制人类面部动作）。
  但这些产品大多依赖深度传感器，而 Li 的技术不需要。
  「如果有一个深度传感器，你就只需要优化人脸模型参数，使其尽可能接近 3D 输入」，Li 说，「但在纯 RGB（记录及显示彩色图像的一种方式）输入的情况下，整个世界被投影到二维图像中，无法确定焦距。因此，想要得到精确的 3D 面部模型，不仅需要投影图像，还需要处理照明条件、不同主体外观等一系列问题。」
  因此，Li 的研究重点在于 3D 化身。当映射人类面孔，处理如头发和眼镜等视觉障碍时，映像程序往往会陷入困境。为了避免这类问题，Pinscreen「建立了一个深层的卷积神经网络，可以不受约束的学习如何分割面部区域」。
  所以，Pinscreen 用这种技术做出了哪些成果呢？
  「我们将成为一个新型的社交媒体/沟通的平台，具有一些有趣的 AR 功能」，李说，「与 Snapchat 的 lenses 功能或 MSQRD 的应用程序有所不同。」
  所以，Pinscreen 的 AR 社交平台不只是一个概念而已。Li 希望能够捕捉人的面部表情，而无需考虑眼镜、头发等可能阻碍摄像机拍摄的问题。在他看来，AR 能够扩展电影、社交和游戏的边界。
  这听起来相当具有开创意义，但要注意的是，并不仅仅只有 Li 和他的团队研究这一领域。迪士尼联合一些开发者推出了一个实时面部捕捉工具 Face2Face。前文提到过的 Faceshift、Facebook 和 Snapchat 也开始在这一领域展开研究。
  那么，Pinscreen 的技术有什么不同？Li 表示，他们解决方案更强大，可以推断更精确的三维模型，因为他们可以明确地处理遮挡的问题。
  「我们最重要的创新之处在于我们能够建立一个完整的 3D 头部模型，能够自动生成包括头发在内的所有图像」，Li 说，「一般来说，这项工作需要一个熟练的 CGI 建模师和装配师合作完成，但我们能完全自动生成」。
  「最近在 SIGGRAPH 会议上展示的成果仍然需要输入很多图像，但我们的目标是尽可能减少对图像的输入，最好只输入一个单一的 2D 图像。」
  Li 对于 Pinscreen 在社交媒体空间的潜力非常有信心，他说：「我们的技术能普及 3D 化身，必将被用在游戏、VR/AR 沉浸式沟通和 AI 代理。但我认为我们正在开发的社交媒体平台最酷的应用。」
  「最重要的是」，他补充说，「我们要让人们制造出非常有趣的内容，并可以使用真正有趣的 AR 内容相互连接，而不需要昂贵的视觉特效。」
  Li 表示，这一技术只是他们整个计划的一部分，这个技术 demo 只是他们想要采用的一个小功能。「Pinscreen 将包含更多有趣的功能，与其他的社交媒体平台很不一样。」
  现在，Pinscreen 仍然有点神秘，让我们期待它登陆应用商店吧！