ar技术 让自拍更有趣

2024-12-22上海AR开发专家

• 
  自 Faceu 激萌成功冲击 2016 年上半年度中国区应用榜-图片分享 app 前三名起，越来越多的用户开始将目光放到这种新鲜的美颜自拍模式上来，一向紧跟潮流的腾讯也不愿意错过这一次热潮，在最新版的 QQ 中更新了全新的短视频模式：选择萌萌哒的特效挂件、录制短视频发送好友，为聊天增加趣味性的同时，还能让你一秒变身世界第一萌。
  实现此类创意的基础，就是「人脸（面部）识别技术」。这是一种以人脸（面部）为标识信息的识别方式，主要包括人脸检测、人脸追踪，AR 特效追踪匹配与渲染；通过检测四十九个关键点，精准的定位面部区域，包括眉毛、眼睛、鼻子、嘴巴以及面部轮廓等，同时支持一定程度的遮挡和多角度人脸。
  人脸识别技术一度广泛应用于金融认证和智能服务行业，支付宝在去年年末上线的刷脸功能就是其中的典型应用；而人脸识别和
  增强现实
  技术的结合，又产生了更为神奇的化学反应——2014 年欧莱雅发布了第一款以虚拟试妆为主题的应用程序「千妆魔镜」，打开了面部实时互动的新大门：从妆容到眼镜、再到繁杂的效果面具，虚拟试戴正在逐渐走进我们的生活。
  让人脸识别更有商业意义的是表情（分析）识别技术：这种基于人脸五官的细微及精准的位移分析，能提供更稳定的识别特性，帮助企业实现更多更好的创意，更重要的是可以满足企业的高精度需求，让试妆试戴具有更精确的识别；相比」拍完照片后、给照片上的人脸进行眼镜或者妆容的叠加」的方式，表情识别让用户体验更流畅、实时交互更方便。
  我们精选了 5 款搭载表情识别技术的 app，不仅能为你的自拍增色，测试过程也一定会让你乐不可支。
  Mojo Masks
  Mojo Masks 是一款以「搞怪」为主题的应用，内置多款鬼脸效果面具，使用者只要选择其中一个、即可在手机屏幕上看到「佩戴」效果；Mojo 采用不规则形状的面部校准框，配合各项动作表情提示帮助用户快速校准面部；虽然无法实现细微表情识别，但是 Masks 的正面贴合度很好，并且可以在试戴时随时重新校准面部、调整贴合度。
  这款软件独特之处在于——面部的参数矫正功能——可以针对不同的面部特征，生成最匹配当前人脸的基准点，尤其是眼睛、嘴唇这类对精度要求比较高的部位。
  矫正时候，要求最好是「准确的人脸」——正脸、不戴帽或眼镜、不大笑，这样才能获取最准确的人脸数据。不过，Mojo 还是一款基于人脸的应用，脸部转动超 45 度后，Masks 即无法再完美贴合。
  RealTryOn 美妆版
  RealTryOn 本身是一款虚拟眼镜试戴平台，而即将发布的美妆版是 RealTryOn 在美妆领域的拓展：应用内置了多款妆容效果，针对每个人的面部特征，进行参数矫正并生成独特的五官数据后，再将妆容匹配至面部。无论眨眼还是转动头部，妆容都会随之发生相应的变化。
  这款软件采用五十一个识别点，分布式识别的方式对面部数据进行采集，尤其是眼镜、嘴巴、眉毛等精细部位，全脸覆盖后、还会根据细微的表情动作进行调整；在试戴的过程中，底层的深度技术将不断进行自我修复，实现动态算法更新，让面部贴合度达到最佳效果。
  Egg &
  Faceu
  由 Line 出品的相机 egg 保留了一贯的可爱系风格，自带大量的 Line 旗下人物面具贴图，以及不少的热门 IP 面具，实现你成为超级英雄的愿望。
  面部贴合度上能实现基于精细特征的人脸精准定位，意味当面部转动超过 45 度后，面具贴片不再有明显的翘起或凸出。同时，egg 添加了表情识别模式——由张嘴、眨眼睛等特定动作触发面具的动态效果。
  作为曾经最火的自拍工具之一，Faceu 内置了上百款面具效果，从可爱风到搞怪系列一网打尽；相对于其他 AR 类拍照工具，它添加了美颜和滤镜的功能选择，并结合社交属性，将「自拍、分享」的过程进一步简化。在面部识别上，Faceu 实现了基于精细特征的表情识别模式，然而转动超过 45 度仍能看到较为明显的贴片漂浮不贴合。
  实际上，Faceu 和 Egg 等都是通过人脸区域的识别，软件只是做了人脸的检测和人脸区域的 2D 跟踪，也就是说，叠加到人脸上的全都是图片素材内容，没有与人脸表情特征点进行映射。
  这种识别，比较类似于
  Metaio
  被收购前出的绝版 SDK 中人脸识别的模块，只有区域的识别，可以识别到人脸眼睛部分的的中点，再根据这个位置来做全脸素材的匹配。
  这类技术在亚洲人脸上是比较成功的，在面部特征差异化较大的外国人中，可能有的适合有的不适合了。
  关键在于
  面部贴合
  真正实现表情识别分析是这类自拍工具能否叫座的关键之一，毕竟在交互有趣之外，面部贴合度是检验人脸识别可靠性的唯一途径。
  纵观市面上多数的成熟 AR 自拍应用，可以说在某种程度上实现了「头部识别」：应用程序在确定识别点时，是以整个头部作为识别范围、而不是精确到面部；因此，头部转动过程中会出现面具无法转动、或面具随着转动但超过某个角度范围后就会脱落等情况，让体验效果大打折扣。
  当然，在趣味交互的需求中，也许头部正面添加 AR 表情卖萌，已经足够满足消费者的玩乐体验了。
  企业级的商业潜力
  而对企业级用户来说，使用表情（分析）识别才能满足更高级别的企业级需求，在解决面具贴合脱落的情况下，新增五官的细微位移变化的分析，保证面部贴合度能一直维持在「优秀」的水平；另一方面，通过不断的捕捉、校准，识别算法将会越来越完善，因而搭载表情识别的应用程序，配合平台化的运营思路，可能是未来人脸识别能够实现商业变现的途径之一。
  商户（内容提供商）在后台上传商品模型、添加商品链接，应用程序实现试戴和一键购买，商家和购买者都能得到满意的体验；同时面部信息的大数据收集分析又能提供及时的反馈和深度优化的依据，这就意味着，以人脸为入口的定制化电商服务，将成为品牌跨界合作、互动推广的切入点。
  当人脸识别技术愈趋成熟，实时的人脸 3D 建模会代替现阶段「通过校准特征点来调整模型匹配」的方式，将为试穿试戴提供强大的技术助力；另一方面，依据算法对人脸的深度分析，商品与推荐服务将实现自动化匹配，也会让虚拟试戴越来越商业化。