BBC科研人员竟用AR将手语解说员搬出屏幕

2025-11-28上海AR开发专家

• 
  现如今，AR在电视、直播领域已经找到一些应用，比如在今年初江苏卫视跨年演唱会上，薛之谦曾与用
  AR技术
  打造的二次元歌姬洛天依一同上台表演，洛天依的形象只有在电视和现场屏幕里看到，而观众用肉眼是看不到的。
  编辑
  此外，美国ABC电视台在去年曾用AR技术播报中期选举，将选举数据变成了酷炫的AR特效，CBS电视台在今年初也曾采用AR技术直播超级碗赛事，观众们在屏幕中可看到用于辅助现场解说的AR特效，为传统比赛直播带来更多趣味性。
  近期，英国BBC研发部门和德国IRT（无线电技术研究所）的科研人员又找到了AR的另一项潜在应用，那就是为电视节目加上AR解说员，为听力障碍者提供手语解说。
  与AR歌姬、赛事解说不同的是，这项应用是将AR解说员放到了电视屏幕之外，而用户可通过AR头显来观看。而这么做的好处是，几乎可以为任何电视节目加入AR真人手语解说，可定制性足够强。
  编辑
  另外，与传统CC字幕、在节目中通过分屏来展示手语解说的方式相比，AR解说员不会遮挡屏幕、影响观看体验，比如你想看的小细节如果被字幕遮挡，那你就需要关掉字幕，但如果是AR解说员，就不会出现这种问题。
  而且对于多人观众来讲，有些人可能并不需要看字幕，通过AR就能解决这个问题，为不同的人定制不同的电视体验。
  关于技术
  技术方面，AR解说员与电视内容的同步是通过BBC的数字电视广播（DVB）同步技术实现的，该技术曾被用于DVB和HbbTV之间的信号传输与同步。
  据悉，HbbTV技术来自于一个类似于电视神器Freeview Play那样的大电视平台，它是一种与DVB兼容的内容发布平台。
  编辑
  BBC和IRT的科研人员曾利用这些技术做过多次展示，包括将电视和平板电脑或玩具同步（孩子通过玩具做选择，可以在家里与电视里的队伍一同回答智力题，并对比答题结果）等。
  据科研人员称，AR解说员的设计基础来源于传统分屏手语解说，尤其是在创作、人形捕捉和表现方面。
  科研人员设计了半身和全身两种解说方式，然后根据需要解说的视频内容拍摄手语解说。接着，科研人员从拍摄的视频中抠出人像，做成960x1080分辨率、彩色视频，然后叠加到黑色背景，接着通过分析音频将手语解说与视频内容同步。
  编辑
  关于AR手语解说员的制作，这组科研人员总结出了一些经验：
  1，AR手语解说员的头部应该与电视一样高；
  2，半身解说员的底边应该与电视屏幕底边对齐，就像是位于电视柜上一样；
  3，全身AR手语解说员的脚不能穿过房间地面；
  4，解说员休息的时候目光需要水平直视电视，而解说的时候应该直面观众；
  5，AR解说员应该与电视稍微重叠。
  编辑
  左1列：传统手语解说；左2列：半身AR解说；右1：全身AR解说
  实验调查
  为了了解公众对于这种手语解说方式的反馈，这些科研人员邀请到23名实验参与者（11名英国人，12名德国人）来体验并对比三种同步手语解说：内嵌在视频中的传统手语解说、半身AR手语解说和全身AR手语解说。
  参与者们观看的电视节目是自然历史纪录片，佩戴的AR头显是微软
  HoloLens
  。
  编辑
  在体验过后，参与者应科研人员要求填写了调查问卷，表达对这些不同解说体验的反馈。在11名英国参与者对3种手语解说方式的好感都差不多，而12名德国参与者中有一半喜欢传统手语解说方式，而喜欢全身AR解说员的只有1人。
  在“HoloLens是否改变了你看电视习惯”问题上，8名参与者表示它带来了积极的改变，3名参与者表示带来了糟糕的体验。当然，也有人称没有带来任何改变。
  编辑
  在经过了解之后，原来参与者们认为戴AR头显看电视并不舒服，除了外形厚重外，一些参与者表示没办法同时佩戴眼镜，而且戴助听器也不方便。
  3名英国参与者表示愿意接受每天愿意在家里戴HoloLens看电影，而还有两名参与者表示想象不到戴HoloLens看完整部电影。还有一名参与者表示：戴HoloLens时间超长了，脖子会难受。有些人表示希望能在HoloLens上添加缓冲垫，不过这一点已经在Hololens 2中得到了解决（加入了泡沫垫）。
  而且HoloLens的视场角也不够大，没法同时装下电视和AR手语解说员。另外，参与者们还认为AR解说员的位置还可以继续优化，并且希望这项技术可以与他们正在使用的设备集成。
  一名英国体验者称：我一直很期待能看到全息影像，但我不希望通过头戴的设备看，更希望它是通过外部设备投影的。
  不过，不是所有的不舒适都是因为技术或者身体局限。
  比如，一位英国参与者表示：戴上这种头显很显眼，看到的人就会知道你听力有障碍，我不希望将这一点展示出来。
  编辑
  AR头显的外形的确很重要，这也是未来AR的发展方向。目前支持空间计算和立体显示的两大主流AR头显为
  Magic Leap
  、HoloLens，它们的体积还比较大、比较沉重。不过随着光学方案、定位追踪技术的成熟，更轻薄的消费级
  AR眼镜
  也会逐渐普及。
  当然，尽管有这些限制，参与者依然支持通过新型技术解决看电视问题的概念，等未来硬件技术继续发展后，他们会愿意接受同步的AR手语解说员体验。
  考虑到23人实验的规模较小，而且每个人的反馈也不同，并没有一致的意见，但是参与者们纷纷表达了自己的想法。另一位英国参与者表示：AR解说员看起来足够清晰，看起来距离你更近，感觉就像是带了私人手语解说员一样，我差点都想请她喝茶了。
  总结
  总之，AR在电视解说上依然存在一定优势：支持内容订制，可满足不同观众的不同需求，而且与传统内嵌在视频中的视频解说相比，容积摄影技术拍摄的AR解说员的立体感更强。同时，参与者们还表示：用户对于AR解说员的控制也是非常关键的。
  而从本次实验中，科研人员总结出了一些AR解说员需要注意的关键：清晰度、解说员与内容之间持续的联系、AR解说员与电视节目的相对位置、保持解说员与电视节目之间重叠的平衡性、避免挡住重要内容。本文系青亭网翻译自：Vinoba