AR技术打造 「虚拟演播室」求爱之路

2024-10-28上海AR开发专家

• 
  在上周我们对「东京 8 分钟」进行了五大猜测后，有读者在后台留言表示 AR 的应用在我们国内并不是新鲜事，《财经郎眼》节目早已使用了这项技术，不值得我们如此「大肆宣扬」。
  我们认真观摩了《财经郎眼》，其 AR 效果确实令人印象深刻。我们在观看节目时，发现了屏幕下面的小广告——
  「现场 3D 特效 VIZRT」。
  顺藤摸瓜，我们找到 VIZRT，果不其然采用的是 AR「虚拟演播室」技术。
  「虚拟演播室」技术早在 1978 年就有人提出, 但是长期受制于计算机硬件运算速度和图形图像处理能力，该技术并没有得到普及。
  早期的 AR 系统有日本 NHK 的 Synthevsion、法国 INA 的 Synthetic 等。90 年代中后期，伴随着计算机硬件的发展，许多厂商纷纷把产品推向市场，其中代表性公司有 : GMD 公司的 3DK 系统、以色列 ORAD 公司的 Cyberset 系统、美国 Acom 公司的 Elset 系统、以色列 RT - SET 公司的 Larus Otus 系统、美国 Evans and Sutherland 公司的 Mindset 系统等。
  目前，该技术在中央电视台、各省级电视台、教育行业及各大企业等视频节目得到广泛的应用，增加了节目的趣味性和互动性。那么，「虚拟演播室」技术乎用户报告＝是如何实现的呢？
  其实正如我们追求妹子一样，这是一个「求爱」过程。
  「神技」的求爱之路
  制作虚拟演播室所需材料：
  一个房间
  一个蓝箱
  一个主持人（如果需要的话）
  一个摄像机组
  其中，摄像机组是由一个虚拟摄像机和N个真实摄像机组成。
  真实摄像机用来拍摄真实场景，虚拟摄像机拍摄的是虚拟场景。拍摄过程中需要对摄像机的位置、方向和镜头等参数进行追踪，然后将这些数据传递给计算机。计算机生成虚拟画面，使虚拟摄像机和真实摄像机达到同步效果。
  找「对象」
  想谈恋爱必须得先有个对象啊，同样，摄像机必须找到「对象」才能进行绘制。
  专业一点来说，这个过程叫追踪。
  摄像机的追踪方法主要有四种，分别为图像识别定位跟踪技术、传感器定位跟踪技术、红外线定位跟踪技术和超声波定位跟踪技术。
  其中应用最多的是传感器定位跟踪技术。这种方式是在摄像机上安装运动参数编码器，通过此编码器，可以获得摄像机的俯仰、摇摆、变焦和平移等信息和活动参数。该技术可以支持多台摄像机同时工作，并且不需要进行太复杂的运算。通过传感器获得的数据基本没有延迟，参数也十分精准。
  需要注意的是，这种方法需要对每一台摄像机安装传感器，而且当定位系统发生重启时，虚拟演播室需要进行再次校正。
  为那个Ta，精心准备一份「礼物」
  动画制作直接影响着节目的质量。虚拟演播室就是一个计算机图像产生与合成系统，利用计算机将演播室的观念「物化」，在制作手段上突破了传统制作手段的束缚，使演播室不再受时间和空间的局限。
  动画师在计算机上借助 3D Max、MAYA 等三维动画软件制作虚拟场景。这些软件可以进行贴图的无缝拼接，添加自然的表面纹理，拥有真实的光照系统。做出的虚拟场景十分逼真，可达到以假乱真的效果。
  不过，虚拟场景每帧只有 20ms的渲染时间，所以这计算量对计算机的要求也是很高的。
  在合适的时间送上合适的「礼物」
  最后的视频合成环节使用了抠像和键控技术。对摄像机拍摄到的真实人和景进行抠像处理，然后将抠出的「像」与制作好的虚拟场景合成在一起。
  场景的制作、修改、保存等都在计算机上进行，制作和更换电子布景快捷简便，节省了大量的人力、物力、财力，而且缩短了节目制作周期，提高演播室的利用率。
  表白成功后，故事还在继续......
  「虚拟演播室」主要应用在中小规模演播室中，这些栏目场景有不少共同点：场地不大且更换频繁，演播人员少，摄像机也比较少，背景颜色和实景颜色好区分。
  近年来 , 随着「虚拟演播室」技术的发展 , 图像的质量越来越高 , 其应用范围也超出了演播室本身，一些大型体育赛事中也开始采用这种技术。
  挪威 TV2 电视台曾使用Sixty 公司的 AR 解决方案，用 AR 播报 2015 世界女子手球锦标赛。节目中采用了多种 AR 技术的组合，包括球员的个人简历和照片、3D 球场模型、球员队形模拟以及下一场赛事的预告等。此外，节目还利用动作捕捉技术来采集运动员的信息，并把将此运动信息运用到 AR 场景中，方便 TV2 体育节目主持人能迅速地为观众解析现场赛况。
  回顾「东京 8 分钟」的五大猜想
  「东京 8 分钟」有可能采用的是「虚拟演播室」吗？我们文章中的第三种猜想便是如此，那我们不妨展开分析可能性。
  在摄像机追踪方面，现场应该不会采用图像追踪法。毕竟现场光线比较暗，这对图像识别来说太具挑战性，同时灯光的明暗变化对识别的稳定性也有很大影响。
  至于红外线定位法和超声波定位法，这两种方法都需要提前在场景中布置及校正发射器。在闭幕式中有关 AR 的镜头才 27 秒，彩排却需要很长时间。这从节目安排角度来看，可能性不大。
  所以，最有可能的还是传感器定位法。这种方法技术比较成熟。在「东京 8 分钟」27 秒中，我们看到转播多次进行镜头切换，来代替镜头的实时跟踪，这就无需实时生成虚拟场景，可以分开计算并绘制出每个摄像机对应的画面。不要小看这几个镜头切换，它们可以大大减小实时渲染成本。
  当然，视频中的一次 360°镜头环绕，很明显是个 CG。
  日本是的渲染技术相对比较成熟。所以虚拟场景生成部分，对它们来说应该不是问题。但是能够做到如此精致，以假乱真的程度，代价也是挺高的。
  我们后来找到了一个网友在现场录制视频——
  虽
  然视频不够清晰，但是还能看清当红球被点亮时，场景上方是没有任何东西的。这也说明了 27 秒的 AR 展示只是作为现场节目的「转场」，所以「虚拟演播室」是最安全且效果又好的实现方法。
  换言之，现场「东京 8 分钟」中的 AR 炫技最有可能采用的就是「虚拟演播室」技术。
  最后特别感谢，各位读者给予的宝贵建议，以及亮风台算法研发工程师蒋佳忆博士对本文的大力指导~