英伟达展示16000Hz刷新率原型AR显示屏

2024-12-23上海AR开发专家

• 
  虚拟现实需要高性能的系统才能维持舒适的体验，而但如果我们要实现理论中的真正沉浸式AR，其最终可能需要更高的性能水平。
  虽然虚拟现实可以在低于20ms延迟下实现舒适和沉浸式的表现，但
  增强现实
  需要几乎零的延迟，为保持真实世界和数字世界非常接近的同步，AR对高频输出的需求十分严格。
  为此，英伟达向我们展示了一款刷新率高达16000Hz的原型AR显示屏。与之相比，传统AR显示屏的刷新率仅为60Hz（当前高端VR头显为90Hz/120Hz）。
  从视频中可以看到，他们把白色数字盒子叠加在真实的棋盘中。当前显示屏的刷新率为60Hz，而你可以发现数字信息难以瞄定在真实世界对象中，因为移动速度意味着在渲染下一张图像之前，渲染到屏幕的最新图像已经显著地偏离了现实世界对象。
  与之同时，由于16000Hz的显示更新如此迅速，不管摄像头的移动速度如何，图像也能保持高速重新渲染，从而几乎可以完全锁定在真实世界的网格上。
  在本周的GTC 2017大会上，英伟达展示了北卡罗莱纳查普希尔大学分销、英伟达研究所和InnerOptic Technology共同合作的最新成果。英伟达的摩根·麦圭尔（Morgan McGuire）表示，16000Hz系统中的运动到光子的延迟为0.08毫秒，这比当前的高端VR头显快100倍以上。
  有趣的是，实验中的60Hz显示屏和16000Hz显示屏的源输入仅仅保持在60Hz。这意味着研究人员已经能够实现这种超低延迟内插，不需要用16000fps源输入匹配16000Hz显示屏，而这在现实场景中并不实际。
  详细的研究以标题《From Motion to Photons in 80 Microseconds: Towards Minimal Latency for Virtual and Augmented Reality》发表在《IEEE 视觉化与计算机图示学汇刊》中。作者在摘要中解释，该系统是检验图像质量与其他因素之间权衡的有用平台。
  我们描述了一种基于具有极快（16 kHz）二进制更新速率的DMD芯片的增强现实光学透视显示屏。为了把二进制像素转换为可感知的灰阶，我们通过一种新的调制技术把后渲染二维偏移和即时追踪更新相结合。这种在FPGA（现场可编程门阵列）中实现的处理元素与光学显示元素一起安装在头部追踪设备中，而用户可通过头部追踪设备将合成图像叠加在真实环境中。接近零延迟的机械追踪与可重构显示处理的组合仅带来了平均80微妙的端到端延迟，这同时也是一种针对极低延迟显示系统的广泛测试平台。我们已经通过这个平台来检查图像质量和成本（即功率和逻辑复杂度）之间的权衡，并发现我们可以用相当简单的显示调制方案来维持质量。
  16000Hz可能接近于AR的理论目标值，但即便是更低的刷新率仍然能为我们带来舒适的AR体验。被认为是当前最高质量的AR头显
  HoloLens
  ，其刷新率也仅仅只是60Hz而已。虽然视觉表现不够完美，但已经属于可以接受的水平。映维网相信随着AR头显的外形设计不断优化，用户头部的移动速度将会越来越快，
  AR眼镜
  需要匹配这一速度，所以我们希望显示屏的表现能够随着时间的推移而不断改善。