独家|揭秘HoloLens声音系统:它是如何欺骗你的大脑的？

2025-11-06上海AR开发专家

• 
  “
  没有它,虚拟现实(VR)就没办法栩栩如生,也很难摒除人们的不信任感,但这一点往往是游戏和应用开发人员第二点去思考的方面
  ,”微软高级项目经理Hakon Strande表示。
  他指的的什么呢?想象你戴着VR头盔走在大街上,一切都模拟地微妙微翘,此时一辆公交缓缓朝你驶来,但由于声音模拟不到位,你无从判断它到底是位于哪个方向的。
  Strande指的这一点正是声音,而这一领域也是微软在自家的
  混合现实
  (MR)头盔
  HoloLens
  中花大力气去打造的一个特色。
  除了全息图像,HoloLens的法宝还有啥?
  众所周知,HoloLens能够在人们所看到的现实世界中投射全息图形,但很少有人知道它的音频功能也非常强大,由于使用了微软自己研发的空间音频系统,虚拟世界里的音频听上去会非常可信。
  微软音频创新总监Matthew Lee Johnston表示:“
  空间音频将会让环境表现得更为真实,让人类的大脑在环境中明白物体所在
  。”
  那么,这一系统是如何打造的呢?
  Johnston介绍,HoloLens的音频系统模仿的是大脑处理声音时的过程,“
  我们日常体验到的是空间音频。所有人都一直在听取、定位周围发出的声音,而大脑则不断地理解去处理这些声音,把它们在周围的世界一一定位出来
  。”
  一系列的听觉线索,是大脑精确定位声音源的依靠。回到本文开头的例子,如果公交车从右方驶来,则离它近的耳朵会比距离较远的耳朵更先听到,声音也会更大。就是这些线索辅助大脑来确定物体的位置。
  除此之外,在声波进入人的耳道之前,它会先和外耳、头部甚至脖子发生接触。
  根据这些器官的形状、大小和人的位置不同,每个声音都会受到不同程度的影响。而这些微妙的变化被称为HRTF(头相关变换函数),导致了不同的人听到的声音都会有所不同
  。
  别小看这些细微差别,正是他们形成了最关键的空间音频体验。因此,“如果使用通用的解决方案或过滤器的话,就只能满足这世界上一半的用户了。所以为了让混合现实(MR)的体验每个人都能玩转,我们
  必须要找到一种方法,来打造属于个人的听觉系统
  ,”微软研究中心的音频团队主管”Ivan Tashev解释道。
  于是他的团队开始在研究中心收集大量的数据。如何收集?使用的还是比较原始的办法,即通过收集数百人的HRTF,建立自己的听觉档案。对对象的头部进行听觉测量和精细的3D扫描。如此一来,在被新用户戴上的时候,HoloLens设备就可以根据这些样本,快速而谨慎地匹配数据库中存储的最为接近的档案。
  听觉模型是如何建立的?
  世界上首个无回声房间
  Tashev在微软总部的听觉测量房间是完全无回声的,是在声音吸收层上由丝网构成的房间,能够吸收一切声音和震动。这种房间首创于1943年,由哈弗电声研究中心主管Leo Beranek博士打造。
  微软一共收集了350人的HRTF。这一具体操作是由一个携带60个话筒的黑色装置、以及对象耳中一对橘黄色麦克风而完成的。黑色装置会间歇发出尖利、宛若激光的声音,而当声波进入对象耳中的时候,麦克风就会捕捉到这些声波。
  那么,这些声波如何使用呢?团队能够捕捉左耳和右耳所接收到的400个方向的音频线索,从而对每个音源都形成一对HRTF数据。“
  如果所有可能方向的声音HRTF数据我们都了解了,就能重建你的空间听觉,如此一来就可以欺骗用户的大脑,我想让他们听到什么,他们就会听到什么
  。”
  HoloLens的头部追踪
  光有这些还不够,另外一大必备要素就是头部追踪——头部的方向对声音接触耳朵能够造成最直接的影响。还是拿公交车做例子,当直视车辆和拿右耳朝着公交车的时候,听到的声音是不同的。
  不过对于HoloLens来说,团队并不需要从零开始解决头部追踪的问题,
  设备上搭载的六个摄像头之一会持续观测用户的头部运动,而音频系统只需要把这一信息拿去用即
  可。
  虽然技术团队强大,但微软并非首个、也非唯一能够打造个人化音频系统的公司。如普林斯顿大学和马里兰大学的研究中心,都拥有测量HRTF打造自身听觉库的能力。
  但微软的音频测量,用户是留意不到的。在首次戴上HoloLens的时候,用户只会被要求让设备测量自己瞳孔的间距。但
  在这一过程中,其实它会偷偷通过瞳间距得出两耳之间距离的参考数值,从而了解到用户的HRTF到底与哪种数据库里的模型最为匹配
  。
  选好合适的耳机很重要
  一切都准备好了之后,最后的问题来了——哪种耳机最合适呢?
  虽然微软曾经考虑过耳塞式耳机,但最终被团队否决了,因为“
  除了虚拟物体的声音外,用户还必须听到真实世界的声音”,否则那就不是
  增强现实
  (AR)或混合现实(MR)而是虚拟现实(VR)了。Hakon Strande表示:“我们需要有一个装置在用户的耳朵外部
  。”
  最终他们提出的方案就是今天HoloLens所采用的外观细长的红色耳机,它位于用户耳朵上方的头箍上。不会影响用户听到真实世界的声音,又能播放虚拟物体的音效。
  对此Strande感觉很自豪:“大多数人都不会意识到那里有个扬声器。当用户首次尝试这个设备并听到空间里的声音时,他们会真的觉得环境中有话筒在播放声音。这很好地说明了模拟地效果在当前有多么逼真。”
  空间音频技术未来将应用在Windows 10对应的VR头盔上
  虽然这一技术目前应用在HoloLens上,但随着微软在10月26日公布VR头盔,这一空间音频技术当然将会在Windows 10支持的所有设备上跨平台使用。
  对此Strande表示:“音频对于MR和VR的体验来说是非常重要的。而这通常是游戏和应用开发者第二步才会去思考的领域,但是没有音频,就没办法使人信服。要让虚拟物体栩栩如生,尤其是对那些在用户周围移动的全系图像来说,音频是必须去考虑的角度。”