终极指南 所有你该知道的AR-VR-3D技术与发展

2024-12-22上海AR开发专家

• 
  3D和“全息影像”这些词听得大家耳朵都起茧了。
  从松下在2010年发布首个3D电视系统起，到现在的虚拟现实和
  增强现实
  技术，这些词已经融入到我们的流行文化中，越来越成为我们所关注的焦点。毕竟现实世界是立体的，我们又何必把自己的体验限制在平面的屏幕上呢？
  从2D过渡到3D是一个自然的过程，正如上世纪50年代的时候，黑白电影和黑白电视转变为彩色一样。但是在很多方面来看，从2D到3D带来的影响或许会更大。
  3D的意义并不只是为了呈现更加可信的真实世界，而是将数字世界变成现实生活的一部分，让它的每一个细节都变得像现实世界一样真实。
  这个即将到来的分水岭将对我们的工作、学习、社交和娱乐方式产生深刻的影响。我们将能突破现实世界的物理限制，我们的想象力有多大，世界就有多大。
  当然，这个转变也会影响我们使用的设备，以及我们与机器的交互方式。这也是为什么谷歌、Facebook和
  苹果
  这样的公司都在尽快抢占3D市场的原因：谁赢得了3D战争，谁就能掌握下一代用户交互的控制权。
  但现在这还只是一个憧憬而已。尽管之前已经有人试过打开3D市场，但是我们仍不得不依赖狭窄的屏幕来进入电子世界。为什么？因为现在的3D存在着许多不足，目前的技术水平还不足以实现一个真实可信的世界，所以消费者还在继续等待。
  接下来YiViAn想以用户的角度向你全面地介绍3D技术，VR/AR头显和裸眼3D显示屏等3D产品正在面临的挑战，以及这些产品将如何成为我们与数字世界之间的直观交互界面。
  我们为什么需要三维画面？
  在深入了解3D技术之前，我们需要先理解这项技术的原理。
  你可以试一下眯着一只眼镜来穿针，你会发现这比你想象中的更困难。进化已经改变了人类对3D的感知，让我们可以更快更准确地掌握现实世界的信息。
  我们是如何在生理层面上获取深度感知的？这是一个复杂的课题。人类的眼睛和大脑可以感受到很多深度提示，当这些提示在现实世界中出现的时候，它们之间会互相加强，在我们的脑海中形成清晰的3D环境图像。
  如果我们想用一个3D错觉来欺骗视觉系统和大脑，我们可能无法真实地重现所有的深度提示，这样形成的3D体验会有所偏差。因此，我们需要理解一些主要的深度提示。
  立体视觉（双眼视差）
  无论你相不相信，你的两只眼睛所看到的东西是不一样的。它们看物体的角度会有细微的不同，所以视网膜得到的图像也会有所差别。
  我们看远处的物体时，左右眼睛之间的视差会比较小。但在物体较近的时候，视差便会增大。这个差别可以让大脑测量和“感受”到物体的距离，触发对深度信息的感知。
  现在大部分的3D技术都是依靠立体视觉来欺骗大脑， 让大脑相信自己感受到了深度信息。这些技术会向两只眼睛呈现不同的图像，如果你看过3D电影的话（例如《阿凡达》和《星球大战》），那你应该已经通过3D眼镜体验过了这种效果。
  更为先进的“自动立体”显示技术可以将不同图像以不同的方向投射到空间中，这样眼睛就能接收到不同的图像，不需要佩戴眼镜。
  立体视觉是最明显的深度提示，但它不是唯一的线索。人类其实只通过一只眼睛也能感受到深度。
  运动视差
  闭上一只眼睛，然后将食指放在另一只眼睛前面保持不动。现在稍微将头上下左右地运动。这时你会看到背景好像是在相对手指运动。更准确地说，看上去是你的手指比背景移动得更快。
  这种现象叫做运动视差，这是你可以使用一只眼睛感受到深度的原因。如果要提供真实的3D感受，运动视差是一个很重要的效果，因为观众与屏幕的相对位移是非常轻微的。
  没有运动视差的立体视觉仍然可以让你感受到深度，但是这种3D图像会出现变形。例如在3D地图中的建筑物会开始出现扭曲， 背景的物体看上去好像是被前景的物体故意遮挡一样，如果你仔细看的话会觉得相当难受。
  运动视差跟我们的视觉感受密切相关——事实上我们所看到的近大远小效果正是一种深度提示。
  视觉调节
  就算你正在完全静止地坐着（没有运动视差）， 然后闭上一只眼睛（没有立体视觉），这样你仍然可以分辨远处和近处的物体。
  这时再尝试上面的手指实验，将你的食指放在眼前静止不动，然后聚精会神地盯着这根手指。在眼镜聚焦的过程中，你会发现背景会变得模糊。现在将你的焦点放在背景上，你会发现手指变得模糊，而背景变得清晰了。这跟现代照相机的工作原理是一样的，我们的眼睛具有改变焦点的能力。
  眼睛是通过睫状肌的收缩来改变晶状体的形状，从而达到变焦的功能。
  那么眼睛的睫状肌是怎么知道应该用多大的力气来收缩的呢？答案是我们的大脑有一个反馈回路，睫状肌会不断地收缩和舒张，直到大脑得到最清晰的图像为止。这其实是一个瞬间完成的动作，但如果过于频繁地调节睫状肌的话，我们的眼睛会感到很疲劳。
  只有在距离两米以内的物体才能触发睫状肌的运动，超过这个距离，眼镜就会开始放松，将焦点放在无限远处。
  视觉辐辏与视觉调节的冲突
  当你的双眼聚焦于附近的一个点时，它们其实会在眼眶中旋转。集中视线的时候眼外肌会自动伸展，大脑可以感受到这个动作并且将其视为一种深度提示。如果你把焦点放在10米以内的物体上，你会感受到眼球的会聚。
  所以当我们用两只眼睛看世界的时候会用上两组不同的肌肉。一组肌肉负责让双眼会聚（辐辏）到同一个焦点上，而另一组肌肉则负责调节视网膜成像的清晰度。如果眼睛辐辏不当，那我们就会看到双重影像。如果视觉调节不当，那我们就会看到模糊的影像。
  在现实世界中，视觉辐辏和视觉调节是相辅相成的。事实上，触发这两种反应的神经是相连的。
  不过在观看3D、虚拟现实或者增强现实的内容时，我们通常都会将焦点放在特定的位置上（例如3D影院的银幕），但是双眼接收到的信息会让双眼会聚到另外的距离（例如从银幕冲出来的巨龙）。
  这时我们的大脑将难以协调这两种冲突的信号，这也是有些观众在观看3D电影的时候会感到眼睛疲劳甚至是恶心的原因。
  使用特制的眼镜观看3D内容
  你还记得那些用卡纸做成的红蓝立体眼镜吗？这种“滤光眼镜”可以让让左眼只看到红光，右眼只看到蓝光。通常的立体图像会在左眼叠加一层红色的图像，在右眼叠加一层蓝色的图像。
  当我们通过滤光眼镜观看的时候，大脑的视觉皮层会将所看到的图像融合认为是三维场景，而且画面的色彩也会被修正。
  现在所有基于眼镜实现的3D效果，包括虚拟现实和增强头显都是利用这样的工作原理——通过物理方式分离左眼和右眼所看到的影像来营造立体视觉。
  偏光3D眼镜（用于电影院）
  你现在去看电影的时候会拿到一副看上去完全不像偏光眼镜的3D眼镜。这种眼镜并不会根据颜色来过滤图像，而是根据光的偏振来过滤图像。
  我们可以把光子想象成一种会振动的实体，它们会沿着水平方向或者垂直方向振动。
  在电影屏幕上，一个特制的投影仪会生成两幅互相重叠的图像。其中一幅图像只会向观众发射水平振动的光子，而另一幅图像则会发送垂直振动的光子。而这种眼镜的偏光镜片可以确保两幅图像可以分别到达相应的眼睛。
  如果你有一副偏光眼镜（不要从电影院偷出来哦），你可以用它来观看现实世界的偏振。把这副眼镜保持在你视线2英尺的距离上，然后通过它来观看汽车挡风玻璃或者水面。在你将眼镜旋转90度的过程中，你应该会看到穿过镜片的眩光的出现和消失。这就是偏光镜的工作原理。
  偏光镜可以允许所有的彩色色谱进入到眼睛中， 这样子3D画面的质量也会得到增强。
  从3D影像质量来看，这种眼镜只能提供立体视觉这一种深度提示。所以尽管你可以看到图像的深度，但如果你离开座位在电影院内走动的话，你将会看不清周围的物体，背景会以与运动视差相反的方向移动，也就是像是会跟着你一样。
  还有一个更严重的问题是这种眼镜缺乏视觉调节的支持，这会导致视觉辐辏和调节之间产生冲突。如果你盯着一条龙从屏幕向你靠近，你很快就会感受到极度的视觉不适。
  这也是为什么电影中的龙只会非常快速地飞过——这样做只是为了达到惊吓的效果，同时避免你的眼睛感到不适。
  主动快门式3D眼镜（用于电视）
  如果你家里有一台3D电视的话，它配套的眼镜可能不是偏光类型的，而是采用了“主动快门”的技术。这种电视会交替显示右眼和左眼的图像，而眼镜会按照电视的频率同步遮挡相应的眼睛。如果切换的频率足够快的话，大脑可以将这两种信号混合成一幅连贯的3D影像。
  为什么不使用偏光眼镜呢？虽然有些电视会采用这种技术，但是不同方向的偏振图像必须来自不同的像素，所以观众看到的图像分辨率会减半。（但是电影院里的两幅图像是分别投影在屏幕上的，而且它们可以互相重叠，所以不会导致分辨率下降。）
  主动快门式3D眼镜一般只能支持立体图像这一种深度提示。一些更加先进的系统会采用追踪技术来调整内容，通过追踪观众的头部实现运动视差的支持，但是只能用于一位观众。
  虚拟现实头显
  虚拟现实是一种全新的3D渲染类型。这项技术最近得到了广泛的关注。现在已经有很多人体验过虚拟现实头显了， 而未来几年将有更多的人能够体验到这项技术。那么， 虚拟现实的工作原理是什么呢？
  VR头显不是通过过滤来自外部屏幕的内容来工作的，而是生成自己的双眼图像，并直接呈现给相应的眼睛。VR头显通常包含两个微型显示器（左眼一个，右眼一个），它们现实的头像会经过光学元件的放大和调整，并显示在用户眼前的特定位置上。
  如果显示器的分辨率足够高的话，图像的放大比例也会更高，这样用户就会看到更广阔的视场，而沉浸体验也会更好。
  现在像
  Oculus
  Rift这样的虚拟现实系统会追踪用户的位置，为立体视觉增加运动视差效果。
  目前版本的虚拟现实系统并不支持视觉调节，并且容易造成视觉辐辏和调节的冲突。为了确保用户体验，这个技术难题是必须要解决的。这些系统现在也不能完全解眼镜动作的问题（范围有限和失真），但是这个问题未来可能会通过眼球追踪技术来解决。
  增强现实头显
  同样的，增强现实头显也变得越来越普遍。增强现实技术可以把数字世界和现实世界融合在一起。
  为了确保真实感，增强现实系统不仅需要追踪用户在真实世界的头部运动，同时也要考虑自己所在的现实3D环境。
  如果Hololens和
  Magic Leap
  最近的报道是真的话，增强现实领域现在已经出现了巨大的飞跃。
  近眼光场显示
  正如我们的两只眼睛看到的世界会有所不同，现实世界的光线也是从不同的方向进入瞳孔之中的。为了触发视觉调节，近眼显示屏必须能够模拟独立从各个方向发射的光线。这种光信号被称为光场，这是虚拟现实和增强现实产品未来的关键。
  在实现这种技术之前，我们只能继续忍受头痛了。
  这些是头显设备需要克服的挑战，它们面临的另外一个问题是融入社会和文化（比如Google Glass的遭遇）。如果想同时以多个视角显示世界，我们则需要利用裸眼3D显示系统。
  裸眼3D屏幕
  如果不佩戴任何设备，我们可以如何体验3D图像呢？
  看到这里， 我想你应该明白如果想提供立体视觉，3D屏幕必须朝着不同的空间方向投射出不同视角的影像内容。这样子，观众的左眼和右眼将会自然地看到不同的图像，从而触发深度感知，因此这种系统被称作“自动立体显示”。
  因为3D图像是依靠屏幕投射的，所以只要3D效果不是太夸张的话，自动立体显示本身可以支持支持视觉辐辏和视觉调节。
  但是这并不代表这种系统不会造成眼睛不适。事实上，这种系统在不同视觉区域的转换方面也有另外一个问题。
  这种系统的图像会出现频繁的跳跃、亮度变换、暗带、立体视觉中断等问题，最糟糕的是左右眼看到的内容被颠倒，导致完全相反的3D感受。
  那么我们应该如何解决这些问题呢？
  棱镜膜
  3M公司在2009年开始对这项科技进行商业化生产。
  棱镜膜会被插入到普通LCD屏幕背光的薄膜堆栈之中，可以分别通过来自左右某一方向的光线来照亮，当光源来自左边的时候，LCD的图像将会在投射在右边的区域， 当光源来自右边的时候，图像会在左边的区域投射。
  快速切换光源的方向，并按照同样的频率改变左右眼看到在LCD看到内容，这样可以产生立体视觉，但是前提是屏幕需要放在观看者的正前方。如果通过其他视角观看的话，立体效果将会消失，图像也会变会平面。
  因为观看的范围非常有限，所以这种显示技术通过称为“2.5D”。
  视差屏障
  在一个2D屏幕上面加入一块被开了许多小口的遮盖层，当我们通过这些小口观察屏幕的时候，我们不能看到下面的所有像素。我们能够看到的像素实际上取决于观看角度，观察者的左眼和右眼可能会看到不同的像素组。
  “视差屏障”这个概念早在一个世纪以前就被发现了， 夏普在十年前首次将其投入到了商业应用。
  经过改良，现在这项技术采用了可切换的屏障，这实际上是另一个活动的屏幕层，它可以产生屏障效果，也可以变为透明，将屏幕恢复到2D模式，以显示完整的分辨率。
  早在2011年的时候，HTC EVO 3D和LG Optimus 3D就已经登上头条了，因为它们是全球率先支持3D功能的智能手机。但它们其实只是2.5D技术的另一个例子，只能在非常狭窄的视角范围提供3D效果。
  从技术上讲，视差屏障可以不断扩展形成更宽的视角。但问题是视角越宽，你所需要屏蔽的光线就越多，这样就会造成耗电量过大的问题，尤其是对于移动设备来说。
  柱状透镜
  在一个2D屏幕上面覆盖一层微型凸透镜，我们都知道凸透镜可以聚焦来自远处光源的平行光，小孩子用放大镜点着东西也是利用了这个原理。
  这些透镜可以收集从屏幕像素发出的光线，并将其转变为具有方向的光束。我们把这个现象称为准直（collimation）。
  光束的方向会随着透镜下方的像素位置而改变。这样的话，不同的像素将会跟随光束投射到不同的方向上。柱状透镜技术最终可以达到视差屏障同样的效果（都是利用在不同的空间位置看到的像素组不同的原理），只是柱状透镜不会遮挡任何的光线。
  那为什么我们在市面上没有看到柱状透镜3D屏幕呢？
  这不是因为没有人尝试，东芝就在2011年在日本发布过第一代系统。但是这种屏幕在仔细观看的时候会出现了一些难以接受的视觉假象，这主要是由透镜产生的问题。
  首先，屏幕像素通常都是由一个面积较小的发射区和一个面积较大的“黑色矩阵”组成的，后者是不发光的。在经过透镜的处理之后，单个像素的发射区和黑色矩阵会被偏折到空间的不同方向。这样会导致3D画面出现非常明显的黑色区域。唯一能解决这个问题的方法是对透镜进行“散焦”，但是这样做会导致不同视角之间的干扰，图像也会变得模糊。
  其次，只用单个透镜是很难在广视角下达到合适的准直的。这也是相机镜头和显微镜会使用复合透镜而不是单透镜的原因。因此柱状透镜系统只能在较窄的视角（大约20度）观察到真正的运动视差。超出这个范围的话，3D图像就会不断重复，感觉就像观看的角度不对一样，图像也会变得越来越模糊。
  较窄的视场和糟糕的视觉转换是柱状透镜屏幕的最大缺陷。对于电视系统来说，如果观众会自动调整他们的头部并且不会走来走去的话，那么现在的柱状透镜技术是可以接受的。
  但是在手机和汽车这样的使用场景下，头部是肯定会有移动的，这样柱状透镜系统就很难达到理想的效果了。
  那么，我们应该如何设计含有宽广视场和流畅转换的裸眼3D视觉系统呢？
  眼部追踪
  如果我知道你的眼睛和屏幕之间的相对位置，我可以计算出相应的视角，并尝试将图像调整至眼睛的朝向。只要我能快速地检测到你的眼睛的位置，并且有同样快速的图像调整机制，那我就能确保你在任何视角都能看到立体视觉，以及平滑的运动视差渲染。
  这就是眼部追踪自动立体屏幕的运作原理。
  这种方法的好处是：屏幕在任何时刻都只需要渲染两个视角的画面，这样可以保持大部分的屏幕像素。从实际的角度上讲，眼部追踪系统可以结合目前视差屏障技术一起使用，避免柱状透镜系统产生的光学假象。
  但是眼部追踪并不是万能的。首先，它每次只能支持一个观众，而且，眼睛的追踪需要设备配置额外的摄像头，以及在后台持续运行用于预测眼睛位置的复杂软件。
  对于电视系统来说，尺寸和功耗不是一个大问题，但是这会对移动设备造成巨大的影响。
  此外，即使是最好的眼部追踪系统也会出现延迟或者错误，常见的原因包括灯光的改变，眼睛被头发或眼镜遮挡，摄像头检测到另外一双眼睛，或者是观众的头部运动得太快。当这个系统出现错误时，观众会看到非常不适的视觉效果。
  衍射背光
  裸眼3D技术的最新发展是衍射“多视角”背光LCD屏幕。衍射是光的一种特性，光线在遇到亚微米物体时会出现偏折，所以这就意味着我们要准备进入纳米技术的领域了。
  你没看错，就是纳米技术。
  普通的LCD屏幕背光会发出随机分布的光线，也就是每个LCD像素都会向广阔的空间发射光线。不过衍射背光可以发出统一方向的光线（光场），而且可以设置某个LCD像素发出单向的光线。通过这样的方式，不同的像素可以向不同的方向发送自己的信号。
  跟柱状透镜一样，衍射背光的方法也可以充分利用入射光。但是跟柱状透镜不同的是，衍射背光可以同时处理好较小和较大的光线发射角度，以及完全控制每个视角的角度扩散。如果设计合理的话，视角之间是不会产生暗区的，而且生成的3D图像也能跟视差屏障一样清晰。
  衍射方式的另一个特点是，光线调整功能不会影响直接穿过屏幕的光线。
  这样一来屏幕的透明度就可以被完整保留，所以这种屏幕可以添加在下方加入正常的背光，并恢复到全像素的2D模式。这为透视裸眼3D显示技术的发展铺平了道路。
  衍射方法的主要问题在于颜色的一致性。衍射结构通常会把不同颜色的光线发射到不同的方向，而这种色散现象需要在系统层级进行抵消。
  最新前沿：从3D视觉到3D交互
  然而，3D技术的发展不会只止步于看到3D图像，它将会打开一种全新的用户交互范式。
  3D体验很快就能达到适合消费的质量，而且我们也不会在担心自己的3D体验被打断。
  在虚拟现实和增强显示系统中，这意味着要增加视场，支持视觉调节，并且提高系统在头部快速运动时的响应速度。
  在裸眼3D显示技术中，这意味者要向用户提供足够的自由移动空间，并避免出现各种视觉假象，比如3D丢失、暗区、视觉跳跃，或者运动视差延迟。
  混合世界
  一旦幻象变得真实可信，我们就会忘记幻象背后的技术，并且把虚拟现实世界当成是真实世界，至少在我们撞上真实存在的墙壁之前。如果要实现这样的幻想，我们需要考虑到现实世界是有物理反应的。
  当我们把电子数据转化成我们可以在真实世界感知的光信号的时候，我们需要将身体的真实反应数据发回数字世界进行交互。
  在虚拟现实和增强现实头显中，这点可以通过用户佩戴或放置在周围环境的传感器和摄像头来实现。我们可以预见未来将会出现搭载传感器的智能服装，不过它们可能会较为笨重。
  在3D屏幕上，这项任务可以直接由屏幕来完成。 事实上，Synaptics研发的Hover Touch技术已经能够可以实现非触摸手指感应了。很快， 我们只需要动动手指就可以与半空中的全息影像进行交互了。
  可触摸的全息影像
  一旦电子世界理解了用户的反应机制。 那么两者就能更自然地融为一体。换言之， 数字信号可以在我们撞上一面墙之前先在上面打开一扇门。
  但是如果能在虚拟世界看得见摸得着这面墙，这样不是更好吗？ 但是我们怎样把触感带进这个世界呢？
  这个问题涉及到触觉反馈的领域，如果你有打开过手机的振动模式的话，那你就应该体验过这种反馈了。
  例如一种配有振动单元的手套和其他服装，或者利用微弱的电信号来模拟皮肤，如果调整的当的话，你身体的不同部位将能感受到与视觉效果相匹配的触感 。
  当然，不是人人都适合穿上这种衣服布满电线的服装或感受电流。
  对于基于屏幕的设备来说，超声波触觉就可以让你直接在空中触摸到屏幕，不需要使用任何智能服装。这项技术是从屏幕的四周发出超声波，这些超声波的强度可以根据用户的手指动作进行调整。
  信不信由你，这些强化声波的强度足以让你的皮肤感应到。Ultrahaptics这样的公司已经开始准备将这项技术推向市场。
  全息现实
  虽然今天的虚拟现实和增强显示头显越来越普遍， 但是它们在移动和社交方面仍有诸多限制，使得它们难以实现全面交互的3D体验。使用手指触觉技术的3D屏幕将能克服这一障碍，在未来让我们以更直接的方式与数字世界进行交互。
  我在最近的一篇博客文章中将这种平台称为全息现实（Holographic Reality），并讲述了全息现实显示屏可以被应用在我们日常生活的方方面面。未来的所有窗户、桌子、墙壁和门都会有全息现实功能，我们在办公室、家中、汽车甚至是公共场所使用的通信设备都会搭载全息现实的元件。我们将可以随时随地访问虚拟世界，无需再佩戴头显或者连接线缆。
  未来5年
  在过去5年里， 3D技术、显示技术和头显领域已经出现了极大的发展。
  在如此迅猛的技术发展之下，不难想象在未来5年我们将会在全景现实的世界中交流、学习、工作、购物或娱乐， 这将会通过由头显和3D屏幕等产品组成的先进3D生态系统来实现。