AR-VR在如何改变科学家们的生命科学、自然科学研究

2024-12-18上海AR开发专家

• 
  虚拟现实和
  增强现实
  工具允许研究人员以前所未有的方式浏览和分享数据。但截至目前为止，它们主要是作为早期采用者的工具集，尚未实现大规模普及。
  在我戴上VR头显后，外面的世界便消失于无。一个细胞出现在我的视野之中，当抬起脖子时，我可以从多个角度浏览它。我把头伸进去探索它的内部结构。借助运动控制器，我可以逐层分解细胞，用手腕轻轻挖掘，揭开埋在表面之下的细微结构。
  Arivis是一家位于德国慕尼黑的生命科学软件公司，他们开发了这种特殊的VR可视化工具，名为InViewR。
  虚拟现实早已出现，但市场对这项技术的兴趣要到2016年才开始迅速增长。增强现实则是一种相关的技术，其能够通过透视头显或智能手机屏幕将数字对象叠加在周围的环境中。
  一些科学家认为VR和AR比传统的平面屏幕更直观，更适合用于浏览复杂的3D结构。其他人则通过基于智能手机的廉价头显来提高公众对这项技术的理解。他们的人数相对较少：VR和AR仍然是一项利基工具。但一些研究人员表示，虚拟现实和增强现实提供了新的视角。
  Adam Lacy-Hulbert是华盛顿州西雅图贝纳罗亚研究所（Benaroya Research Institute）的首席研究员。他对溶酶体特别感兴趣 （一种帮助清理细胞内部的结构），但传统显微镜的一些2D图像令他感到困惑。Bulbert说道：“这看起来就像是细胞溶酶体的一部分已经移动进入细胞核，而这看起来完全没有道理。”
  贝纳罗亚研究所开发的工具ConfocalVR则借助VR来显示共聚焦显微镜的图像，这使得真正发生的事情“在几秒钟内显现出现”。细胞核实际上是在溶酶体周围变形和移动。
  VR也为加利福尼亚大学的博士后研究员Wilian Cortopassi提供了帮助。ChimeraX是一种蛋白质和其他结构的分子可视化工具，它在2016年11月增加了对VR头显的支持。通过“行走”在氢键网状组织的虚拟空间之中，Cortopassi明白了蛋白质中的某些突变体是如何阻碍靶向药物。Cortopassi指出，当你对大量的原子进行可视化时，电脑显示器会非常混乱；但在虚拟现实中，“你能够以不同角度或距离浏览氢原子，并快速发现一些重要的相互作用。”
  1. 虚拟现实
  虽然存在价格便宜的选项，但大多数可视化工具只支持最昂贵的头显，如Facebook的
  Oculus
  Rift和HTC的
  Vive
  ，因为它们可以追踪用户的头部，并支持用户在三维空间中自由行走。研究人员和玩家有他们的偏好，但Oculus Rift和
  HTC Vive
  之间的差异很小。“我认为目前还没有明确的赢家。”ChimeraX的开发者之一Tom Ferrin如是说道。他的实验室位于加利福尼亚大学，专门从事分子可视化工具。
  并非所有工具都与所有头显兼容。InViewR仅适用于Oculus Rift，而ChimeraX和ConfocalVR则支持两者。Oculus Rift和HTC Vive都基于Windows操作系统，但Vive同时兼容MacOS X。
  VR是计算密集型的设备，因为每只眼睛都必须看到不同的图像以产生3D效果，而且这些图像必须快速进行刷新。在某些情况下，新显卡可以提供足够的计算能力，“但一般情况下，你可能需要购置一台新电脑”，Benaroya的信息学和研究技术主管，以及ConfocalVR的创造者之一Tom Skillman解释道。Oculus Rift推荐使用VR认证电脑，价格从850美元到3100美元不等。他们同时建议至少8GB内存和一枚高端显卡。
  VR软件本身也可能很昂贵。尽管ConfocalVR和ChimeraX对非营利机构是免费提供，但对商业公司而言则并非如此。ConfocalVR没有提供价格信息，但ChimeraX可能需要支付高达20000美元的费用。
  对于喜欢团队协作的用户而言，ConfocalVR的开发者在4月增加了支持4名用户同时浏览和抓取同一VR空间中结构的选项。这可能意味着科学家们不必面对面地一起工作，而这有可能会降低通勤成本。ChimeraX和InViewR的开发者都希望在未来增加类似的协作功能。
  2. 增强现实
  与VR相比，用于AR头显的可视化软件则相对落后。美国密苏里堪萨斯城医院Children’s Mercy的信息总监Mark Hoffman曾通过微软
  HoloLens
  来浏览蛋白质和CT扫描。
  他表示AR的用户友好程度高于VR，因为用户可以看到周围的环境，所以不容易产生晕动症。Hoffman实际上曾在VR中遭遇过晕动症，而这并非是一种罕见的现象。他说：“在使用HoloLens期间，我从未感到任何的不适。”
  但缺点是，HoloLens只能将对象投影至视场中心的一个相对狭窄的矩形区域。Hoffman指出：“这是取舍的一部分。AR并非完全的身临其境，而是‘理解的促成者’。你在平面屏幕中可能会忽略很多东西，但在AR中却会变得更为清晰。”比如说蛋白质与蛋白质的相互作用。
  Children’s Mercy的外科医生正在探索手术前通过AR来浏览患者心脏的CT扫描。Hoffman采用循序渐进的方法来通过HoloLens浏览相关数据。通过将影像投影至空间的固定点，外科医生可以探索具体的组织。Hoffman解释说：“他们可以走进心脏的心室，他们可能会看到特定儿童的一条血管入口点没有位于正确的位置。”HoloLens售价3000美元，而且必须要直接向微软订购。
  3. 低成本的选择
  更廉价的头显可以帮助研究人员覆盖更广泛的受众，比如说基于智能手机的三星Gear VR或售价15美元的谷歌Cardboard。
  Juicebox VR是一款专门面向这种简单设备的应用。美国休斯敦贝勒医学院的遗传学家Erez Aiden表示，这款工具可以把人类基因组的连接渲染成火星般的地貌。Juicebox VR的开发商正是Aiden的实验室，他表示：“当人们与之交互时，他们真的能够理解数据的样子。”
  生物学家同样采用了Augment。这款应用通常是用于可视化家具在房间中的样子，而生物学家则利用该工具帮助同事和学生通过智能手机屏幕来浏览蛋白质的3D模型。
  对于有兴趣自行开发可视化工具的研究人员而言，Unity则是其中一个最为普遍的开发环境。利用Unity来帮助Juicebox VR运行在Mac Pro的Muhammad Saad Shamim指出，它运行在相对适中的硬件上。Hoffman指出，对于HoloLens来说，用户不需要成为高级开发者才能导入3D对象。然而，他们需要熟悉Unity和微软的Visual Studio编程环境。其他选项包括Unreal Engine，以及免费3D图形工具OpenGL。使用OpenGL创建ChimeraX的Ferrin表示，OpenGL比Unity或Unreal需要更多的前期工作，因为开发者需要直接处理更多的编程细节，但回报是功能的限制更少。
  尽管VR和AR工具已经在消费者文化中开始普及，但目前只有少数实验室使用了该技术，而且还有多少人会效仿仍有待观察。然而，许多倡导者预测VR和AR可能在未来五年内成为标准的实验室工具。Skillman说，该技术以三维方式向我们大脑提供信息，而这本应是最自然的方式。他指出，在2D屏幕构建3D心理模型需要大量的智力工作，但“当你戴上头显时，所有这一切工作都会消失。