网易汪源：网易AR将构建完善的平台生态与技术

2025-12-03上海AR开发专家

• 
  11月2日,由中国工程院、韩国工程院共同主办,同济大学承办的“第二届中韩产业创新论坛”在上海举行,这也是由中国工程院、上海市政府牵头,会同国家发改委、科技部、工信部、商务部、中科院、中国贸促会、联合国工业发展组织等共同主办的“创新与新兴产业发展国际会议”的组成部分。来自中韩两国工程院、产业界、设计学术界的百余名院士专家与会,重点围绕“虚拟现实和
  增强现实
  ”和“新能源汽车”2大新兴产业热点领域的创新展开热烈研讨。
  在报告环节,网易杭州研究院执行院长、浙江省计算机学会理事汪源以“解放双手的增强现实:‘投影与感知’的系统、挑战与展望”,介绍了作为一种“真正的”增强现实表达方式、由“投影仪—摄像头”组成的“显示—感知”系统,以及网易在增强现实领域的技术积累、实践及对此方向研究的规划。
  以下是汪源的演讲全文:
  尊敬的各位领导和专家,大家下午好。我今天分享一个小小的话题,就是在一个真实空间上面显示AR 的效果,是一个真实感非常强,也是非常有趣的话题。我今天的分享内容是4个部分,首先,我是来自于网易公司,想做一个网易公司简短的介绍。第二个是介绍网易在AR 领域的工作,第三个是对虚拟现实这个话题有一个简短回顾,最后我们是做AR 的过程中碰到一些技术问题,我们一些解决方式,以及我们工作成果的展示和计划。
  首先介绍一下网易公司。网易是中国最早成立的互联网公司之一,1997年由丁磊先生在广州成立。截止到10月31日,我们公司市值是350亿美金左右,我们去年营收是228亿人民币。是在中国互联网公司里面市值第五的公司。网易的业务主要包含中国最大的邮箱,同时也是中国三大门户之一。网易在游戏领域是市场占有率最高的。第三块是跨境电商。这个领域业务跟韩国也有非常多的合作。另外我们还有很多移动互联网的系列产品。
  我来自于网易杭州研究院,这是网易在2006年成立的研究机构,职责是给网易探索、开创新的业务,以及前沿技术的研发。AR 这块领域是在研究院下面,我们有一个研究机构,叫感知与智能中心,承担在人工智能、AR、VR方面工作。
  第二部分介绍网易在AR 做的一些工作。先简短回顾一下AR 在工业界使用的大致历程。AR 这个概念提出是非常早的,当时在工业界有一个标志性的事件,1990年波音公司在飞机生产制造过程中,使用了AR 技术。到了1996年的时候,AR 跟移动设备相结合。1999年AR 领域非常有影响的技术开始发布。经过了智能手机的兴起,包括谷歌的带动。到了2015年,微软、
  苹果
  公司使得AR 成为业界热点。
  网易研究院在AR 方面的工作分成三个主要方向。一个是AR 浏览器,一个演示,一个APP,通过加载个性化的内容和脚本,可以实现不同AR 的效果。第二块就是今天主题,基于投影仪以及照相机组成的AR 系统。第三块是AR 和物联网的解决方案。
  我们在AR 做的探索和工作,主要包括三维的重建,基于单幕摄像头的使用,我们会使用三种不同的技术,包括三维的、二维的技术。在虚拟现实方面,我们在校准和识别这些方面,做了一些探索和工作。
  我这边有比较多的视频,展示我们做的在AR 方面的工作。这是我们AR 浏览器的工作。
  这是我们跟中国最大家电厂商合作的项目,通过AR 的方式展现一些家电内部的工作原理。这个工作主要在透视眼这块。这是AR 浏览器方面的工作。
  第二个是AR 跟物联网相结合的。你可能通过手机进行多目标的工作,并且有不同的家电可以通过AR 的方式,进行操作和控制。也可以告诉用户怎么样进行电器的维修。这个视频是展示对于微波炉可以用AR 展示不同的操作界面。
  第三部分进入今天的主题,这张图是非常知名的电影叫阿凡达,通过AR 的方式叠加到物理的真实世界上面。我这边提供一段视频:
  刚才是很普通的沙盘,通过多个投影可以制造出波浪的效果,都是虚拟呈现的效果。我们是基于这套系统,可以有三个应用场景。第一个是面向特定的主题,和环境,还有自然交互。面向特定的物体我这边有一个视频:
  这个是阿迪达斯做的一个演示,一开始是非常普通的、没有任何颜色的鞋子,可以用Spatial
  AR技术
  展示鞋子的不同设计效果。还有Spatial AR的一些应用场景,这边有更多的案例,左边这张图是怎么样用Spatial AR的方式,你在安装的时候,在什么地方有什么功能,比手册和说明书方便多。还有第二个是可视化,叠加在真实背景上面。这是迪斯尼做的一个案例。最左边你如果没有一个摄像头进行感知和校准,那最终打出来的效果不是非常整齐的。经过校准才可以达到右边非常好的效果。
  这是Spatial AR作用于物体方面的一些案例,我再展示一下Spatial AR怎么样应用于更大环境场所,这是微软做的案例,在房间里做了基于Spatial AR的游戏,可以设计虚拟的人物形象,非常好玩儿的一个游戏,也可以做到很恐怖。不小心踩到游戏里面的雷区,产生爆炸的效果。
  显示一个非常奇幻的这么一个环境空间给你,这是微软的游戏,使用大概有7、8个投影仪,结合使用微软的技术。
  还有像CMU做的汽车智能投灯,左上角的图,这个智能投灯可以智能屏蔽对面,这里面还包含智能增强你前面有人和动物进行高亮的显示。
  第三块是Spatial AR跟自然交互NUI方面的案例,有一些索尼做的一些案例,通过手势激活书上面的场景。
  Spatial AR在应用里面做得比较多,像网易比较关注在游戏里面真实的游戏、交互的娱乐。然后第二个对于网易来讲,更关注在生产和制造领域,可能跟很多行业的生产制造的过程、位置提示,什么地方上螺丝,什么地方不需要,数据的可视化等结合。包括生活的一些辅助驾驶、儿童教育方面。
  最后一个方面介绍一下,我们做Spatial AR的时候碰到一些技术问题,最主要的挑战有三个方面,第一个是校准,怎么样可以非常精确的校准你的相机。第二个是识别的问题,就是用户的手势、姿势和操控识别。第三个是内容,包括内容怎么样非常真实的,进行内容的渲染和展示。
  在校准方面我们通过三种不同的途径做,第一个是图像校准,第二个是通过棋盘格做校准,我们发现最终一种方式是基于原点分布的方式,校准可能是最好的。
  在姿势识别方面,我们也是有多种方式,前两种方式,通过混合的技术,包括颜色的数据,以及这种深度数据混合做处理,这是一种解决方案。第二个是基于深度学习来识别这个手势,这个效果也比较好。我们也在探索第三个方式,我这边标成灰色的,这个方式我们也在探索,这个难度会更加大。
  那涉及到内容方面,主要是关注内容怎么样真实地渲染,包括材质和色彩,这些方面。我们会去构件一个软件的系统架构,使得可以把现有的各种内容,游戏里面各种素材可以整合进去。如果要做得更好的话,还要做设计方面,还有关注你的光度和色度,要做整合。
  我们对于Spatial AR的主要目的,是构建一个以内容为中心的系统。因为网易在游戏产业里面,是自主研发里面第一,对于AR 来讲,内容是最关键的核心,我们最主要的目的是构件以内容为中心的系统。
  最后我展示一下Spatial AR做的一些工作,跟网易相结合的,是我们在平面识别的方式,控制的网易云音乐,是目前在中国排名第二的在线现音乐产品。
  第二个跟美的合作做的案例,用Spatial AR技术使大家的生活更方便。这个案例是教大家怎么样在厨房里面做菜。你可以把一个教学的东西很好地叠加在你的厨房工作台上面。
  我们未来的计划会进一步构建更完善的平台生态、技术、以及各方面的技术,今天我的分享就到这里,谢谢。