继百度推出首个AR翻译 有道也推出AR实景翻译

2024-12-22上海AR开发专家

• 
  编辑
  继
  百度推出首个AR实景翻译
  ，昨天网易有道在全球移动互联网大会(GMIC)上发布了最新的实景AR翻译技术，这是国内首个真正的实景AR翻译解决方案，给当前打得火热的翻译界又添了一把火。
  有道实景AR翻译的整个过程完全是动态的，和出国旅行、购物等场景十分契合，并且接入了有道的离线神经网络翻译技术（YNMT），翻译质量堪比专业八级，速度极快。这比起以往的拍照翻译，体验上有了跨越式升级。
  完全离线，所见即所译
  翻译工具最高频的使用场景就是国外旅行、海淘购物，而输入文字
  再
  翻译的效率并不高。有道实景AR翻译就能解决这一问题，只需要拿起手机扫一下，就能获取商品信息、路标提示，整个翻译过程，比扫二维码还要快。最重要的是，整个过程全部离线完成，即使在没有网络的情况下，也不会有语言障碍。据了解，目前有道实景AR翻译已经支持中英日韩四种语言。
  有道实景AR翻译能够实现手机镜头在运动状态下对被摄内容的跟随翻译，跟随速度非常快，能精准地呈现出翻译结果。针对一些常见的翻译语料，比如论文、化妆品包装、个人证件、产品说明书，有道实景AR翻译都做了专门的技术优化。而在翻译结果的视觉呈现上，翻译结果的边缘、背景色与字色均可与原背景无缝贴合。
  跨越技术门槛，集合顶尖AI科技
  全离线的实景AR翻译技术门槛很高。有道从2016年开始尝试，经过几次技术的实验、推翻、再实验，才有了目前的成果。在GMIC大会上，网易有道首席科学家段亦涛，剖析了其中融合的4项AI黑科技。
  动态跟踪 (Tracking)
  不同于静态的拍照翻译，实景AR翻译，是在动态移动的情况下完成。有道自主研发的动态跟踪，就是用运动预测模型去实现动态跟踪，速度能达到90帧/秒。“电影画面的跟踪速度是24帧/秒，所以有道的Tracking速度看起来是非常流畅的。”
  OCR组段分析（Layout Analysis）
  让机器理解人类语言的段落层次，是影响翻译结果很重要的因素。为此，有道用了OCR组段技术训练了上百万份不同类型的语料。段亦涛表示，“组段技术在实景AR翻译中非常重要，这也是为什么用户会感觉到有道的实景AR翻译会比谷歌更通顺。”
  离线神经网络翻译（YNMT）
  离线YNMT极大的提升了实景AR翻译的速度。安装不到100M大小的离线包，就可以在无网络的环境下轻松翻译。有道的YNMT是翻译领域的最尖端的技术之一，中英翻译质量媲美专业八级。
  AR渲染技术
  后台翻译完成后，有道自主研发的AR引擎会在20毫秒内完成像素级渲染。翻译结果的背景边缘、颜色以及字体颜色均保持与被摄原图高度融合。
  翻译领域的技术革新者
  AI爆发之后，有道几乎每年都给翻译界带来颠覆性的技术革新。
  2017年4月有道推出基于神经网络翻译的技术(YNMT)，突破了过去统计翻译模型(SMT)的局限，翻译质量的提升是过去十年的总和。
  很快，有道上线了离线的YNMT，配合离线OCR技术，突破了网络环境对翻译的局限，翻译速度大幅提升，准确度堪比联网效果。
  为了给用户更好的语音交互体验，有道首次尝试“YNMT+智能硬件”的翻译方案，推出了有道翻译蛋。而拍照翻译和此次推出的实景AR翻译，则是基于视觉交互的翻译解决方案，让翻译体验再升级。总尝试“第一个吃螃蟹”的有道，已经有了深厚的技术积累，成为中国翻译技术革新的推动者。