文章分类
号称打败谷歌翻译的 DeepL 究竟靠不靠谱?
2017-10-02 18:56
来源:未知
点击数:            

  鉴于数据、计算力、算法等诸多门槛,自神经机器翻译(NMT)产品化以来,在很大程度上便是互联网巨头们的竞技场。

  如今,又一个新的挑战者加入进来,直接把矛头指向堪称行业技术标杆的谷歌、微软以及 Facebook。

  上周,来自的 DeepL 翻译上线,号称实现了 NMT 技术的新突破,打造出了“世界上最精确、语言组织最自然的机器翻译系统”;并宣布在自家组织的盲测中,打败了谷歌翻译以及微软与 Facebook 的 NMT 系统,衅意十足。

  目前,DeepL 翻译已支持英德法西等 42 门欧洲语言,正在对汉、日、俄等语言进行训练,并计划在将来发布一款 API,让开发者能够将 DeepL 翻译整合入其应用中。

  公司的前身是运营已近十年的在线外语词典 Linguee,DeepL 翻译也完全由Linguee 团队打造。Linguee 在国内没什么存在感,至于在海外……有谷歌翻译专美于前,存在感也不是很高,但还是有一批认可它的用户。

  不过,Linguee 的成败现在已经不重要,毕竟都换马甲了——Linguee 在今年正式更名 DeepL,以“Deep”提醒 VC 自己是一家正儿八经的深度学习公司。

  真正重要的是 Linguee 的技术积累。Linguee 由前谷歌翻译研究员 Gereon Frahling 在 2007 年离职开发,2009 年正式上线。就雷锋网所知,Linguee 的核心优势是它的爬虫和机器学习系统,前者抓取互联网上的双语对照翻译,后者对这些翻译的质量进行评估。两者结合,使 Linguee 成为了当时“世界上首个翻译搜索引擎”。十年积累,Linguee 无论在数据和对算法的研究上都不可小觑。

  一年前,其研究团队着手欲实现一个新目标:利用在机器翻译领域的多年专业积累,打造一套业内最先进的 NMT 系统。这便是 8 月 29 日上线的DeepL 翻译。

  雷锋网要提醒,以下信息均是 DeepL 一家之言,尚无第三方背书,大家需自行判断其含金量。

  Linguee 的数据集有逾十亿组对照翻译语句,号称是世界上最大的人工翻译数据集。Linguee 能随时搜索近似翻译结果。

  DeepL 在冰岛搭建了一台超算,号称在全球 HPC 中性能排名第 23 位,浮点运算能力达到 5.1 petaFLOPS。因而能实现令 DeepL 十分自豪的计算速度:每秒处理百万量级的词语翻译。

  采用 CNN 而不是 NMT 产品通用的 RNN。DeepL 其技术积累使得它能够克服 CNN 的主要短板,因而能实现比基于 RNN 的竞品算法更精确、自然的翻译结果。

  DeepL 其翻译系统的表现打败了谷歌翻译以及微软、Facebook 的 NMT 系统, 是基于两个指标:盲测反馈和 BLEU 分数。

  DeepL 邀请了职业翻,对DeepL 翻译、谷歌翻译、微软翻译以及 Facebook 的 NMT 系统进行了盲测,要求测试者选出所认为的最好的翻译结果。测试语言为三组,分别是英德、英法、英西互译,样本为 100 个句子。DeepL 并未公布每组参与测试的职业数量。测试结果如下:

  如图所示,在每一门测试中,选择 DeepL 的测试者都最多。DeepL 在英译德、英译法、英译西的优势尤其明显。其统计是:选择DeepL 为最佳翻译结果的次数,与选择另外三家 NMT 服务的平均比例为 3:1 。

  BLEU 是业内评估机器翻译质量最常用的打分算法,其得分被认为与人类的评判结果具有较大相关性。

  DeepL 宣布,其英译德、英译法的 BLEU 得分超过了所有已发表的 NMT 研究,包括谷歌 Transformer。结果如下:

  如图,在英译法项目上,DeepL 的 BLEU 分数超过次优方案约 3.5%。

  对此,雷锋网咨询了搜狗语音交互中心总监陈伟、商鹊网 CEO 邹剑宇,以及 Facebook 机器学习工程师王杨。需要说明的是,三位老师均表示:由于缺乏关于 DeepL 算法、数据库的第一手资料,也没有来自第三方的信息,无法对其翻译水平做出客观判断。商鹊网的 CEO 邹剑宇评论道:“从相关报道中,对算法的描述并不详细,没有论文披露细节,所以并不好理解。“

  在 Facebook从事应用机器学习的工程师王杨,听到这件事的第一反应是怀疑——单是同时胜过谷歌翻译和Facebook NMT这一点,不拿出有足够力的就难以取信于人。谷歌的NMT 积累深厚,Facebook的NMT也在快速发展。一个新的产品想要如其所宣传的那样实现大幅超越,很难。

  若 DeepL 确实在技术上实现了突破,那么不排除他们有全新的多语种(multilingual)模型。

  搜狗语音交互中心总监陈伟,他们机器翻译团队刚刚在 WMT 2017评测中获得中英、英中两个翻译方向的第一名,他认为数据对 DeepL 的贡献可能远大过其它因素。而 Linguee 的数据爬取和积累,是一项不小的优势。

  “从 BLEU 对比看,提升的比较明显,感觉他们十亿量级的高质量数据对效果帮助比较大。实测大家都觉得好,这至少说明它数据的全面性还是够的。”

  据一位德语专业的译员说,DeepL 德英互译的体验确实不错,这丝毫不意外——作为一家公司,顺理成章的,DeepL 重点关注的是德英、法英这些语种的翻译。这为 DeepL 在这几门语种的数据积累也提供了一定的聚焦和便利。

  DeepL 公布的盲测、BLEU 评分,衡量的均是德、法、西这三门欧洲语言与英语之间的互译。

  “没看到他们技术的详细介绍,只了解到使用了 CNN 而没有使用 RNN,但是我感觉架构变动不会太大,应该类似于 Facebook 的 convs2s。

  在搜狗的实验对比中,“RNN-NMT、CNN-NMT 和谷歌的 Transformer 框架。三个技术我们都认真研究和优化过,目前 Transformer 框架已经在搜狗翻译系统上线,从机器评分和人工评测来看,都领先主要竞品,较RNN-NMT、CNN-NMT提升也比较明显。

  业内也没有一致观点认为 CNN 是 NMT 的未来。我觉得技术方案无论是 CNN、RNN、Transformer 都没做到极致,目前主流技术框架到底是什么没有,算法细节的打磨和多种技术的融合会是未来发展趋势,另外数据量会是各家公司的技术壁垒。”

  最后,陈伟总结,根据 DeepL 公布的报告,目前的评测存在三个地方导致难以评估其技术:

  人工评测的测试数据量仅有 100 句,而一般人工评测或者 BLEU 评测会采用几千句的数量。

  “报道说其训练引擎是基于一台冰岛超级计算机,可以说深度学习真的很需要计算力。Linguee 本身是一个不错的语料库公司,数据积累有自己的特点,这应该是其引擎优秀表现的一个基础。

  对于引擎的评测,Linguee引擎的盲测很好,BLEU 值超过其他引擎最优质 3 个百分点(行业通识是,2 个 BLEU 值的提高就可以称作‘显著’)。”

  对于 BLEU 值究竟能在多大程度上客观反映翻译质量,邹剑宇强调,需要合理看待其参考价值,不可把它等同于普通人面对翻译结果的直观体验:

  “翻译评测有三类对象:科研人员,译员和普通阅读用户,三者评测的目标和方法不一致。BLEU 是一个科研的评测参数,和人的阅读体验感受有很大的不同,不可以同类而论。”

  他最后忍不住拿自家产品做对比,表示商鹊网的新引擎甚至达到了比谷歌翻译高出 6 个百分点的BLEU 值。

Copyright © 2012-2013 .All rights reserved.http://www.aaronpottsnyc.com 版权所有