文章分类
怕一词多义?谷歌翻译用“注意力机制”解决难题
2017-10-02 18:54
来源:未知
点击数:            

  【网易智能讯 9月3日消息】机器学习已经成为一种非常有用的翻译工具,但它也有一些弱点。翻译模式的逐字翻译趋势,可能会导致严重的错误。谷歌在其研究博客上发表了一篇有趣的文章,详细描述了这个问题的性质及其解决方案。

  这个问题在雅各布?尤兹克利特的自然语言处理部门中得到了很好的解释。思考下面这两句话:

  显然,“银行”在每句话中都有不同的含义,但是一种算一刀切就很容易选错词——因为在看到句尾之前它不知道哪个“bank”是正确的。一旦你开始寻找这种模棱两可的东西,这种模棱两可就会无处不在。

  至于我,我会重新改写一下这个句子(斯特伦克和怀特都说过这句话),但翻译软件当然不会在两者中做选择。如果修改神经系统,将整个句子翻译过来看看是否有什么奇怪的地方,那就会非常低效,如果句子有问题的话,需要重新试一次。

  谷歌的解决方案是所谓的“注意力机制”,将它内置在一个被称为“转换器”的系统中。它将每个单词与句子中的每一个单词进行比对,以确定它们是否会以某种关键的方式相互影响——例如,看“他”或“她”是否在说话,或者“银行”这个词是否以特定的方式表达。

  当要翻译的句子被构造出来时,注意力机制会将每个词与其他词相比较。这个动图显示了整个过程。嗯,有点……

  如果这一切听起来很耳熟,那可能是因为你在本周早些时候读到过这篇文章:一家竞争对手的翻译公司DeepL也使用了注意力机制。该公司的联合创始人提到了这个问题,因为他们也一直在努力解决此问题,甚至还提到了谷歌博客中的那篇文章(你只需要关注)——尽管很明显他们自己制作了自己的版本。这是一个非常有效的方法——甚至比谷歌的还要好。

  谷歌的方法的有一个有趣的副作用,那就是它为系统的逻辑提供了一个窗口:因为转换器给每个单词与其他单词的匹配关系判定一个分数,你可以看到它认为与之相关的单词,或者可能是相关的:

  很酷,对吧?嗯,我想是的。这是另一种模棱两可的说法,“它”指的是街道或动物,而只有最后一个词会把它去确定下来。我们会自动计算出来,但机器仍需学习。(选自:网易智能翻译:网易见外智能编译机器人?审校:韩茹雪)

Copyright © 2012-2013 .All rights reserved.http://www.aaronpottsnyc.com 版权所有