摘要:谷歌提出在转换器中建立注意力机制的解决方案。

机器学习越来越成为翻译的有效工具,但是机器翻译仍然有些缺点。比如,机翻模式倾向于逐字翻译,而这很容易导致严重的翻译错误。谷歌在其研究博客中发表了一篇有趣的文章,仔细研究了这个问题并提出解决方案。

谷歌自然语言处理部门的Jakob Uszkoreit对这个问题做了很好的解释,以下面这两句英文为例:

I arrived at the bank after crossing the street.

我穿过街道到了银行。

I arrived at the bank after crossing the river.

我跨过小河到了岸边。

很明显,这里的“bank”在两个句子中的意思不同,但是采用算法计算时,很容易出错,因为直到句子结束,算法也并不知道哪一个“bank”的意思是正确的。

借用英文写作名书《风格的要素》作者Strunk和White的话来说,就是“我只能重写这个句子”,但是对于翻译系统来说,这不是唯一的选择。如果仅修改计算机系统来调整词义模糊处的基础翻译,这是非常无效的,并且要不断修正。

为此,谷歌提出在转换器中建立注意力机制的解决方案。

这个机制会把每个单词与句子中的其他单词比较,判断句中的其它词是否影响了原词的关键意思。比如,判断是“他”还是“她”在讲话,或者类似于单词“bank”在特定位置的词义。

当译句被重写时,注意力机制将每个词与其他单词逐一对比。下面的动态演示了将英文“I arrived at the”转换为法文“Je suis arrivé”整个对比过程的工作机制。

(谷歌转换器将英文转换到法文)

如果这种翻译模式看起来很眼熟,那是因为TechCrunch网站此前报道的德国科技公司DeepL翻译器,同样采取注意力机制。DeepL联合创始人说,要解决机器翻译表意不明的问题,必须耗费大量精力才能解决,即使谷歌介绍翻译器的博客文章灵感源于《注意力是你的所有需求》(Attention Is All Your Need)一书,但显而易见DeepL发明了的独家翻译器,或许在翻译精确度上比谷歌好得多。

使用谷歌翻译器有个好玩的副作用,它可以在系统程序中插入一个页面:因为转换器要给每个单词与其他单词的相关性打分,你可以看见翻译器下每个单词之间的相关度或潜在相关度。

看起来很炫酷,不是吗?反正我觉得不错。但还是有些模棱两可,比如句中的“it”到底是代指前文的“street”还是“animal”呢?只有翻到最后一个单词才能得出结论。对于人脑来说,可以自动判断“it”的所指,但是机器必须学习才能明白。

来源:https://techcrunch.com/2017/08/31/googles-transformer-solves-a-tricky-problem-in-machine-translation/

作者: Devin Coldewey

编译:鲸媒体 Clarence