C114通信网  |  通信人家园

人工智能
2021/8/19 11:03

AI考官自动评估AI翻译结果 达摩院获WMT2021第一

C114通信网  

记者昨日获悉,在业界权威的WMT2021国际机器翻译大赛上,阿里巴巴达摩院翻译团队打造的翻译质量评估系统,在极具挑战的 Sentence-level Direct Assessment  QE Shared Task 2021质量估计比赛上获得第一名。该系统堪比AI考官,能够自动给AI翻译的结果打分,以此不断优化翻译模型,提升AI翻译的质量。

国际机器翻译大赛WMT已有15年历史,其赛事众多。其中包括较为常见的翻译任务,比如将新闻从英文翻译为中文,其质量好坏评估是用人类译文来做参考,越接近越好,即BLEU值越高越好。大会还有更为挑战的翻译质量估计比赛,参赛者需要创造一套AI系统,在没有人类参考译文的情况下,自动评估机器翻译的质量,因为真实世界就是如此,很少有人类标准答案。

达摩院翻译团队打造的AI考官,参与了Sentence-level Direct Assessment任务的全部11项子任务,获得总平均分第一,从华为、Unbabel等国内外资深团队中脱颖而出。其中,达摩院在7项有样本的语向中获得5项第一,分别为英语-中文、罗马尼亚语-英语、爱沙尼亚语-英语、尼泊尔语-英语、俄语-英语;在4项零样本(zero-shot)语向中获得3项第一,分别为英语-捷克语、普什图语-英语、高棉语-英语。

(达摩院翻译团队获得总平均分第一名)

据介绍,该项目的创新之处在于,达摩院翻译团队在大规模预训练模型和迁移学习的基础上,改进了机器翻译的“白盒”特征,洞悉了机器翻译模型的内部状态和原理,包括非常重要的翻译解码概率。与此同时,他们还发现了新的重要质检特征,先使用Levenshtein算法和Masked语言模型对原文进行适度加噪,然后利用待评估质量的翻译模型提取相应的译文解码概率,结果发现它与译文质量紧密相关。更关键的是,研究团队验证发现,这些创新方法能够跨语言通用,在多语向项融合的翻译质量估计模型训练过程中也表现优秀,有望推动机器翻译整个领域的进步。

达摩院AI考官已用于阿里多个业务场景,包括全球速卖通AliExpress、Lazada、钉钉、阿里云技术文档等,能实时监测线上翻译质量,定向优化翻译模型,让这些场景里的机器翻译性能提升5%-15%不等。

据了解,这是达摩院翻译团队第二次参与WMT的翻译质量估计比赛,2018年他们曾获得英-德、德-英语向句子级别和词级别等六项质量估计子任务冠军。达摩院翻译团队近两年在国际顶会上发表论文100余篇,已实现214种语言的高质量翻译,日调用量突破13亿次,创造了多项世界纪录。他们还揭榜了工信部人工智能产业创新重点任务中的智能翻译系统,在2021年第一期评比中荣获优胜单位。

给作者点赞
0 VS 0
写得不太好

版权说明:凡注明来源为“C114通信网”的文章皆属C114版权所有,除与C114签署内容授权协议的单位外,其他单位未经允许禁止转载、摘编,违者必究。如需使用,请联系021-54451141。其中编译类仅出于传递更多信息之目的,系C114对海外相关站点最新信息的翻译稿,仅供参考,不代表证实其描述或赞同其观点,投资者据此操作,风险自担;翻译质量问题请指正

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2021 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141