C114通信网  |  通信人家园

人工智能
2024/2/4 15:44

研究:网络充斥低质机翻内容,大语言模型训练需警惕数据陷阱

IT之家  远洋

亚马逊云计算人工智能实验室的研究人员发现,网络上大量内容来自机器翻译 (MT) 生成,这些跨越多种语言的翻译内容质量普遍较低。研究团队强调,这凸显了在训练大型语言模型 (LLM) 时,数据质量和来源考量的重要性。

研究还发现,机器生成内容在资源较少语言的翻译中很普遍,并占网络内容的很大一部分。

IT之家注意到,研究团队开发了名为多维 cc 矩阵 (MWccMatrix) 的庞大资源,以更好地理解机器翻译内容的特征。该资源包含 90 种语言中 64 亿个独特的句子,并包括翻译元组,即相互翻译的一组句子。

这项研究发现大量网络内容通常被翻译成多种语言,主要通过机器翻译完成。这种内容不仅在资源较少语言的翻译中普遍存在,而且在这些语言的所有网络内容中也占很大一部分。

研究人员还注意到,出于广告收入等目的,被翻译成多种语言的内容存在选择性偏差。

论文的结论是:“机器翻译技术在过去十年里取得了显著进步,但仍达不到人类质量水平。多年来,使用当时可用的机器翻译系统将机器翻译内容添加到网络上,因此网络上大部分机器翻译内容按照现代标准可能质量很低。这可能会导致 LLM 模型产生更多‘幻觉’ ,而选择偏差表明即使不考虑机器翻译错误,数据质量也可能较低。数据质量对于 LLM 训练至关重要,其中高质量的语料库,如书籍和维基百科文章,通常会进行多次向上采样。”

给作者点赞
0 VS 0
写得不太好

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2024 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141