Cloud&AI
`
2025/5/29 08:50
AI 搜索“毒化”现实:模型崩溃隐忧,从神器到“垃圾输出”
0
0

科技媒体 theregister 昨日(5 月 28 日)发布博文,报道称以 Perplexity 为代表的 AI 搜索工具虽然表现要优于谷歌等传统搜索引擎,但在不断地版本更迭后,搜索结果质量不升反降,AI 模型崩溃(model collapse)现象正在显现。

该媒体指出以 Perplexity 为代表的 AI 搜索工具曾被视为传统搜索引擎的强力替代品,其搜索结果一度比谷歌更精准。

不过近期不少用户发现,AI 搜索反馈的硬数据(如市场份额或财务数据等),并未来自权威的美国证券交易委员会(SEC)要求的 10-K 年度报告,常常引用不可靠来源。用户若不明确指定数据来源,得到的结果往往令人费解。

IT之家援引博文介绍,这种问题并非 Perplexity 独有,主流 AI 搜索机器人均存在类似“可疑”结果的现象。

该媒体认为 AI 搜索质量下降的根源,在于“模型崩溃”(model collapse),即 AI 系统因依赖自身输出训练,导致准确性、多样性和可靠性逐步丧失。错误累积、稀有数据(tail data)丢失以及反馈循环是三大主因。

错误累积让每一代模型继承并放大前代的缺陷;稀有数据丢失使罕见事件和概念逐渐模糊;反馈循环则强化狭窄模式,输出重复或偏见内容。

为提升 AI 表现,检索增强生成(RAG)技术被广泛应用,让大型语言模型(LLMs)从外部数据库提取信息,减少“幻觉”(hallucination)现象。

然而,彭博社研究发现,即便采用 RAG,包括 GPT-4o、Claude-3.5-Sonnet 等 11 个领先模型在处理 5000 多个有害提示时,仍会输出错误结果。更糟糕的是,RAG 增加了泄露客户隐私数据、生成误导性市场分析及偏见投资建议的风险。

AI 模型崩溃的后果正在加速显现。用户和企业为追求效率,倾向于依赖 AI 生成内容,而非投入人力创作高质量内容。从学生作业到伪造科研论文,甚至虚构小说,AI 的“垃圾输入、垃圾输出”(Garbage In / Garbage Out,GIGO)现象无处不在。

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

给作者点赞
0 VS 0
写得不太好

C114简介     联系我们     网站地图

Copyright©1999-2025 c114 All Rights Reserved 沪ICP备12002291号-4

C114通信网版权所有 举报电话:021-54451141 用户注销