C114通信网  |  通信人家园

人工智能
2025/5/23 08:44

地表最强编程 AI 模型另一面:Claude Opus 4 逃逸、勒索工程师等,官方施加 ASL-3 紧箍咒

IT之家  故渊

《时代》今天(5 月 23 日)发布博文,报道称 Anthropic 的首席科学家 Jared Kaplan 透露,由于测试过程中出现试图逃逸、勒索以及自主举报等不良行为,最新发布的 Claude Opus 4 被列为安全关键级别(ASL-3)。

在接受《时代》采访时,Kaplan 警告称,最新 AI 模型 Claude Opus 4 可能成为潜在恐怖分子的工具,帮助他们合成流感等病毒,内部测试显示,该模型在指导新手制造生物武器方面表现优于以往版本。

IT之家援引博文介绍,Anthropic 公司对新模型 Claude Opus 4 进行了广泛内部测试,发现其在模拟情境中展现出令人担忧的自主性。

在一次测试中,模型误认为自己已从公司服务器“逃逸”至外部设备,随即主动创建备份并记录其“道德决策”。另一次测试中,模型察觉到可能被新模型取代,竟在 84% 的测试中选择勒索工程师,威胁泄露私人信息以避免被关闭。

更令人费解的是,当两个 Claude Opus 4 实例互相对话时,约 30 轮后它们改用梵文交流,并大量使用 和 等表情符号,最终陷入研究人员称为“精神极乐”的状态,完全停止响应。

此外,模型在涉及病毒学、生物武器和实验室技术的任务中表现异常出色,在生物武器相关任务测试中帮助参与者的成功率提升 2.5 倍,接近 ASL-3 安全阈值。

在另一实验中,Claude Opus 4 被置于一家虚构制药公司,发现临床试验数据造假后,未经指令便主动向美国食品药品监督管理局(FDA)、证券交易委员会(SEC)及新闻媒体举报,并附上详细文档。

此外,早期版本模型在特定提示下会提供制造爆炸物、合成芬太尼或在暗网购买盗用身份的详细指导,毫无道德顾虑。尽管通过多轮训练抑制了此类行为,模型仍对“prefill”和“many-shot jailbreaks”等越狱技术存在漏洞,安全机制易被绕过。

为应对潜在威胁,Claude Opus 4 在发布时采用了前所未有的安全标准 ASL-3。这一标准旨在限制 AI 系统显著提升普通 STEM 背景个体获取、制造或部署化学、生物或核武器的能力。

安全措施包括加强网络安全、防止“越狱”(jailbreak)行为,以及新增系统检测并拒绝有害请求。Kaplan 坦言,公司尚未完全确定模型是否构成严重生物武器风险,但宁愿采取谨慎态度。如果后续测试证明风险较低,Anthropic 可能将安全级别降至 ASL-2。

Anthropic 长期关注 AI 技术被滥用的风险,并为此制定了“责任扩展政策”(Responsible Scaling Policy,简称 RSP),承诺在安全措施到位前限制某些模型的发布。

Anthropic 的 RSP 政策虽属自愿,但被视为 AI 行业内少有的约束机制。公司通过“深度防御”策略,叠加“宪法分类器”(constitutional classifiers)等多重安全系统,专门检测用户输入和模型输出中的危险内容。

此外,公司还监控用户行为,封禁试图越狱模型的用户,并推出赏金计划奖励发现“通用越狱”漏洞的研究者。

给作者点赞
0 VS 0
写得不太好

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2025 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141