OpenAI 今日公布了其最新研究,试图用 CoT(思维链)监控的方式监控推理模型的“想法”,从而阻止 AI 大模型胡说八道、隐藏真实意图等行为,同时这也是监督超级模型的有效工具之一。
IT之家注:AI 偶尔会胡说八道,我们一般称其为 AI 幻觉。除此之外,AI 还会偷懒或故意耍坏,例如在问题太难时欺骗用户或干脆放弃。
OpenAI 使用了最新发布的前沿模型 o3-mini 作为被监控对象,并以较弱的 GPT-4o 模型作为监控器。测试环境为编码任务,要求 AI 在代码库中实现功能以通过单元测试。