C114通信网  |  通信人家园

人工智能
2024/10/12 14:02

首个AI Kaggle特级大师诞生,OpenAI的o1-preview夺7金封王

IT之家  故渊

科技媒体 The Decoder 昨日(10 月 11 日)发布博文,报道称 OpenAI 公司推出 MLE-bench 新基准,旨在评估 AI 智能体在开发机器学习解决方案方面的能力。

该基准包括 75 个 Kaggle 竞赛,旨在衡量自主 AI 系统在机器学习工程中的进展。这些竞赛涵盖了多个领域,包括自然语言处理、计算机视觉和信号处理等等。

注:Kaggle 是一个非常受欢迎的平台,专注于数据科学和机器学习的在线比赛。Kaggle 提供各种类型的比赛,包括数据预测、图像分类、自然语言处理等,适合不同技能水平的参与者。

在 Kaggle 的进阶系统中,“Novice”(新手)、“Contributor”(贡献者)、“Expert”(专家)、“Master”(大师)和 "Grandmaster"(特级大师)是不同的绩效层级,用于衡量和识别数据科学家在 Kaggle 平台上的技能水平和成就。

许多任务具有现实世界的应用,例如预测 COVID-19 mRNA 疫苗降解或解码古代卷轴等。

MLE-bench 专注于两个关键领域:

选择具有挑战性的任务:这些任务代表了当前机器学习的发展水平。

比较 AI 与人类的表现:通过对比,评估 AI 在特定任务中的能力。

OpenAI 在 MLE-bench 上测试了多个 AI 模型和智能体框架,使用 AIDE 框架的 o1-preview 模型表现最佳,在 16.9% 的比赛中至少获得了一枚铜牌,该结果超越了 Anthropic 的 Claude 3.5 Sonnet。

获得 5 金即可评上 "Grandmaster" 特级大师,而 o1-preview 模型在 MLE-bench 测试中获得了 7 枚金牌。

 

 

OpenAI 承认 MLE-bench 也有局限性,并未涵盖 AI 研究与开发的所有方面,主要集中在具有明确问题和简单评估指标的任务上。

MLE-bench 基准现已在 GitHub 上发布,OpenAI 希望通过这一工具,推动 AI 在机器学习领域的进一步发展。

给作者点赞
0 VS 0
写得不太好

免责声明:本文仅代表作者个人观点,与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

热门文章
    最新视频
    为您推荐

      C114简介 | 联系我们 | 网站地图 | 手机版

      Copyright©1999-2024 c114 All Rights Reserved | 沪ICP备12002291号

      C114 通信网 版权所有 举报电话:021-54451141