AI博士智能体自主科研,o1-preview封神成本暴降84%!AMD霍普金斯新作爆火

AI已经能够自主科研了!AMD霍普金斯祭出「智能化实验室」不仅能独立完成文献调研到论文撰写全流程工作,还能将研究成本暴降84%。

AI离自主科研,真的越来越近了!

最近,Hyperbolic联创Jasper Zhang在采访中称,AI智能体已经可以自主租用GPU,利用PyTorch进行开发了。

其实,在科研方面,AI智能体也是一把能手。

只要脑海里有科研的奇思妙想,一份高质量的研究报告甚至连代码,都能很快呈现在你眼前。

这不,AMD联手霍普金斯打造出的一款「智能体实验室」,瞬间在全网爆火。

这个超牛的AI系统,代号叫做Agent Laboratory,全程靠LLM驱动!

论文地址:https://arxiv.org/abs/2501.04227

研究发现:

由o1-preview驱动的Agent Laboratory产出的研究成果最佳;

与现有方法相比,Agent Laboratory生成的代码达到先进水平;

人类在各阶段提供的反馈,显著提升了研究的整体质量;

Agent Laboratory大幅降低研究费用,与传统研究方法相比,费用减少了84%。

Agent Laboratory有三个关键阶段:文献综述、实验设计和报告撰写。

由LLM驱动的专业智能体(如博士、博士后等)协同工作,承担文献综述、实验规划、数据准备和结果解释等工作。这些智能体还会集成arXiv、Hugging Face、Python和LaTeX等外部工具,来优化结果。

文献综述

文献综述阶段,旨在收集、整理与给定研究主题相关的论文,为后续研究提供参考。

在这个过程中,博士智能体借助arXiv API检索相关论文,并执行三个主要操作:摘要、全文和添加论文。

摘要:从与初始查询相关的前20篇论文中提取摘要

全文:提取特定论文的完整内容

添加论文:将选定的摘要或全文纳入到文献综述

该过程并非一次性完成,而是迭代进行。智能体多次执行查询,依据论文内容评估其相关性,筛选出合适的论文,构建全面的文献综述。

当通过「添加论文」命令达到指定数量(N=max)的相关文献后,文献综述才会完成。

实验环节

实验环节包括制定计划、数据准备、运行实验和结果解释。
制定计划

在这个阶段,依据文献综述和研究目标,智能体需要制定一份详尽且可行的研究计划。

博士和博士后智能体通过对话协作,明确研究方法,比如要采用哪些机器学习模型、使用什么数据集,以及实验的主要步骤。

达成一致后,博士后智能体通过「计划」命令提交该计划,作为后续子任务的行动指南。

图片
数据准备

在此阶段,ML工程师智能体负责执行Python命令来运行代码,为实验筹备可靠的数据。该智能体有权限访问 HuggingFace数据集。

代码完成后,ML工程师智能体通过「提交代码」命令提交。在正式提交前,代码会先经过Python编译器检查,确保不存在编译问题。若代码有错误,这个过程将反复进行,直至代码无误。
运行实验

在运行实验阶段,ML工程师智能体借助mle-solver模块来执行之前制定的实验计划。

mle-solver是一个专门的模块,主要功能是自主生成、测试以及优化机器学习代码,其工作流程如下:

A. 命令执行

在命令执行阶段,初始程序是从预先维护的高性能程序中选取的。

mle-solver通过「REPLACE」和「EDIT」这两个操作,对这个程序进行迭代优化。

「EDIT」操作会选定一系列行,用新生成的代码替换指定的内容。「REPLACE」操作会直接生成一个全新的Python文件。

B. 代码执行

执行代码命令后,编译器会检查新程序在运行时是否存在错误。

若程序成功编译,系统会给出一个得分。若该得分高于现有程序,顶级程序列表就会更新。

要是程序编译失败,智能体就会尝试修复代码,最多尝试3次。如果修复失败,就会返回错误提示,重新选择或生成代码。

C. 程序评分

通过基于LLM奖励模型对编译成功的代码打分,评估mle-solver生成的机器学习代码的有效性。

该奖励模型会依据研究计划、生成的代码以及观察到的输出,对程序进行评分,评分范围是0到1。得分越高,表明程序能够更有效地实现研究目标。

D. 自我反思

无论代码运行成功与否,mle-solver都会依据实验结果或者错误信号进行反思。智能体会思考每个步骤,力求优化最终结果。

如果程序编译失败,求解器就会琢磨下一次迭代时该怎么解决这个问题。要是代码成功编译且有了得分,求解器则会思考怎样提高这个分数。这些反思旨在帮助系统从错误中学习,并在后续迭代中提高代码质量和稳定性。

E. 性能稳定化

为避免性能出现波动,采用了两种机制:顶级程序采样和批量并行化。这两种策略在探索新解决方案和优化现有方案之间找到平衡,让代码修改过程更加稳定 。

顶级程序采样:指维护一组评分最高的程序。在执行命令前,会从这组程序中随机挑选一个,既能保证程序的多样性,又能确保质量。

批量并行化:求解器每进行一步操作,都会同时对程序做出N次修改,然后从这些修改中挑选出评分最高的,去替换顶级集合里评分最低的程序。

研究者在MLE-bench的10个ML挑战中单独评估了mle-solver。mle-solver始终优于其他求解器,获得了更多奖牌,并在10个基准中的6个中达到了高于中位数的人类表现。

原文链接

0 条评论

还没有人发表评论

发表评论 取消回复

记住我的信息,方便下次评论
有人回复时邮件通知我