企业宣传,产品推广,广告招商,广告投放联系seowdb

AI Scientist爆火面前的技术详解以及优缺陷剖析

当蠢才享一篇最近比拟抢手的日本守业公司Sakana AI的一篇文章,题目为《The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery》。文章提出了一种名为“AI Scientist”的框架,旨在成功端到端齐全智能化的迷信发现,成功从Idea构建,试验跑取,文章撰写的齐全智能化。验证了AI智能化探求新疑问,处置新疑问,甚至撰写Paper的可行性。同时还提出了一个能与人类评委水准凑近的Review Agent,能够给出高水准的评审意见。

总体来说,其还是一个多agent系统,应用了reflection机制迭代优化成果,同时也联合Semantic Scholar等工具验证翻新性,应用Aider工具来降级代码和Paper,来口头相关试验。同时也要看到其只是搭了一个基础的Baseline通道,如何优化Idea生成的深度以及多样性,如何让LLM能成功更复杂,更有应战性的Idea,如何降落Review Agent的False Positive Rate(FPR)都值得进一步探求。

本文将对其面前的技术,优缺陷启动详细的剖析~

一、概述

1. Motivation

文章引见了“AI迷信家”框架,该框架包含三个重要阶段:

1.想法生成:AI迷信家首先“头脑风暴”出一系列陈腐的钻研方向,而后在此基础上启动翻新性迭代优化,最后挑选翻新性较高的idea。

2.试验迭代:依据想法和模板,AI迷信家首先口头提出的试验plan,而后依据试验结果,迭代优化试验,最后降级plot代码,可视化其结果以供后续撰写,代码经过AIder工具来降级。

3.论文撰写:AI迷信家经常使用LaTeX撰写完整的迷信论文,形容其停顿。

•输入:总体就两个输入,Baseline Code,以及论文Latex模板,加上init paper的一些消息。

• Baseline code:a starting code template that reproduces a lightweight baseline training run from a popular model or benchmark. For example, this could be code thattrains a small transformeron the works of Shakespeare (Karpathy, 2022), a classic proof-of-concept training run from natural language processing that completes within a few minutes

• Latex模版:LaTeX folder that containsstyle files and section headers, along with simple plotting code.

•输入:完整的Paper

1 Idea generate环节

•输入:code template

•输入:some ideas

•代码:​ ​​ ​

• generate_ideas:idea生成

• generate_next_idea:在seed的基础上继续生成新的idea

• search_for_papers:调用api search paper

• check_idea_novelty:审核并优化翻新性

1.1 Idea Generation Prompt

•好处:对diversity做了优化和限度,引入了COT机制。

•缺陷:idea全靠LLM外部消息想进去,思索的常识有限,降级也不迭时,不太能及时follow最新常识,不过外部常识能做到什么粒度其实还不太确定,另外外部常识其实是不足新常识的,这对迷信钻研十分致命。

1.2 Idea Novelty Prompt

•缺陷:还是翻新所有源于LLM外部常识。

2 Experiments环节

•输入:idea + template

•输入:experiment result + experiment figures

•成功模式:经过Aider降级代码,而后口头命令行跑取模型结果。

• Aider平台,可以经过命令降级代码:•

2.1 Experiment Running Aider Prompt

•特点:先也会有一个plan,而后区分成功experiments

•缺陷:没详细讲如何成功Experiment的,Aider看着是个平台,或者可以间接用,然而改代码很容易出错,稳固性存疑。

2.2 Plotting Aider Prompt

•特点:生成plot,还有description,后续用于减少到论文中。

3 Paper Writing流程

•输入:Latex模版 + Experiments recorded notes + plots,Latex模板图如下,也是用Aider工具来修正•

•输入:paper

3.1 Paper Writing Aider Prompt

•特点:提供每个section的倡导+latex的template+plan

•缺陷:Aider是个啥,觉得writing比拟有用的样子。

4 Reviewer Agent流程

•输入:PDF manuscript

•输入:Paper Review Result

•好处:参考了neurips ReviewerGuidelines,同时引入reflection,few-shot来优化成果。

4.1 Paper Review Prompt

•特点:引入neurips guideline和few_shot_example。

4.2 Paper Review Reflection Prompt

•特点:经过多轮迭代 + COT思索

4.3 Paper Review Ensembling Prompt

•特点:还有个汇总的,好处self-consistant的觉得

5 反思和迭代次数

3. Coclusion

文章搭建了一个AI Scientist,经过三个子义务验证了其可行性:分散模型、Transformer和Groking。并且每种想法的成功和开发老本不到15美元。标明了该框架在Research钻研和清楚减速迷信提高方面的后劲。

•搭建了一个完整的科研链路Agent:idea -> Experiments -> Paper,还真work了。

•附带送了一个凑近人类水平的Paper Review Agent,成果也还不错。

4. Limitation

•生成的Idea经常十分相似,甚至不同模型,不同run都会有很相似的idea。

• Aider成功ideas有艰巨,GPT-4o写Latext常不能编译,有些idea成功challenging比拟大。

• plot的图像也或者有疑问,而且还不止是vision,或者看不出成果。

• Latext的cite和reference或者有疑问。

• LLM数学才干不太好,对metric不敏感。

•幻觉。

二、详细内容

1 LLM Paper Review水平在ICLR2022数据集上曾经凑近人类水平

•特点:精度和人类比拟凑近(balanced 0.65 vs 0.66),False Negative Rate(FNR)更低,False Positive Rate(FPR)偏高,说明也有打分偏高的状况。

2 Reflexion和one-shot能优化Reviewing成果

•论断:从0.66优化到0.70,看着还不错。Ensemble后精度没有优化,然而variance有降落。

3 Diffusion Modeling优化成果

•**论断1:Sonnet3.5看着比GPT-4o好很多啊,而且还更廉价,成功Paper率居然凑近80%**,还是很凶猛。

•论断2:DeepSeek Coder是性价比之王。

•其余:DIffusion Modeling觉得都是比拟老的模型了,应用LLM生成的idea或者都是训练过的了,或者并不能代表真正的翻新。

4 Language Modeling优化成果

•论断: 这次成功率只要40%了,这个差异好大,跟猜想的一样,coding或者十分不稳固,另外DeepSeek Coder确实凶猛。

5 Grokking优化成果

•论断:不同paper,不同LLM基座的Noval Ideas居然都超越90%,然而Experiments的成功率差异十分大。​

本文转载自​​,作者:

© 版权声明
评论 抢沙发
加载中~
每日一言
不怕万人阻挡,只怕自己投降
Not afraid of people blocking, I'm afraid their surrender