今天凌晨1點(diǎn)，OpenAI開源了一個(gè)全新的AI Agent評(píng)測(cè)基準(zhǔn)——PaperBench。

　　這個(gè)基準(zhǔn)主要考核智能體的搜索、整合、執(zhí)行等能力，需要對(duì)2024年國(guó)際機(jī)器學(xué)習(xí)大會(huì)上頂尖論文的復(fù)現(xiàn)，包括對(duì)論文內(nèi)容的理解、代碼編寫以及實(shí)驗(yàn)執(zhí)行等方面的能力。

　　根據(jù)OpenAI公布的測(cè)試數(shù)據(jù)顯示，目前知名大模型打造的智能體，還無(wú)法戰(zhàn)勝頂級(jí)機(jī)器學(xué)習(xí)專業(yè)博士。但在輔助學(xué)習(xí)、了解科研內(nèi)容方面很有幫助。

　　PaperBench組成介紹

　　PaperBench的核心是其任務(wù)模塊，主要定義了智能體需要完成的具體任務(wù)，需要從頭開始復(fù)現(xiàn)20篇ICML2024會(huì)議上的Spotlight和Oral兩大類頂級(jí)論文，包括理解論文的貢獻(xiàn)，開發(fā)代碼庫(kù)以及成功執(zhí)行實(shí)驗(yàn)，以評(píng)測(cè)智能體從理論到實(shí)踐的全方位自動(dòng)化能力。

　　為了確保評(píng)估的準(zhǔn)確性和細(xì)致性，PaperBench開發(fā)了一套詳細(xì)的評(píng)分標(biāo)準(zhǔn)，以層次化的樹形結(jié)構(gòu)呈現(xiàn)。使得評(píng)分過(guò)程能夠深入到每一個(gè)細(xì)節(jié)，從論文的核心貢獻(xiàn)到具體的實(shí)驗(yàn)結(jié)果，再到代碼實(shí)現(xiàn)和執(zhí)行要求，每一個(gè)環(huán)節(jié)都有相應(yīng)的評(píng)分節(jié)點(diǎn)。

　　這些評(píng)分節(jié)點(diǎn)被精心設(shè)計(jì)為可單獨(dú)評(píng)分的任務(wù)，總數(shù)達(dá)到了8316個(gè)，從而實(shí)現(xiàn)了對(duì)智能體能力的全面評(píng)估。

　　評(píng)分模塊的核心是基于大模型的自動(dòng)評(píng)分系統(tǒng)，它能根據(jù)評(píng)分標(biāo)準(zhǔn)自動(dòng)評(píng)估智能體的復(fù)制嘗試。自動(dòng)評(píng)分系統(tǒng)的引入大幅提高評(píng)分效率和可擴(kuò)展性，使PaperBench能快速評(píng)估大量提交。

　　為驗(yàn)證自動(dòng)評(píng)分系統(tǒng)的準(zhǔn)確性，PaperBench創(chuàng)建了單獨(dú)的評(píng)分系統(tǒng)基準(zhǔn)測(cè)試JudgeEval，通過(guò)比較自動(dòng)評(píng)分系統(tǒng)的輸出與人類專家的評(píng)分結(jié)果來(lái)評(píng)估其性能。這一過(guò)程不僅確保自動(dòng)評(píng)分系統(tǒng)的可靠性，也為未來(lái)的評(píng)分系統(tǒng)改進(jìn)提供重要參考。

　　規(guī)則模塊確保評(píng)估過(guò)程的公平性。它規(guī)定智能體在執(zhí)行任務(wù)時(shí)可以使用的資源，例如允許智能體瀏覽互聯(lián)網(wǎng)，但禁止使用論文作者的原始代碼庫(kù)或其他在線復(fù)制資源。這些規(guī)則確保智能體的能力基于其自身的理解和實(shí)現(xiàn)，而非依賴現(xiàn)有代碼或資源。

　　PaperBench還包含一個(gè)輕量級(jí)評(píng)估變體模塊PaperBench Code-Dev，旨在降低評(píng)估門檻，使其更適合更廣泛的社區(qū)使用。

　　Code-Dev放寬了一些評(píng)測(cè)要求，例如，跳過(guò)了執(zhí)行代碼以驗(yàn)證結(jié)果是否復(fù)制的步驟，僅對(duì)代碼開發(fā)進(jìn)行評(píng)估。這一變體雖犧牲了一些評(píng)估完整性，但大幅降低了評(píng)估成本和復(fù)雜性，使更多研究者能參與智能體的評(píng)估。

　　智能體測(cè)試環(huán)境

　　每個(gè)被測(cè)試的智能體在運(yùn)行Ubuntu24.04的Docker容器中執(zhí)行任務(wù)，保證了環(huán)境的一致性和可重復(fù)性，接近真實(shí)研究場(chǎng)景的運(yùn)行環(huán)境。

　　容器可訪問(wèn)單個(gè)A10GPU，這對(duì)于加速機(jī)器學(xué)習(xí)實(shí)驗(yàn)至關(guān)重要。同時(shí)，容器具備聯(lián)網(wǎng)能力，智能體可下載軟件包、訪問(wèn)在線資源。

　　為滿足實(shí)驗(yàn)中的多種服務(wù)需求，研究人員為智能體提供了HuggingFace和OpenAI API的密鑰，其中OpenAI API預(yù)加載了1000美元額度。這確保了智能體在需要使用OpenAI的微調(diào)API或從HuggingFace下載數(shù)據(jù)集時(shí)，能夠順利操作。

　　智能體的本地工作目錄包含論文的PDF和Markdown格式文件、論文附錄以及指令文本文件，為智能體提供了豐富的信息來(lái)源和明確的指導(dǎo)。

　　在智能體設(shè)置方面，研究團(tuán)隊(duì)基于Inspect AI的基本智能體開發(fā)了SimpleAgent。SimpleAgent運(yùn)行工具使用循環(huán)，配備bash shell命令執(zhí)行工具、Python代碼執(zhí)行工具、web瀏覽器工具和分頁(yè)文件閱讀器工具，能夠高效完成任務(wù)。但是，大多數(shù)使用SimpleAgent的智能體存在提前結(jié)束任務(wù)的問(wèn)題。

　　為解決這一問(wèn)題，OpenAI開發(fā)了IterativeAgent通過(guò)修改系統(tǒng)提示，要求智能體每次只進(jìn)行下一步操作，并移除了提交工具，確保在整個(gè)可用時(shí)間內(nèi)持續(xù)工作。這些改進(jìn)使IterativeAgent在實(shí)驗(yàn)中表現(xiàn)出與SimpleAgent不同的行為模式，為研究不同智能體設(shè)置對(duì)模型復(fù)制能力的影響提供了新的視角。

　　評(píng)測(cè)數(shù)據(jù)

　　OpenAI通過(guò)該基準(zhǔn)對(duì)GPT -4o、o1、o3- mini、DeepSeek - R1、Claude3.5Sonnet和Gemini2.0Flash主流開閉源模型打造的智能體進(jìn)行了綜合測(cè)試。

　　每個(gè)模型對(duì)每篇論文運(yùn)行3次，每次運(yùn)行的最長(zhǎng)時(shí)間為12小時(shí)。結(jié)果顯示，Claude3.5Sonnet效果最好，平均復(fù)現(xiàn)分?jǐn)?shù)達(dá)到21.0%;o1的得分較低，為13.2%;R1只有6%;其他測(cè)試模型的表現(xiàn)更差。

　　最讓人意外的是，OpenAI剛發(fā)布沒(méi)多久的o3-Mini-High直接墊底，看來(lái)這個(gè)評(píng)測(cè)還是相當(dāng)客觀的。

　　通過(guò)對(duì)智能體日志的手動(dòng)檢查發(fā)現(xiàn)，除Claude3.5Sonnet外，其他模型經(jīng)常提前結(jié)束任務(wù)，并且所有模型都未能有效規(guī)劃如何在有限時(shí)間內(nèi)完成論文復(fù)現(xiàn)任務(wù)，o3- mini在工具使用方面也存在困難。

　　這表明智能體在執(zhí)行長(zhǎng)期任務(wù)方面存在不足，盡管它們?cè)谥贫ê途帉懚嗖接?jì)劃方面有一定能力，但在實(shí)際執(zhí)行長(zhǎng)計(jì)劃時(shí)卻表現(xiàn)不佳。

　　為了進(jìn)一步確定智能體和PaperBench的評(píng)測(cè)準(zhǔn)確性，OpenAI還找來(lái)了8名頂級(jí)名校的機(jī)器學(xué)習(xí)專業(yè)博士，需要在與智能體相似的條件下，對(duì)PaperBench中的4篇論文進(jìn)行復(fù)現(xiàn)嘗試，每人對(duì)每篇論文進(jìn)行3次獨(dú)立嘗試。

　　結(jié)果顯示，在復(fù)現(xiàn)嘗試的早期階段，o1的表現(xiàn)優(yōu)于人類基線，但在24小時(shí)后，人類開始超越o1。

　　這表明模型在開始時(shí)能夠快速編寫大量代碼，但在后續(xù)有效規(guī)劃和改進(jìn)提交內(nèi)容方面存在不足，而人類在前期消化論文的時(shí)間較多，但后續(xù)能夠持續(xù)提升復(fù)現(xiàn)效果。也就是說(shuō)，目前智能體的能力還無(wú)法超越人類。