微軟亞洲研究院發(fā)布了一種創(chuàng)新算法——rStar-Math。

　　rStar-Math通過(guò)代碼增強(qiáng)CoT、蒙特卡洛樹搜索等，可以幫助小參數(shù)模型在不依賴?yán)蠋熌Ｐ驼麴s的情況下，實(shí)現(xiàn)多輪自我思維深度進(jìn)化，極大增強(qiáng)模型的數(shù)學(xué)推理能力。

　　在美國(guó)數(shù)學(xué)競(jìng)賽AIME2024測(cè)試中，rStar-Math平均解決了53.3%(8/15)的難題，超過(guò)了OpenAI o1-preview的44.6%，以及所有其他開源的大模型，成為最聰明的前20%高中數(shù)學(xué)生。

　　在MATH基準(zhǔn)測(cè)試中，rStar-Math將阿里開源的小模型Qwen2.5-Math-7B的準(zhǔn)確率從58.8%提高到90.0%，Qwen2.5-Math-1.5B的準(zhǔn)確率從51.2%提高到87.8%，Phi3-mini-3.8B從41.4%提高到86.4%，全部超過(guò)了OpenAI o1-preview。

　　這充分說(shuō)明，小模型在創(chuàng)新算法和高質(zhì)量數(shù)據(jù)加持下，推理能力同樣可以超大參數(shù)的前沿模型。

　　代碼增強(qiáng)CoT

　　傳統(tǒng)的數(shù)學(xué)推理模型依賴于自然語(yǔ)言生成的推理步驟，這種方法雖然直觀，但容易產(chǎn)生錯(cuò)誤或不相關(guān)的步驟，尤其是在復(fù)雜的數(shù)學(xué)問(wèn)題中很難被察覺(jué)到。所以，rStar-Math使用代碼增強(qiáng)CoT(Chain-of-Thought，思維鏈)的方法來(lái)解決這個(gè)難題。

　　模型在生成每一步推理時(shí)，不僅生成自然語(yǔ)言的解釋，還生成對(duì)應(yīng)的Python代碼，并通過(guò)代碼執(zhí)行來(lái)驗(yàn)證推理步驟的正確性。代碼增強(qiáng)CoT能夠提供嚴(yán)格的驗(yàn)證機(jī)制，確保每一步推理的正確性。

　　例如，在解決一個(gè)數(shù)學(xué)問(wèn)題時(shí)，模型可能會(huì)生成一個(gè)方程求解的步驟，并通過(guò)Python代碼實(shí)際執(zhí)行該方程求解過(guò)程。如果代碼執(zhí)行成功且結(jié)果正確，該步驟才會(huì)被保留為有效推理步驟。這種方法不僅減少了錯(cuò)誤推理步驟的生成，還提高了推理軌跡的整體質(zhì)量。

　　為了進(jìn)一步確保推理步驟的質(zhì)量，rStar-Math 使用了蒙特卡洛樹搜索(MCTS)來(lái)生成逐步推理軌跡。MCTS 被用來(lái)分解復(fù)雜的數(shù)學(xué)問(wèn)題為多個(gè)單步生成任務(wù)。

　　每個(gè)步驟中，策略模型生成多個(gè)候選步驟，并通過(guò)代碼執(zhí)行來(lái)過(guò)濾有效節(jié)點(diǎn)。通過(guò)廣泛的MCTS回滾，rStar-Math 能夠?yàn)槊總�(gè)步驟分配Q值，確保生成的推理軌跡由正確且高質(zhì)量的中間步驟組成。

　　PPM訓(xùn)練方法

　　目前，多數(shù)大模型在推理數(shù)學(xué)問(wèn)題時(shí)面臨著無(wú)法提供細(xì)粒度的步驟級(jí)反饋，以幫助其在推理過(guò)程中做出更優(yōu)的選擇。rStar-Math通過(guò)引入過(guò)程獎(jiǎng)勵(lì)模型(PRM)來(lái)幫助模型找到更優(yōu)的推理路徑。

　　PPM 的核心思想是通過(guò)構(gòu)建步驟級(jí)的正負(fù)偏好對(duì)來(lái)訓(xùn)練模型，而不是直接依賴于精確的步驟級(jí)評(píng)分。PPM 的訓(xùn)練方法利用了MCTS生成的Q值，這些Q值是通過(guò)廣泛的回滾和反向傳播過(guò)程計(jì)算得出的，反映了每個(gè)步驟對(duì)最終答案的貢獻(xiàn)。雖然這些Q值本身并不完全精確，但它們能夠可靠地區(qū)分高質(zhì)量步驟和低質(zhì)量步驟。

　　PPM從MCTS樹中選擇Q值最高的兩個(gè)步驟作為正例，Q值最低的兩個(gè)步驟作為負(fù)例，構(gòu)建偏好對(duì)。通過(guò)這種方式，PPM 能夠?qū)W習(xí)到哪些步驟更有可能引導(dǎo)模型生成正確的推理軌跡，從而在推理過(guò)程中做出更優(yōu)的選擇。

　　PPM 的訓(xùn)練過(guò)程采用了標(biāo)準(zhǔn)的Bradley-Terry 模型和成對(duì)排序損失函數(shù)。對(duì)于每個(gè)步驟，PPM 預(yù)測(cè)一個(gè)獎(jiǎng)勵(lì)分?jǐn)?shù)，并通過(guò)成對(duì)排序損失函數(shù)來(lái)優(yōu)化模型的預(yù)測(cè)能力。成對(duì)排序損失函數(shù)的核心思想是最大化正例步驟與負(fù)例步驟之間的獎(jiǎng)勵(lì)分?jǐn)?shù)差異，從而確保模型能夠準(zhǔn)確地區(qū)分高質(zhì)量和低質(zhì)量的推理步驟。

　　PPM 的訓(xùn)練方法還引入了一個(gè)重要的創(chuàng)新點(diǎn)，避免直接使用Q值作為獎(jiǎng)勵(lì)標(biāo)簽。雖然Q值能夠提供一定的步驟級(jí)反饋，但由于其固有的噪聲和不精確性，直接使用Q值作為訓(xùn)練目標(biāo)會(huì)導(dǎo)致模型學(xué)習(xí)到不準(zhǔn)確的獎(jiǎng)勵(lì)信號(hào)。

　　所以，PPM 通過(guò)構(gòu)建偏好對(duì)將Q值轉(zhuǎn)化為相對(duì)排序問(wèn)題，從而減少了噪聲對(duì)模型訓(xùn)練的影響。這種方法不僅提高了模型的魯棒性，還使得PPM能夠在推理過(guò)程中更可靠地評(píng)估每一步的質(zhì)量。

　　多輪自我進(jìn)化

　　rStar-Math通過(guò)四輪自我思維深度進(jìn)化，并結(jié)合PPM、MCTS和代碼增強(qiáng)CoT 逐步增強(qiáng)模型的推理能力。

　　第一輪，通過(guò)監(jiān)督微調(diào)對(duì)基礎(chǔ)模型進(jìn)行初步改進(jìn)，為后續(xù)的自我進(jìn)化奠定基礎(chǔ)。這一輪的關(guān)鍵在于生成高質(zhì)量的初始訓(xùn)練數(shù)據(jù)，并利用這些數(shù)據(jù)對(duì)基礎(chǔ)模型進(jìn)行微調(diào)。

　　第二輪，通過(guò)PPM顯著提升模型推理能力。PPM通過(guò)分析策略模型生成的推理步驟，識(shí)別出哪些步驟是高質(zhì)量的，哪些步驟需要改進(jìn)。然后將這些反饋信息傳遞給策略模型，指導(dǎo)其在后續(xù)的推理中做出更好的選擇。

　　第三輪，通過(guò)PPM增強(qiáng)的MCTS生成更高質(zhì)量的數(shù)據(jù)，進(jìn)一步提升模型的推理能力。在這一輪中，PPM不僅評(píng)估策略模型生成的推理步驟，還指導(dǎo)MCTS的搜索過(guò)程，使其更有效地探索高質(zhì)量的推理路徑。

　　第四輪，通過(guò)增加MCTS回滾次數(shù)解決超難數(shù)學(xué)推理問(wèn)題。在前三輪自我進(jìn)化的基礎(chǔ)之上，第四輪自我進(jìn)化通過(guò)增加MCTS的回滾次數(shù)，進(jìn)一步提升了rStar-Math解決具有挑戰(zhàn)性數(shù)學(xué)問(wèn)題的能力。

　　增加回滾次數(shù)使得MCTS能夠更深入地探索不同的推理路徑，發(fā)現(xiàn)那些在初步探索中可能被忽略的高質(zhì)量解決方案。這不僅提高了模型對(duì)復(fù)雜問(wèn)題的解決能力，還增強(qiáng)了其在面對(duì)高難度數(shù)學(xué)問(wèn)題時(shí)的魯棒性。

　　從昨天微軟開源的最強(qiáng)小模型Phi-4，以及最新推出創(chuàng)新算法rStar-Math來(lái)看，未來(lái)小模型的性能和效率將逐漸成為主流，并且對(duì)于沒(méi)有強(qiáng)大算力集群的中小企業(yè)和個(gè)人開發(fā)者來(lái)說(shuō)非常實(shí)用。