谷歌、卡內(nèi)基梅隆大學(xué)和MultiOn的聯(lián)合研究團(tuán)隊(duì)近日發(fā)表了一項(xiàng)關(guān)于合成數(shù)據(jù)在大型模型訓(xùn)練中的創(chuàng)新研究。隨著ChatGPT等大模型的快速發(fā)展，高質(zhì)量訓(xùn)練數(shù)據(jù)的需求激增。

　　Epoch AI報(bào)告指出，全球現(xiàn)有約300萬億個(gè)高質(zhì)量文本訓(xùn)練標(biāo)記，但預(yù)計(jì)到2026年將被耗盡，合成數(shù)據(jù)因此成為關(guān)鍵替代方案。

　　研究團(tuán)隊(duì)探索了正向和負(fù)向兩類合成數(shù)據(jù)。正向數(shù)據(jù)由高性能模型生成，提供正確的問題解決方案，而負(fù)向數(shù)據(jù)則包含已驗(yàn)證的錯(cuò)誤步驟，幫助模型避免邏輯陷阱。通過直接偏好優(yōu)化(DPO)方法，模型能夠動(dòng)態(tài)調(diào)整學(xué)習(xí)策略，顯著提升推理能力。

　　實(shí)驗(yàn)顯示，經(jīng)過合成數(shù)據(jù)訓(xùn)練的模型在數(shù)學(xué)推理任務(wù)上性能提升高達(dá)八倍，展現(xiàn)了合成數(shù)據(jù)在大模型優(yōu)化中的巨大潛力。