谷歌、卡內(nèi)基梅隆大學(xué)和MultiOn的聯(lián)合研究團(tuán)隊(duì)近日發(fā)表了一項(xiàng)關(guān)于合成數(shù)據(jù)在大型模型訓(xùn)練中的創(chuàng)新研究。隨著ChatGPT等大模型的快速發(fā)展,高質(zhì)量訓(xùn)練數(shù)據(jù)的需求激增。
Epoch AI報(bào)告指出,全球現(xiàn)有約300萬億個(gè)高質(zhì)量文本訓(xùn)練標(biāo)記,但預(yù)計(jì)到2026年將被耗盡,合成數(shù)據(jù)因此成為關(guān)鍵替代方案。
研究團(tuán)隊(duì)探索了正向和負(fù)向兩類合成數(shù)據(jù)。正向數(shù)據(jù)由高性能模型生成,提供正確的問題解決方案,而負(fù)向數(shù)據(jù)則包含已驗(yàn)證的錯(cuò)誤步驟,幫助模型避免邏輯陷阱。通過直接偏好優(yōu)化(DPO)方法,模型能夠動(dòng)態(tài)調(diào)整學(xué)習(xí)策略,顯著提升推理能力。
實(shí)驗(yàn)顯示,經(jīng)過合成數(shù)據(jù)訓(xùn)練的模型在數(shù)學(xué)推理任務(wù)上性能提升高達(dá)八倍,展現(xiàn)了合成數(shù)據(jù)在大模型優(yōu)化中的巨大潛力。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
海報(bào)生成中...
海藝AI的模型系統(tǒng)在國際市場(chǎng)上廣受好評(píng),目前站內(nèi)累計(jì)模型數(shù)超過80萬個(gè),涵蓋寫實(shí)、二次元、插畫、設(shè)計(jì)、攝影、風(fēng)格化圖像等多類型應(yīng)用場(chǎng)景,基本覆蓋所有主流創(chuàng)作風(fēng)格。
9月9日,國際權(quán)威市場(chǎng)調(diào)研機(jī)構(gòu)英富曼(Omdia)發(fā)布了《中國AI云市場(chǎng),1H25》報(bào)告。中國AI云市場(chǎng)阿里云占比8%位列第一。
9月24日,華為坤靈召開“智能體驗(yàn),一屏到位”華為IdeaHub千行百業(yè)體驗(yàn)官計(jì)劃發(fā)布會(huì)。
IDC今日發(fā)布的《全球智能家居清潔機(jī)器人設(shè)備市場(chǎng)季度跟蹤報(bào)告,2025年第二季度》顯示,上半年全球智能家居清潔機(jī)器人市場(chǎng)出貨1,2萬臺(tái),同比增長33%,顯示出品類強(qiáng)勁的市場(chǎng)需求。