英偉達(dá)于 8 月 21 日發(fā)布博文,發(fā)布了 Mistral-NeMo-Minitron 8B 小語言 AI 模型,具備精度高、計算效率高等優(yōu)點,可在 GPU 加速的數(shù)據(jù)中心、云和工作站上運行模型。
英偉達(dá)攜手 Mistral AI 上月發(fā)布開源 Mistral NeMo 12B 模型,在此基礎(chǔ)上英偉達(dá)再次推出更小的 Mistral-NeMo-Minitron 8B 模型,共 80 億個參數(shù),可以在搭載英偉達(dá) RTX 顯卡的工作站上運行。
英偉達(dá)表示通過寬度剪枝(width-pruning)Mistral NeMo 12B,并知識蒸餾(knowledge distillation)輕度重新訓(xùn)練后獲得 Mistral-NeMo-Minitron 8B,相關(guān)成果發(fā)表在《Compact Language Models via Pruning and Knowledge Distillation》論文中。

剪枝通過去除對準(zhǔn)確率貢獻(xiàn)最小的模型權(quán)重來縮小神經(jīng)網(wǎng)絡(luò)。在 "蒸餾" 過程中,研究小組在一個小型數(shù)據(jù)集上重新訓(xùn)練剪枝后的模型,以顯著提高通過剪枝過程而降低的準(zhǔn)確率。
就其規(guī)模而言,Mistral-NeMo-Minitron 8B 在語言模型的九項流行基準(zhǔn)測試中遙遙領(lǐng)先。這些基準(zhǔn)涵蓋了各種任務(wù),包括語言理解、常識推理、數(shù)學(xué)推理、總結(jié)、編碼和生成真實答案的能力。附上相關(guān)測試結(jié)果如下:
參考
Lightweight Champ: NVIDIA Releases Small Language Model With State-of-the-Art Accuracy
Mistral-NeMo-Minitron 8B Foundation Model Delivers Unparalleled Accuracy
Compact Language Models via Pruning and Knowledge Distillation
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
海報生成中...
海藝AI的模型系統(tǒng)在國際市場上廣受好評,目前站內(nèi)累計模型數(shù)超過80萬個,涵蓋寫實、二次元、插畫、設(shè)計、攝影、風(fēng)格化圖像等多類型應(yīng)用場景,基本覆蓋所有主流創(chuàng)作風(fēng)格。
9月9日,國際權(quán)威市場調(diào)研機(jī)構(gòu)英富曼(Omdia)發(fā)布了《中國AI云市場,1H25》報告。中國AI云市場阿里云占比8%位列第一。
IDC今日發(fā)布的《全球智能家居清潔機(jī)器人設(shè)備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機(jī)器人市場出貨1,2萬臺,同比增長33%,顯示出品類強(qiáng)勁的市場需求。