上海 AI 實(shí)驗(yàn)室聯(lián)合語(yǔ)料數(shù)據(jù)聯(lián)盟成員共同開(kāi)源發(fā)布了高質(zhì)量多模態(tài)預(yù)訓(xùn)練語(yǔ)料 “書(shū)生・萬(wàn)卷”1.0。

　　據(jù)悉，這個(gè)語(yǔ)料庫(kù)包含了文本數(shù)據(jù)集、圖文數(shù)據(jù)集和視頻數(shù)據(jù)集，總量超過(guò)2TB。其中包括超過(guò)5億個(gè)文本、2200萬(wàn)個(gè)圖文交錯(cuò)文檔和1000個(gè)節(jié)目影像視頻。

　　這些數(shù)據(jù)經(jīng)過(guò)細(xì)粒度清洗、去重和價(jià)值對(duì)齊等處理，具備多元融合、精細(xì)處理、價(jià)值對(duì)齊和易用高效的特點(diǎn)。

　　上海 AI 實(shí)驗(yàn)室表示，開(kāi)源發(fā)布 “書(shū)生・萬(wàn)卷” 有助于降低大模型技術(shù)的門(mén)檻，推動(dòng)大模型的應(yīng)用和創(chuàng)新。該語(yǔ)料數(shù)據(jù)聯(lián)盟旨在通過(guò)聯(lián)合多方機(jī)構(gòu)打造高質(zhì)量的語(yǔ)料數(shù)據(jù)，探索形成可持續(xù)運(yùn)行的激勵(lì)機(jī)制，打造國(guó)際化、開(kāi)放型的大模型語(yǔ)料數(shù)據(jù)生態(tài)圈。