MiniMax于2025年1月15日宣布開源其全新系列模型MiniMax-01，該系列包含基礎(chǔ)語言大模型MiniMax-Text-01和視覺多模態(tài)大模型MiniMax-VL-01。MiniMax-01系列在架構(gòu)上進(jìn)行了大膽創(chuàng)新，首次大規(guī)模實(shí)現(xiàn)線性注意力機(jī)制，打破了傳統(tǒng)Transformer架構(gòu)的局限。其參數(shù)量高達(dá)4560億，單次激活459億，綜合性能與海外頂尖模型相當(dāng)，且能高效處理長達(dá)400萬token的上下文，這一長度是GPT-4o的32倍、Claude-3.5-Sonnet的20倍。

　　MiniMax認(rèn)為2025年將是Agent高速發(fā)展的關(guān)鍵年份，無論是單Agent系統(tǒng)還是多Agent系統(tǒng)，都需要更長的上下文來支持持續(xù)記憶和大量通信。MiniMax-01系列模型的推出，正是為了滿足這一需求，邁出建立復(fù)雜Agent基礎(chǔ)能力的第一步。

　　得益于架構(gòu)創(chuàng)新、效率優(yōu)化以及集群訓(xùn)推一體設(shè)計，MiniMax能夠以業(yè)內(nèi)最低的價格區(qū)間提供文本和多模態(tài)理解的API服務(wù)，標(biāo)準(zhǔn)定價為輸入token1元/百萬token，輸出token8元/百萬token。MiniMax開放平臺及海外版已上線，供開發(fā)者體驗(yàn)使用。

　　MiniMax-01系列模型已在GitHub開源，并將持續(xù)更新。在業(yè)界主流的文本和多模態(tài)理解測評中，MiniMax-01系列在多數(shù)任務(wù)上追平了海外公認(rèn)的先進(jìn)模型GPT-4o-1120和Claude-3.5-Sonnet-1022。特別是在長文任務(wù)上，與Google的Gemini模型相比，MiniMax-Text-01隨著輸入長度增加，性能衰減最慢，顯著優(yōu)于Gemini。

　　MiniMax的模型在處理長輸入時效率極高，接近線性復(fù)雜度。其結(jié)構(gòu)設(shè)計中，每8層中有7層采用基于Lightning Attention的線性注意力，1層采用傳統(tǒng)SoftMax注意力。這是業(yè)內(nèi)首次將線性注意力機(jī)制擴(kuò)展到商用模型級別，MiniMax在Scaling Law、與MoE結(jié)合、結(jié)構(gòu)設(shè)計、訓(xùn)練優(yōu)化和推理優(yōu)化等方面進(jìn)行了綜合考量，并重構(gòu)了訓(xùn)練和推理系統(tǒng)，包括更高效的MoE All-to-all通訊優(yōu)化、更長序列優(yōu)化以及推理層面線性注意力的高效Kernel實(shí)現(xiàn)。

　　在大部分學(xué)術(shù)集上，MiniMax-01系列取得了比肩海外第一梯隊的結(jié)果。在長上下文測評集上更是顯著領(lǐng)先，如在400萬的Needle-In-A-Haystack檢索任務(wù)上表現(xiàn)優(yōu)異。除了學(xué)術(shù)數(shù)據(jù)集，MiniMax還構(gòu)建了基于真實(shí)數(shù)據(jù)的助手場景測試集，MiniMax-Text-01在該場景中表現(xiàn)突出。在多模態(tài)理解測試集中，MiniMax-VL-01也較為領(lǐng)先。