華為近日發(fā)布了一項名為 PixArt-\Sigma 的圖像生成模型，該模型采用了 DiT 架構(gòu)，可以直接生成4K 分辨率的圖像。相比于其前身 PixArt-\alpha，PixArt-\Sigma 在圖像保真度上有了明顯的提升，并改善了與文本提示的一致性。

　　PixArt-\Sigma 的一個關(guān)鍵特點是其訓(xùn)練效率。借助 PixArt-\alpha 的基礎(chǔ)預(yù)訓(xùn)練，它通過整合更高質(zhì)量的數(shù)據(jù)，從"較弱"的基線逐步演變?yōu)?quot;較強"的模型，這個過程被稱為"弱到強訓(xùn)練"。

　　PixArt-\Sigma 的進步主要體現(xiàn)在兩個方面:高質(zhì)量的訓(xùn)練數(shù)據(jù)和高效的 Token 壓縮。PixArt-\Sigma 結(jié)合了更高質(zhì)量的圖像數(shù)據(jù)，配對更精確和詳細的圖像標(biāo)題，同時在 DiT 框架內(nèi)提出了一個新的注意力模塊，可以壓縮鍵(Key)和值(Value)，顯著提高效率，促進超高分辨率圖像的生成。

　　由于這些改進，PixArt-\Sigma 以較小的模型規(guī)模(6億參數(shù))實現(xiàn)了優(yōu)于現(xiàn)有文本到圖像擴散模型(如 SDXL(26億參數(shù))和 SD Cascade(51億參數(shù)))的圖像質(zhì)量和用戶提示遵從能力。此外，PixArt-\Sigma 能夠生成4K 圖像，為創(chuàng)建高分辨率海報和壁紙?zhí)峁┝酥С郑�有效地增強了電影和游戲等行業(yè)中高質(zhì)量視覺內(nèi)容的制作。