2月28日 消息:近期，針對文本到圖像(T2I)生成模型領域中的個性化主題驅動模型，出現了一些令人印象深刻的進展，如 DreamBooth 和 BLIP-Diffusion。然而，這些模型普遍存在著對微調的需求較高和參數規模龐大的限制。

　　為了解決這些問題，研究人員引入了 DiffuseKronA，這是一種基于 Kronecker 乘積的自適應模塊，不僅可以將可訓練參數數量顯著降低多達35%，與 LoRA-DreamBooth 相比甚至降低了99.947%，還提高了圖像合成的質量。DiffuseKronA 減少了對超參數敏感性的問題，提供了一致高質量的生成圖像，從而減少了對大量微調的需求。

　　關鍵是，DiffuseKronA 減輕了對超參數敏感性的問題，能夠在一系列超參數范圍內提供一致的高質量生成，從而減少了對大量精細調整的必要性。此外，更可控的分解使 DiffuseKronA 更具解釋性，甚至可以實現高達50% 的減少，并且結果與 LoRA-Dreambooth 相媲美。

　　DiffuseKronA 的主要思想是利用 Kronecker 乘積來分解 UNet 模型中注意力層的權重矩陣，以實現高效的參數優化。與 LoRA 中的低秩分解相比，DiffuseKronA 的 Kronecker 適配器提供了更高階的逼近，參數數量更少，靈活性更大。通過實驗，DiffuseKronA 在生成圖像的穩定性和文本對齊性方面均優于 LoRA-DreamBooth，展現出更高的圖像生成質量和更準確的對象顏色分布。

　　綜合對比實驗結果，DiffuseKronA 在視覺質量、文本對齊性、可解釋性、參數效率和模型穩定性等方面均優于 LoRA-DreamBooth，為 T2I 生成模型的領域帶來了重大進展。