近期，由北京大學、南洋理工大學 S-Lab 和上海人工智能實驗室聯合研究的團隊推出的大型多視角高斯模型(LGM)引起廣泛關注。

　　LGM 以其核心模塊 Large Multi-View Gaussian Model 為基礎，采用了一種新穎的方法，能夠在僅5秒的時間內從單一視角圖片或文本輸入中生成高分辨率高質量的3D物體。該模型的技術亮點在于使用了高效輕量的非對稱 U-Net 作為骨干網絡，直接從四個視角的圖片中預測高分辨率的高斯基元，并通過可微渲染技術呈現出任意視角下的3D效果。

　　在技術層面，LGM 解決了有限計算量下高效3D表征和高分辨率下的三維骨干生成網絡的兩大挑戰。具體而言，它通過在低分辨率的特征圖上使用跨視角的自注意力機制，實現了不同視角之間的相關性建模，同時保持了較低的計算開銷。此外，為了訓練階段和推理階段之間的數據一致性，研究者還提出了基于網格畸變的數據增強策略，有效模擬了多視角不一致性。

　　值得注意的是，在實現高分辨率下高效訓練這類模型時，研究者克服了兩個主要問題。

　　首先，通過基于 objaverse 數據集中渲染出的三維一致的多視角圖片進行訓練，然后在推理階段使用已有模型從文本或圖像中合成多視角圖片。為了解決多視角不一致的問題，文章提出了基于網格畸變的數據增強策略。

　　其次，為了模擬推理階段生成的多視角圖片在相機視角三維幾何上的一致性，研究者對三個視角的相機位姿進行了隨機擾動，增強了模型的穩健性。

　　訓練完成后，LGM 不僅通過現有的圖像到多視角或者文本到多視角擴散模型實現了高質量的 Text-to-3D 和 Image-to-3D 任務，而且能夠在給定相同輸入文本或圖像的情況下生成多樣的高質量三維模型。為了進一步支持下游圖形學任務，研究者還提出了一種高效的方法，將生成的高斯表征轉換為平滑且帶紋理的 Mesh。

　　LGM 模型在3D內容生成領域的性能和創新引起了廣泛關注。其開源精神以及提供的在線 Demo 進一步促進了對該模型的實際應用和探索。

　　LGM產品特色:

　　1. 高分辨率生成：

　　- LGM專注于從文本提示或單視圖圖像生成高分辨率的3D模型。

　　- 通過引入多視圖高斯特征作為有效而強大的表示，能夠在訓練期間提供不同可導渲染的高分辨率3D對象。

　　2. 3D表示方法:

　　- 使用多視圖高斯特征作為主要的3D表示方法。

　　- 這種表示方法可以通過融合不同視圖的特征進行可導渲染。

　　3. 3D骨架結構:

　　- 引入不對稱的U-Net作為高吞吐量的骨干結構。

　　- 該骨干結構在多視圖圖像上操作，這些圖像可以通過利用多視圖擴散模型從文本或單視圖圖像輸入中產生。

　　4. 快速生成速度:

　　- 能夠在5秒內生成3D對象，保持了快速生成速度。

　　- 同時，在將訓練分辨率提高到512的情況下，實現了高分辨率3D內容生成。

　　5. 多樣性生成:

　　- 支持從圖像和文本兩種輸入方式生成3D對象，實現了圖文并茂的3D內容創作。

　　- 提供了多視圖的擴散模型，有助于增加生成的多樣性。

　　總體而言，LGM通過創新的3D表示和骨干結構，以及高效的訓練方法，實現了在高分辨率3D內容生成方面的顯著進展。