清華大學與智譜AI合作開發的CogVLM-17B是一款國產多模態模型，具有卓越的性能。該模型不僅可以識別圖像中的對象，還能分辨完整可見和部分可見的物體。

　　CogVLM-17B已經在10項權威跨模態基準上取得了SOTA(State-of-the-Art)性能，并在多個領域超越了谷歌的模型。它被形象地稱為“14邊形戰士”，展現了其多模態處理的出色能力。

　　試玩地址:

　　https://36.103.203.44:7861

　　開源及論文地址:

　　https://github.com/THUDM/CogVLM

　　CogVLM-17B采用了獨特的深度融合方法，通過四個關鍵組件實現了圖像特征和文本特征的深度對齊。這些組件包括ViT編碼器、MLP適配器、大型預訓練語言模型以及視覺專家模塊。與傳統的淺層對齊方法相比，CogVLM-17B的深度融合方法提高了性能，同時避免了微調語言模型的全部參數可能損害NLP任務性能的問題。

　　CogVLM-17B在視覺問題解決方面表現出色，包括識別復雜場景中的對象、回答關于圖像內容的問題、解決帶圖的編程題等。

　　此外，它還展示了出色的文字識別能力，盡管沒有專門的OCR數據進行訓練。CogVLM-17B已經開源，并提供了在線試玩，雖然目前僅支持英文，但計劃在未來提供中英雙語版本。

　　這款國產多模態模型的出現，不僅豐富了多模態領域的技術研究，還為各種視覺問題的解決提供了強大的工具。其深度融合方法的創新性標志著多模態模型訓練范式的改變，為未來的研究和應用提供了新的思路和可能性。