LLaVA-1.5是來自威斯康星大學麥迪遜分校、微軟研究院和哥倫比亞大學的研究人員近期開源的一款全新的端到端多模態大模型，可與OpenAI的GPT-4V形成正面競爭。LLaVA-1.5在11項基準測試中都實現了新的狀態最優(SOTA)成績，包括視覺問答、圖像 caption等任務，展現出了強大的多模態理解能力。

　　相比之前的版本LLaVA，LLaVA-1.5采用了更高分辨率的圖像輸入、更大規模的語言模型(13B參數)，以及面向學術任務的視覺問答數據集，從而獲得了顯著的性能提升。研究人員發現，與額外的大規模預訓練相比，視覺指令微調對提高多模態能力更為關鍵。

　　值得一提的是，LLaVA-1.5采用了最簡單的架構設計，只需要在公開可取得的6百萬圖像文本配對上訓練一個全連接層，就能在多項基準測試中打敗復雜的SOTA系統，刷新記錄。使用8塊A100GPU，LLaVA-1.5的訓練僅需1天時間即可完成。LLaVA-1.5展示了開源大模型可以通過簡單的設計和公共數據取得競爭力，為未來的研究提供了有價值的經驗。LLaVA-1.5以其出色的多模態理解能力，向業內掀起了一股“硬剛GPT-4”的新風潮。