智譜 AI 宣布，訓練了一種新的視頻理解模型 CogVLM2-Video，并將其開源。

　　據介紹，當前大多數的視頻理解模型使用幀平均和視頻標記壓縮方法，導致時間信息的丟失，無法準確回答與時間相關的問題。一些專注于時間問答數據集的模型過于局限于特定格式和適用領域，使得模型失去了更廣泛的問答能力。

　　智譜 AI 提出了一種基于視覺模型的自動時間定位數據構建方法，生成了 3 萬條與時間相關的視頻問答數據。基于這個新數據集和現有的開放領域問答數據，引入了多幀視頻圖像和時間戳作為編碼器輸入，訓練出 CogVLM2-Video 模型。

　　智譜 AI 表示，CogVLM2-Video 不僅在公共視頻理解基準上達到了最新的性能，還在視頻字幕生成和時間定位方面表現出色。