1月30日 消息:Adept Fuyu-Heavy是一種新型的多模態模型，專為數字代理設計。據稱，它是世界上第三大能力超強的多模態模型，僅次于GPT4-V和Gemini Ultra。這種模型特別擅長理解用戶界面，能夠解釋和操作各種軟件和應用程序的界面，并且可以幫助用戶執行自動化流程、響應查詢以及提供信息等任務。

　　在多項評估和基準測試中，Adept Fuyu-Heavy展現出了卓越的性能。在MMM(Multimodal Multitask)基準測試中，其表現優于Gemini Pro，尤其在處理多模態任務時表現出色。

　　在文本基準測試中，盡管需要分配部分容量處理圖像數據，但在標準的文本只評估中，它的表現與Gemini Pro大體相當，甚至在MMLU(多模態語言理解)基準測試中超過了Gemini Pro。

　　此外，經過有監督的微調和直接優化階段后，Fuyu-Heavy在最常用的聊天評估中的表現與Claude2.0相當，盡管它是一個更小的模型，且部分容量用于圖像建模。在多模態性能標準方面，Fuyu-Heavy略微優于Gemini Pro，在VQAv2(一個視覺問答基準)和AI2D(一個圖表理解數據集)上也取得了不俗的成績。

　　Adept Fuyu-Heavy的主要能力包括多模態理解和生成、高效的圖像和文本處理、優化的模型架構、長形式對話性能、用戶界面理解以及跨模態內容生成。這意味著它能夠處理和理解多種類型的數據，如文本和圖像，并能夠基于這些數據生成相應的輸出，使其在多模態任務上表現出色。

　　盡管需要部分容量用于圖像建模，但在標準文本基準測試中的表現匹敵或超越同級別的模型。此外，經過特定訓練階段優化后，Fuyu-Heavy在長形式對話和交互中表現出色。

　　它還特別擅長于理解數字用戶界面(UI)，如網站和應用程序，提供有效的自動化解決方案，能夠適應和優化數字代理的功能，如提高用戶界面理解、增強自動化決策能力、提供更準確的信息檢索和內容生成等。最后，它還能夠生成跨越文本和圖像的內容，適用于多種應用場景。