近日，蘋果公司與哥倫比亞大學(xué)的研究團(tuán)隊(duì)共同開發(fā)了一款名為 SceneScout 的人工智能原型系統(tǒng)。這一系統(tǒng)旨在為盲人及低視力群體(BLV)提供街景導(dǎo)航的輔助功能，幫助他們更好地進(jìn)行日常出行。

　　SceneScout 系統(tǒng)通過(guò)結(jié)合蘋果地圖(Apple Maps)API 與多模態(tài)大語(yǔ)言模型(基于 GPT-4o 內(nèi)核)，生成個(gè)性化的環(huán)境描述。這一創(chuàng)新的技術(shù)使得用戶能夠獲得更加直觀和具體的導(dǎo)航信息，從而提升他們的出行體驗(yàn)。相關(guān)的研究論文已經(jīng)在預(yù)印平臺(tái) arXiv 上發(fā)表，盡管尚未經(jīng)過(guò)同行評(píng)審。

　　該系統(tǒng)的核心功能包括兩大部分:首先是路線預(yù)覽(Route Preview)。通過(guò)這一功能，用戶能夠預(yù)判行程中的道路狀況，例如人行道的質(zhì)量、交叉口的特征以及附近公交站的情況等。這些信息對(duì)于盲人用戶而言，尤其重要，可以幫助他們?cè)诔鲂袝r(shí)提前了解周圍環(huán)境。

　　其次是虛擬探索(Virtual Exploration)功能。該功能允許用戶根據(jù)自己的需求進(jìn)行開放場(chǎng)景的探索。例如，用戶可以詢問(wèn)系統(tǒng) “臨近公園的安靜居住區(qū)”，系統(tǒng)則會(huì)根據(jù)用戶的需求提供相應(yīng)的方向指引。SceneScout 通過(guò)模擬行人的視角解讀可見內(nèi)容，并生成結(jié)構(gòu)化的文本信息，支持短、中、長(zhǎng)不同格式的輸出，能夠適配多種讀屏軟件，方便盲人用戶閱讀。

　　在測(cè)試階段，SceneScout 招募了10名視障用戶進(jìn)行使用，這些用戶大多具有科技行業(yè)的背景。測(cè)試結(jié)果顯示，72% 的 AI 生成描述被認(rèn)為是準(zhǔn)確的。而在虛擬探索模式中，用戶反饋非常積極，稱這一功能可以有效替代傳統(tǒng)的信息獲取方式，為他們的日常出行帶來(lái)了極大的便利。