近日，來自中國人民大學、上海人工智能實驗室、倫敦大學學院和大連理工大學的研究團隊揭示了大模型推理過程中的一個重要發(fā)現(xiàn):當模型在思考時，所使用的 “思考詞” 實際上反映了其內(nèi)部信息量的顯著提升。這一研究成果通過信息論的方法，為我們更好地理解人工智能的推理機制提供了新的視角。

　　你或許見過大模型在解答問題時，會輸出一些看似人類化的語言，比如 “嗯……”、“讓我想想……” 或 “因此……”。這些 “思考詞” 是簡單的表面裝飾，還是代表著模型真正的思考過程?這個問題困擾著許多研究者。如今的研究表明，這些詞匯并非僅僅是為了模仿人類，而是關鍵的 “信息高峰”，顯示出模型在特定時刻的思維狀態(tài)。

　　研究團隊對多種大模型進行追蹤觀察，測量它們在推理過程中的互信息變化。結(jié)果發(fā)現(xiàn)，模型在某些時刻的互信息值會急劇上升，形成明顯的 “互信息峰值”。這意味著，在這些關鍵時刻，模型內(nèi)部包含了指向正確答案的關鍵信息。這一現(xiàn)象在經(jīng)過推理強化訓練的模型中表現(xiàn)得尤為明顯，而非推理模型則顯得較為平淡。

　　更為有趣的是，當研究人員將這些互信息高峰時刻的表征轉(zhuǎn)化為人類可理解的語言時，發(fā)現(xiàn)這些時刻正好對應了那些頻繁出現(xiàn)的 “思考詞”。例如，在進行復雜推理時，模型往往會輸出 “讓我想想”、“所以我必須……” 等表述。這些 “思考詞” 不再是可有可無的點綴，而是模型推理過程中的關鍵路標，推動著其思考的進展。

　　基于這一發(fā)現(xiàn)，研究者們提出了兩種無需額外訓練就能提升大模型推理能力的方法。這意味著，未來的 AI 可以在保留現(xiàn)有知識的基礎上，通過合理利用這些信息高峰，顯著提升其推理性能。這一研究不僅推動了大模型的理論研究，也為實際應用提供了新的思路。