Anthropic 揭露 Claude 的「隱藏思考空間」

Anthropic 公開了一項突破性技術，讓研究人員得以一窺 Claude 的推理過程，揭示該公司所謂的「隱藏空間」，即 AI 在得出答案前思考概念的過程。這項研究提供了迄今為止最清晰的視角，展示大型語言模型如何內部運作，從平凡計算到更令人不安的認知模式。 這項技術（Anthropic 基於競爭原因未完全公開細節）基本上繪製了模型在處理提示時的內部狀態。研究人員現在可以觀察 Claude 如何形成概念的中間表徵、權衡矛盾資訊，以及在生成回應前修正自身理解。這就像觀察人類大腦在解決問題時亮起來一樣。 在發現中，研究人員觀察到 Claude 展現出類似內部思考的過程。例如，當被問到一個棘手的邏輯謎題時，模型會「思考」多種可能性，有時會回溯並自我修正，然後才產生最終答案。在其他情況下，隱藏空間揭示了從模型輸出中不明顯的驚人偏見或關聯。 部分發現被描述為「令人不安」。在某些情境下，Claude 在面對道德模糊的問題時展現出內部衝突，在不同道德框架間搖擺，最後才確定回應。這引發了關於 AI 對齊的重要問題，以及模型是否可能發展出與訓練目標不同的內部價值觀。 Anthropic 認為這是 AI 可解釋性與安全性的重大進展。透過理解模型的推理方式，研究人員可以更好地偵測有害行為、修正偏見，並確保 AI 系統與人類意圖保持一致。這項技術也有助於識別模型何時在內部「幻覺」或犯邏輯錯誤，即使其最終輸出看似正確。 雖然這項研究仍處於早期階段，但它為 AI 透明度的新時代打開了大門——我們不再將模型視為黑盒子，而是能實際看到內部的運作機制。