PrismML 把小型語言模型搬上高通智慧眼鏡

PrismML 正把自家精簡版語言模型延伸到搭載高通晶片的智慧眼鏡上，反映整體產業正往「開源權重、在地執行」的方向移動，也就是把 AI 跑在裝置端，而不是送進遠方資料中心。把推論留在地端，PrismML 想利用的是使用者身上本來就有的硬體算力，藉此降低延遲、壓低頻寬成本，並減少必須離開眼鏡的個人資料。 智慧眼鏡對 AI 來說是很難搞的平台。它的電力與散熱預算都很緊，使用者一戴就是好幾個小時，還必須對語音指令與視覺情境立刻回應。把大型模型放在雲端，可能帶來延遲、也吃連線；而把鏡頭與麥克風資料送出裝置，更會引發隱私疑慮。小型語言模型提供的是另一種取捨：通用知識與推理深度較弱，但回應更快、運作可預期，隱私也更好。 PrismML 的做法契合開源權重 AI 的走向。未來眼鏡不必把每次查詢都送到遠端伺服器，而可在現場處理喚醒詞、基本助理任務、物件辨識提示、翻譯與情境建議。高通的角色很關鍵，因為它的晶片本就是為省電的邊緣 AI 設計，內建 NPU 與 DSP，並針對裝置端推論最佳化。 若合作順利，智慧眼鏡可望變得更實用，卻不必變得更重、更燙；製造商也能省下雲端成本，使用者則對自己的資料更有掌控權。挑戰仍在：小模型必須仔細壓縮與排程，否則會拖垮電池；開發者也需要工具來更新模型、管理記憶體，並讓不同鏡架上的效能維持一致。此外，隱私承諾能否兌現，也取決於是否仍有部分資料被送到伺服器做備援處理。 儘管如此，方向已經很清楚：AI 正從純雲端服務走向混合式與地端執行。PrismML 與高通智慧眼鏡的合作，是另一個訊號——下一波助理可能就住在你臉上，而不是資料中心裡。