業界急於應對AI失控的代幣成本

AI產業正在經歷一場痛苦但必要的覺醒。在多年秉持「快速前進，打破常規」的心態後，企業如今正急於應對與大型語言模型相關的失控成本。罪魁禍首是什麼？就是那些遠超最初預測、不斷攀升的代幣帳單，迫使策略從純粹創新根本性地轉向成本控管與永續性。 每一次與大型語言模型的互動都會消耗代幣——也就是模型處理的基本文字單位。雖然單次查詢可能只需花費幾分錢，但一旦規模化，這些成本就會迅速累積。推出熱門AI功能的公司，如今面臨每月數百萬美元的帳單，侵蝕了利潤率，在某些情況下甚至讓整個產品線變得不可行。用戶經常進行長時間、多輪次的對話，每次對話消耗數千個代幣，這使得問題更加惡化。 業界的因應措施是多方面的。首先，大家急於優化模型以提高效率。量化、剪枝和蒸餾等技術被廣泛應用，以在不犧牲太多品質的情況下降低每個代幣的計算成本。其次，企業正在實施更嚴格的護欄和使用政策。這包括限制回應長度、設定免費查詢次數上限，以及對較簡單的任務使用更便宜、更小的模型。 第三，人們對替代架構的興趣日益濃厚，例如混合專家模型，這種模型僅針對每次查詢啟動一部分參數，從而大幅降低成本。從「快速前進」到「聰明前進」的心態轉變，正在重塑AI格局。下一階段AI的贏家，不一定是擁有最強大模型的企業，而是那些能夠以可持續長期營運的成本，提供有用AI體驗的企業。免費、無限的AI時代即將結束，取而代之的是一種更務實、更具成本意識的做法。