時序優化技巧可將大型語言模型訓練能耗降低高達14%

研究人員發現一種簡單而有效的時序優化方法，可在大型語言模型訓練過程中將能耗降低高達14%。這項發現正值關鍵時刻，因為前沿AI模型的能源需求正受到環保倡導者與監管機構越來越嚴格的審視。 這項技術涉及調整訓練過程中計算任務的排程。透過精心安排特定操作的執行時機，研究人員得以將閒置時間降至最低，並減少訓練硬體的整體功耗。此優化無需改變底層模型架構或訓練演算法，因此易於在現有工作流程中實施。 AI訓練的能源效率已成為一個迫切的問題。訓練單一大型模型所消耗的電力，相當於數百戶家庭一年的用電量。隨著各大公司競相打造規模更大的模型，累積的環境影響相當可觀。這項新的時序技巧提供了一種實用且低成本的方式，來減輕部分影響。 研究人員在數種熱門模型架構上測試了他們的方法，發現所有架構的能耗均一致降低。14%的降幅尤其引人注目，因為這是在不影響模型效能或訓練速度的情況下達成的。事實上，在某些案例中，優化後的排程甚至略微提升了處理量。 業界專家對此發現表示歡迎，並指出當這種漸進式的效率提升應用於主要AI實驗室進行的數千次訓練任務時，將產生巨大的影響。如果這項技術被廣泛採用，每年可節省數百萬千瓦時的電力。 研究團隊目前正致力於將此優化方法擴展到其他類型的機器學習工作負載，包括微調和推論。他們也已釋出該時序排程器的開源實作，讓任何組織都能從中受益。