只用 100 步 GRPO 微調 3.5 億參數模型，搞定結構化輸出

一篇新的技術部落格文章，展示了一個高效率的模型微調方法：僅用 100 步的 Group Relative Policy Optimization（GRPO），就能讓一個 3.5 億參數的語言模型學會產生結構化輸出。這個方法鎖定的對象，是需要模型輸出 JSON、XML 或其他受限格式資料的開發者，而且不必承擔大規模訓練的成本。 傳統上，要讓模型學會結構化輸出，往往需要大量資料集與眾多訓練步驟。這個新方法證明，透過 GRPO，即便是相對較小的模型，也能快速學會準確遵循格式指令。GRPO 的運作原理是根據群體回饋來最佳化模型策略，讓模型能以高樣本效率調整行為。 作者報告指出，僅經過 100 步 GRPO 訓練後，這個 3.5 億參數模型在結構化輸出任務上的準確度，已明顯高於基礎版本。這點值得注意，因為較小的模型執行與部署成本更低，特別適合延遲與記憶體受限的邊緣裝置或即時應用。 成功的關鍵在於使用一個獎勵函數：懲罰格式錯誤，同時獎勵語意正確性。這種雙重目標確保模型不只輸出正確的結構，也保留內容的意義。文章中附有程式碼片段與設定細節，方便其他開發者在自己資料集上重現實驗。 對於需要處理 API、資料庫查詢或任何要求機器可讀輸出的開發團隊來說，這項技術提供了一個實用的捷徑。開發者不必依賴又大又貴的模型，只需用最少運算資源微調較小模型即可。作者在結論中建議，基於 GRPO 的微調可望成為特定領域格式任務的標準工具，縮短通用語言模型與可上線系統之間的差距。