DPO 訓練

Soup CLI

Soup CLI 是 Soup 推出的微調工具，可在 4 GB 筆電 GPU 上訓練與對齊 Llama-3.1-8B，支援 DPO、ORPO 等多種方法，具備串流推論、節省 VRAM，並相容多種後端。