DPO训练

Soup CLI

Soup CLI：在4GB显存笔记本上微调Llama-3.1-8B，支持DPO、ORPO等对齐方法，流式推理省显存，多后端兼容，轻量搞定大模型训练。