dpo

Soup CLI

Soup CLI é a ferramenta da Soup para fine-tuning e alinhamento do Llama-3.1-8B direto em GPUs de notebook com apenas 4 GB de VRAM. Suporta DPO, ORPO e mais, com inferência em streaming e compatibilidade multi-backend, otimizando memória para máxima eficiência.