Soup CLI

Soup CLI

Soup CLI ist ein Fine-Tuning-Tool, das Llama-3.1-8B direkt auf einer 4-GB-Laptop-GPU trainiert und ausrichtet. Es unterstützt DPO, ORPO und weitere Methoden, bietet gestreamte Inferenz, sparsamen VRAM-Verbrauch und funktioniert mit mehreren Backends. Ideal für effizientes lokales Modell-Tuning.

FeintuningLlama-3.1DPOORPOVRAM-effizient
Open site
image for Soup CLIOpen site

Was ist Soup CLI?

Soup CLI ist ein kostenloses Open-Source-Kommandozeilentool, das den gesamten Post-Training-Stack für KI-Modelle abdeckt – von der Datenaufbereitung über Fine-Tuning bis hin zur Evaluierung. Es schreibt die Trainingskonfiguration für dich, indem es auf Regeln basiert statt auf manueller Suche, um Aufgabentyp, Quantisierung, Lernrate und Epochen zu bestimmen. Das Tool unterstützt 23 Trainingsmethoden, 142 Rezepte und 17 Quantisierungsformate, mit Integrationen für MLX und Apple-Hardware. Nutzer installieren es über pip, initialisieren eine Konfigurationsdatei und starten das Training mit einem einzigen soup train-Befehl. Es ist darauf ausgelegt, auf moderater Hardware zu laufen und Llama-3.1-8B auf einer 4-GB-Laptop-GPU feinzutunen.

Application scenarios

  • Fine-Tuning auf Laptop-GPUs

    Trainiere und aligne Llama-3.1-8B auf einer 4-GB-GPU, ohne das vollständige eingefrorene Basismodell in den Speicher zu laden.

  • Alignment-Training

    Führe DPO-, ORPO-, SimPO- und KTO-Alignment-Methoden mit Streaming-Unterstützung aus.

  • Konfigurationsmigration

    Wechsle in etwa 30 Sekunden von LLaMA-Factory, Axolotl oder Unsloth mit dem `soup migrate`-Befehl.

  • Daten-Pre-Flight-Checks

    Validiere und „repariere“ deine Trainingsdaten, bevor du einen Lauf startest.

  • Evaluierungsgetriebenes Training

    Leite Evaluierungsmetriken aus deinem eigenen Datensatz ab und gate jeden Modell-Save mit einem SHIP- oder DON'T-SHIP-Urteil.

  • Sprach- und Text-Training

    Trainiere auf Text oder Sprache, ohne zuvor gelernte Aufgaben zu überschreiben.

Core Features

  • Automatisch generierte Konfigurationen

    Soup schreibt die gesamte Trainingskonfiguration (Aufgabe, Quantisierung, LR, Epochen) basierend auf Regeln, nicht auf manuellem Tuning.

  • Layer-Streaming

    Streamt das eingefrorene Basismodell Schicht für Schicht aus dem RAM oder von NVMe und quantisiert auf 4-Bit, sodass große Modelle auf kleine GPUs passen.

  • Reward-Hacking-Korrektur

    Korrigiert Reward Hacking selbstständig während des Laufs, anstatt das Training einfach zu stoppen.

  • Save-Gating

    Jeder Modell-Save ist an ein SHIP- oder DON'T-SHIP-Urteil gekoppelt, das du zusammen mit den Gewichten committen kannst.

  • Migrationstool

    Ein Befehl konvertiert bestehende Konfigurationen aus LLaMA-Factory-, Axolotl- oder Unsloth-Notebooks.

  • Multi-Backend-Kompatibilität

    Integriert sich mit HuggingFace, Ollama, vLLM, DeepSpeed, Unsloth, ONNX, NVIDIA TensorRT, W&B, SGLang und FlashAttention.

  • Breite Methodenunterstützung

    23 Trainingsmethoden, 142 Rezepte und 17 Quantisierungsformate.

  • Apple-Hardware-Support

    Enthält einen MLX-Adapter für Apple Silicon.

  • Open Source

    Apache-2.0-Lizenz, unterstützt Python 3.10 bis 3.12, ohne Vendor-Lock-in.

Zielgruppe

Soup CLI wurde für Machine-Learning-Ingenieure und KI-Forschende entwickelt, die Open-Source-Modelle ohne teure GPU-Cluster feintunen oder alignen müssen. Es eignet sich für Teams, die bereits Tools wie LLaMA-Factory, Axolotl oder Unsloth verwenden und eine automatisiertere Pipeline wünschen. Entwickler, die auf Laptops oder Workstations mit einer einzelnen GPU arbeiten, werden die VRAM-Effizienz und das Layer-Streaming besonders nützlich finden. Es spricht auch Praktiker an, die evaluierungsgetriebenes Training mit klaren Ship-/Don't-Ship-Entscheidungen direkt im Workflow möchten.

Wie verwendet man Soup CLI?

  1. Installiere mit pip install "soup-cli[train]".
  2. Führe soup init aus, um eine soup.yaml-Konfigurationsdatei zu erstellen.
  3. Führe soup train aus, um das Training zu starten.
  4. Wenn du von einem anderen Tool migrierst, verwende soup migrate --from llamafactory config.yaml (oder die entsprechenden Axolotl-/Unsloth-Varianten).
  5. Für weitere Details besuche die offizielle Website unter https://trysoup.dev/.

Wirkungsanalyse

Das Kernversprechen von Soup CLI – das Fine-Tuning von Llama-3.1-8B auf einer 4-GB-Laptop-GPU – ist ein erheblicher praktischer Vorteil für Entwickler ohne Zugang zu High-End-Hardware. Die automatisch generierten Konfigurationen und Migrationstools nehmen viel von der Reibung, die mit der Einrichtung von Trainingsläufen verbunden ist, und sparen so echte Zeit. Das SHIP/DON'T-SHIP-Save-Gating und die Reward-Hacking-Korrektur fügen eine Qualitätskontrollschicht hinzu, die den meisten Trainingstools fehlt. Obwohl die Website keine Nutzerstimmen oder Benchmark-Ergebnisse enthält, ist das Funktionsset kohärent und adressiert direkt häufige Schmerzpunkte in Post-Training-Workflows. Die Apache-2.0-Lizenz und das fehlende Vendor-Lock-in machen es zu einer sicheren Wahl für den Produktionseinsatz.

Frequently Asked Questions

Was ist Soup CLI?
Soup CLI ist ein Tool zum Feintuning, mit dem sich Llama-3.1-8B-Modelle auf einer Laptop-GPU mit 4 GB trainieren und ausrichten lassen. Unterstützt werden unter anderem Methoden wie DPO und ORPO.
Läuft Soup CLI auch auf schwacher Hardware?
Ja, Soup CLI ist auf einen sparsamen Umgang mit VRAM ausgelegt. Dadurch ist Feintuning auf einer 4-GB-Laptop-GPU möglich, ohne dass High-End-Hardware erforderlich ist.
Welche Feintuning-Methoden unterstützt Soup CLI?
Unterstützt werden DPO (Direct Preference Optimization), ORPO (Odds Ratio Preference Optimization) sowie weitere Alignment-Techniken.
Bietet Soup CLI gestreamte Inferenz?
Ja, Soup CLI verfügt über gestreamte Inferenz, sodass Token in Echtzeit erzeugt werden können – sowohl während als auch nach dem Training.
Mit welchen Backends ist Soup CLI kompatibel?
Soup CLI unterstützt mehrere Backends und lässt sich so in verschiedene Hardware- und Softwareumgebungen integrieren.
Ist Soup CLI kostenlos nutzbar?
Die Beschreibung enthält keine Angaben zur Preisgestaltung. Details zu Lizenzierung und Kosten findest du in der offiziellen Dokumentation von Soup CLI.

Soup CLI - AI Tool Detail

Soup CLI ist ein Fine-Tuning-Tool, das Llama-3.1-8B direkt auf einer 4-GB-Laptop-GPU trainiert und ausrichtet. Es unterstützt DPO, ORPO und weitere Methoden, bietet gestreamte Inferenz, sparsamen VRAM-Verbrauch und funktioniert mit mehreren Backends. Ideal für effizientes lokales Modell-Tuning.

Category：Modell-Feinabstimmung

Visit Link：https://trysoup.dev/

Tags：Feintuning、Llama-3.1、DPO、ORPO、VRAM-effizient