Soup CLI

Soup CLIとは？

Soup CLIは、AIモデルのポストトレーニング工程（データ準備からファインチューニング、評価まで）を一括で処理する、無料のオープンソースコマンドラインツールです。タスクタイプ、量子化、学習率、エポック数を手動で調整する代わりに、ルールベースでトレーニング設定を自動生成します。23種類のトレーニング手法、142のレシピ、17の量子化フォーマットに対応し、MLXやAppleハードウェアとの統合も備えています。インストールはpipで行い、設定ファイルを初期化してsoup trainコマンドを実行するだけでトレーニングを開始できます。4GBのノートPC向けGPUでLlama-3.1-8Bをファインチューニングできるよう設計されており、それほど高性能ではないハードウェアでも動作するのが特徴です。

Application scenarios

ノートPCのGPUでのファインチューニング
フリーズしたベースモデル全体をメモリに読み込むことなく、4GBのGPUでLlama-3.1-8Bのトレーニングとアライメントが可能。
アライメントトレーニング
DPO、ORPO、SimPO、KTOなどのアライメント手法をストリーミング対応で実行。
設定の移行
`soup migrate`コマンドを使えば、LLaMA-Factory、Axolotl、Unslothからの移行が約30秒で完了。
データの事前チェック
トレーニング開始前にデータの検証と「ドクター」処理（問題の修正）を実行。
評価駆動のトレーニング
独自データセットから評価指標を導き出し、モデルの保存時にSHIP（出荷可）またはDON'T-SHIP（出荷不可）の判定をゲートとして適用。
音声・テキストトレーニング
過去に学習したタスクを消去せずに、テキストまたは音声データでトレーニング可能。

Core Features

設定の自動生成
タスク、量子化、学習率、エポック数を手動調整ではなくルールベースで自動生成。
レイヤーストリーミング
フリーズしたベースモデルをRAMまたはNVMeから1レイヤーずつストリーミングし、4ビットに量子化することで、大きなモデルを小さなGPUに適合。
リワードハッキングの自動補正
トレーニングを単に停止するのではなく、実行中にリワードハッキングを自己補正。
保存ゲート
モデル保存のたびにSHIP/DON'T-SHIP判定を適用し、ウェイトと一緒に判定結果をコミット可能。
移行ツール
1コマンドでLLaMA-Factory、Axolotl、Unslothの既存設定を変換。
マルチバックエンド対応
HuggingFace、Ollama、vLLM、DeepSpeed、Unsloth、ONNX、NVIDIA TensorRT、W&B、SGLang、FlashAttentionと統合。
幅広い手法サポート
23のトレーニング手法、142のレシピ、17の量子化フォーマット。
Appleハードウェア対応
Appleシリコン向けのMLXアダプターを内蔵。
オープンソース
Apache-2.0ライセンス、Python 3.10〜3.12対応、ベンダーロックインなし。

対象ユーザー

Soup CLIは、高価なGPUクラスターを使わずにオープンソースモデルのファインチューニングやアライメントを行いたい機械学習エンジニアやAI研究者向けに設計されています。すでにLLaMA-Factory、Axolotl、Unslothなどのツールを使っているチームで、より自動化されたパイプラインを求める場合に適しています。ノートPCやシングルGPUのワークステーションで開発しているエンジニアにとっては、VRAM効率とレイヤーストリーミングが特に有用です。また、ワークフローにSHIP/DON'T-SHIP判定を組み込んだ評価駆動型のトレーニングを実践したい開発者にもおすすめです。

Soup CLIの使い方

pip install "soup-cli[train]"でインストール。
soup initを実行してsoup.yaml設定ファイルを作成。
soup trainを実行してトレーニング開始。
他のツールから移行する場合は、soup migrate --from llamafactory config.yamlを実行（axolotlやunslothの場合も同様のコマンド）。
詳細は公式サイト（https://trysoup.dev/）を参照。

効果レビュー

Soup CLIの最大の売りである「4GBのノートPC GPUでLlama-3.1-8Bをファインチューニングできる」点は、高性能なハードウェアを利用できない開発者にとって大きな実用的メリットです。設定の自動生成と移行ツールにより、トレーニング実行のセットアップにかかる手間が大幅に削減され、時間の節約につながります。SHIP/DON'T-SHIPの保存ゲートとリワードハッキング補正は、他のトレーニングツールにはない品質管理レイヤーを追加します。公式サイトにユーザーの声やベンチマーク結果は掲載されていませんが、機能セットは一貫性があり、ポストトレーニングワークフローでよくある課題に直接対応しています。Apache-2.0ライセンスでベンダーロックインがないため、本番環境での利用にも安心です。

Frequently Asked Questions

Soup CLIとは何ですか？

Soup CLIは、Llama-3.1-8Bモデルを4GBのノートPC GPUで微調整できるツールです。DPOやORPOなどの手法に対応しています。

低スペックのハードウェアでもSoup CLIは動作しますか？

はい、Soup CLIはVRAM効率を最適化しているため、高性能なGPUがなくても4GBのノートPC GPUで微調整が可能です。

Soup CLIはどのような微調整手法に対応していますか？

DPO（直接選好最適化）、ORPO（オッズ比選好最適化）、その他のアライメント手法に対応しています。

Soup CLIはストリーミング推論に対応していますか？

はい、ストリーミング推論機能があり、トレーニング中やトレーニング後にリアルタイムでトークンを生成できます。

Soup CLIはどのバックエンドと互換性がありますか？

マルチバックエンド対応で、さまざまなハードウェアやソフトウェア環境と連携できます。

Soup CLIは無料で使えますか？

公式ドキュメントには価格についての記載がないため、ライセンスやコストの詳細はSoup CLIの公式ドキュメントを確認してください。