ローカル推論

oprel

Oprel社製の高性能Pythonライブラリ。大規模言語モデルをローカルで実行し、プロダクション対応のランタイム、高度なメモリ管理、ハイブリッドオフロード、完全なマルチモーダルサポートを提供。