マルチLLM管理

LiteLLM

Berri AIのLLM Gatewayは、OpenAI形式で100以上のLLMの認証、負荷分散、支出追跡を管理します。