負載平衡

LiteLLM

Berri AI 的 LLM Gateway，用於管理 100 多個 LLM 的身份驗證、負載平衡和支出追蹤，全部採用 OpenAI 格式。