负载均衡

LiteLLM

Berri AI的LLM网关，用于管理100多个LLM的身份验证、负载均衡和支出跟踪，全部采用OpenAI格式。