LiteLLM

LLM Gateway da Berri AI para gerenciar autenticação, balanceamento de carga e rastreamento de gastos em mais de 100 LLMs, tudo no formato OpenAI.

Gateway LLM Formato OpenAI Rastreamento de Gastos Balanceamento de Carga Gerenciamento Multi-LLM

Abrir site

O que é o LiteLLM?

O LiteLLM é um gateway de IA desenvolvido pela Berri AI, apoiado pelo Y Combinator, que fornece acesso a modelos, fallbacks e rastreamento de gastos em mais de 100 LLMs. Ele usa o formato compatível com a OpenAI, permitindo que os desenvolvedores alternem entre provedores sem reescrever o código. A plataforma já atendeu mais de 1 bilhão de requisições e registrou 240 milhões de pulls no Docker, com mais de 1.005 colaboradores. Ela simplifica a forma como as equipes de plataforma concedem acesso dos desenvolvedores a LLMs como OpenAI, Azure, Gemini, Bedrock e Anthropic.

Cenários de aplicação

Acesso multi-provedor a LLMs
Dê aos desenvolvedores acesso a modelos OpenAI, Azure, Gemini, Bedrock e Anthropic através de um único gateway.
Rastreamento de custos e chargebacks
Cobre com precisão as equipes pelo uso de LLMs, atribuindo custos a chaves, usuários, equipes ou organizações.
Gerenciamento de orçamento e limites de taxa
Defina orçamentos e limites de taxa (RPM/TPM) para controlar gastos e evitar uso excessivo.
Fallbacks de LLM
Roteie automaticamente as requisições para modelos alternativos se o provedor principal falhar ou estiver sobrecarregado.
Observabilidade e registro em log
Registre gastos no S3, GCS ou outro armazenamento, e integre com ferramentas de observabilidade como Langfuse, Arize Phoenix, Langsmith e OpenTelemetry.
Gerenciamento de prompts
Gerencie e formate prompts, incluindo suporte para modelos Hugging Face.
Controle de acesso empresarial
Use autenticação JWT, SSO e logs de auditoria para acesso seguro e governado a LLMs em grandes organizações.

Principais funcionalidades

Rastreamento de gastos
Atribua custos a chave/usuário/equipe/organização com rastreamento automático em OpenAI, Azure, Bedrock, GCP e outros provedores, além de rastreamento de gastos baseado em tags.
Orçamentos e limites de taxa
Defina orçamentos por chave ou por equipe e aplique limites de RPM/TPM para controlar o uso.
API compatível com OpenAI
Todas as requisições usam o formato OpenAI, então os desenvolvedores não precisam transformar entradas ou saídas entre provedores.
Fallbacks de LLM
Configure fallbacks automáticos para modelos alternativos se o provedor principal estiver indisponível.
Chaves virtuais e equipes
Crie chaves de API virtuais, gerencie equipes e atribua orçamentos em escala.
Guardrails de LLM
Aplique guardrails para filtrar ou modificar saídas de LLM para segurança e conformidade.
Suporte a API em lote
Processe múltiplas requisições em lote para maior eficiência.
Endpoints de passagem
Encaminhe requisições diretamente para os provedores subjacentes quando necessário.
Gerenciamento de prompts
Formate prompts para diferentes modelos, incluindo modelos Hugging Face, sem transformação manual.
Registro em log no S3
Registre todos os dados de gastos e uso no S3, GCS ou outro armazenamento em nuvem para auditoria.

Público-alvo

Equipes de plataforma e líderes de engenharia que precisam dar aos desenvolvedores acesso seguro e com controle de custos a múltiplos LLMs. Ideal para organizações que estão escalando de alguns desenvolvedores para centenas, especialmente aquelas que usam ambientes de alto volume como Netflix, Lemonade ou similares. Também útil para engenheiros de DevOps, MLOps e infraestrutura de IA que gerenciam a governança de LLMs.

Como usar o LiteLLM?

Implante o LiteLLM on-premises ou use a versão hospedada na nuvem. Os desenvolvedores interagem com ele através da API compatível com OpenAI, então podem chamar qualquer modelo suportado usando código familiar. Para configurações auto-hospedadas, siga a documentação de implantação no site oficial. A plataforma inclui um vídeo de demonstração para orientar sobre a configuração e os principais recursos.

Preços e teste gratuito

O plano Open Source é gratuito ($0) e inclui integrações com mais de 100 provedores de LLM, chaves virtuais, orçamentos, equipes, balanceamento de carga, limites RPM/TPM e guardrails de LLM. O plano Enterprise oferece implantação em nuvem ou auto-hospedada, suporte empresarial com SLAs personalizados, autenticação JWT, SSO e logs de auditoria. O preço do Enterprise está disponível mediante solicitação, com um teste de 30 dias.

Avaliação de eficácia

O LiteLLM é um gateway prático e testado em batalha para equipes que lidam com múltiplos provedores de LLM. As mais de 1 bilhão de requisições atendidas e os depoimentos positivos da Netflix e Lemonade confirmam que ele lida com cargas reais de produção. O formato compatível com OpenAI elimina o atrito de trocar de modelos, enquanto o rastreamento granular de custos e os controles de orçamento dão às equipes de plataforma a visibilidade necessária. Para organizações que já usam múltiplos LLMs, o LiteLLM remove muita sobrecarga operacional. O nível de código aberto é generoso, e o plano empresarial adiciona a segurança e o suporte que equipes grandes exigem. É uma escolha sólida para qualquer equipe que queira padronizar o acesso a LLMs sem ficar presa a um fornecedor.

Perguntas frequentes

O que é LiteLLM?

LiteLLM é um gateway de LLM da Berri AI que fornece uma API unificada no formato OpenAI para gerenciar autenticação, balanceamento de carga e rastreamento de gastos em mais de 100 modelos de linguagem.

Quais LLMs o LiteLLM suporta?

O LiteLLM suporta mais de 100 LLMs, incluindo OpenAI, Anthropic, Cohere, Hugging Face e muitos outros, todos acessíveis através de um único endpoint.

Como o LiteLLM lida com balanceamento de carga?

O LiteLLM distribui automaticamente as solicitações entre vários modelos ou provedores com base em regras configuráveis, garantindo alta disponibilidade e desempenho ideal.

O LiteLLM pode rastrear gastos com API?

Sim, o LiteLLM fornece rastreamento e registro de gastos integrados, permitindo monitorar o uso e os custos em todos os modelos e usuários em tempo real.

O LiteLLM é compatível com código OpenAI existente?

Sim, o LiteLLM usa o formato OpenAI, então você pode substituir a URL base no seu código existente pelo endpoint do LiteLLM sem alterar a lógica da aplicação.

O LiteLLM oferece gerenciamento de autenticação?

Sim, o LiteLLM inclui recursos de gerenciamento de autenticação, como validação de chave de API, controle de acesso por usuário e limitação de taxa para proteger o uso do LLM.