A LangChain anunciou em 22 de outubro de 2026 a abertura do beta público do LangSmith LLM Gateway. É uma camada de governança entre agentes de IA e os modelos que eles chamam.
A proposta é reunir em um único ponto controles hoje reescritos no código de cada agente: tetos de gasto, limites de requisições, fallback entre modelos e remoção de dados sensíveis antes da chamada ao provedor.
O problema que o gateway tenta resolver
Em produção, a camada de modelos vira fonte de prejuízo e de indisponibilidade para o cliente em pouco tempo. A LangChain cita dois cenários típicos.
O provedor sofre uma queda e o agente de atendimento passa a devolver erros. A falha gera frustração e perda de receita.
Um agente de programação entra em laço de repetição durante a madrugada. Pela manhã, acumula 10 mil chamadas de LLM e uma fatura de quatro dígitos.
Nos dois casos, entender o ocorrido depois do fato não basta. É preciso aplicar políticas antes que a violação aconteça.
Quando os controles ficam embutidos no código de cada agente, cada novo agente ou provedor adiciona mais uma via de implementação para manter.
Quatro frentes de controle
O produto organiza os controles em frentes complementares.
A primeira é o custo. É possível definir tetos com janela de tempo e acompanhar o gasto em quatro níveis: organização, workspace, chave de API e usuário.
Quando um limite é atingido, o agente recebe uma resposta 402 com erro explícito, em vez de continuar consumindo.
A segunda é o tráfego. Limites de requisição nos mesmos quatro níveis evitam picos acidentais ou abuso.
Esses casos podem sobrecarregar os limites do provedor e degradar a confiabilidade de outros agentes ou times.
Para ambientes multi-inquilino e revendedores, a LangChain oferece políticas por cliente sem exigir chaves de API específicas por cliente. Um cabeçalho customizado na requisição identifica cada cliente final ou time.
O gateway aplica tetos de gasto e limites de requisição separados, ainda que todas as chamadas passem por uma única chave de API.
Limites e gastos podem ser conferidos e atualizados em um só lugar. A equipe não precisa construir e manter essa lógica.
Confiabilidade e dados sensíveis
A terceira frente é a resiliência. A empresa permite definir regras de fallback entre modelos e hosts e aplicá-las a todas as aplicações.
Se um provedor estiver fora do ar, com limite excedido ou indisponível
