AWS lança skill de cache KV distribuído para LLMs auto-hospedados

AWS lança skill de cache KV distribuído para LLMs auto-hospedados

A Amazon Web Services (AWS) detalhou em 20 de novembro de 2026 uma nova skill do Agent Toolkit for AWS dedicada a cache KV distribuído para modelos de linguagem auto-hospedados. O recurso orienta agentes de programação a diagnosticar, dimensionar e configurar uma camada de cache compartilhada com o Amazon ElastiCache ao lado do parque de GPUs — e, segundo a empresa, esse arranjo pode reduzir o custo de inferência em até 40% e o tempo até o primeiro token (TTFT) em até 80%.

O custo invisível de recalcular o mesmo contexto

O ponto de partida é um problema conhecido de quem opera LLMs em infraestrutura própria: cada servidor mantém um cache local pequeno e isolado, incapaz de guardar ou compartilhar o contexto crescente que agentes e aplicações de chat reenviam a cada turno. Quando uma requisição cai em outra máquina, ela precisa refazer o prefill, o cálculo dos estados de atenção chave-valor (KV) para todos os tokens anteriores, antes de escrever a primeira palavra.

A AWS ilustra com um assistente jurídico que acumula centenas de milhares de tokens de histórico de um caso. Se o advogado retoma a conversa depois do almoço e a requisição é atendida por um servidor que não tem esse histórico em memória, a resposta pode levar minutos.

O mesmo padrão afeta agentes de código retomados, assistentes agênticos e sistemas de perguntas e respostas sobre documentos. O cache KV distribuído estende os caches locais das GPUs com um nível compartilhado, de modo que qualquer servidor reutilize estado por dias, atravessando sessões, mudanças de roteamento e falhas de máquina.

Quatro conversas e uma verificação antes do gasto

Segundo a publicação, a skill opera com Kiro, Claude Code, OpenAI Codex e outros agentes que suportam Agent Skills, e conduz o usuário por quatro conversas típicas: diagnosticar um primeiro token lento, dimensionar e precificar o cache, configurar o ambiente e corrigir uma transferência que falhou.

Antes de qualquer mudança, o agente faz uma checagem de aderência. Ele lê o parque de GPUs com uma chamada describe-instances somente de leitura e conta as interfaces Elastic Fabric Adapter (EFA); depois pergunta apenas o que não consegue observar, engine, modelo, tamanho de tensor parallelism (TP), tipo de dado KV, preço do servidor e frequência com que os prompts se repetem.

Se algo não se encaixa, ele para e explica.

O dimensionamento sai do tráfego real do cliente. Em prompts curtos, carregar o estado KV pode demorar mais do que recalculá-lo; acima de certo comprimento de prompt, o ponto de corte, a leitura compensa.

Esse ponto de corte, combinado à taxa de repetição dos prompts, define se o cache paga o próprio preço. A estimativa é feita com a ferramenta KVTrace, sem custo adicional, e o agente interrompe o processo se a economia não cobrir o custo do cache.

Cada número apresentado indica sua origem.

Configuração reaproveita o que já está no ar

Na parte de implantação, a skill adiciona o conector LMCache ao engine vLLM ou SGLang já existente, incluindo workers vLLM sob frameworks de serving como LLM-d e Ray Serve, preservando o roteamento e as configurações do engine. Os servidores do parque passam a usar um único mecanismo de identificação de KV (hash e seed) e um tipo de dado KV explícito, o que evita incompatibilidade de chaves, situação em que cada máquina grava um estado que as outras não conseguem encontrar.

A skill também incorpora boas práticas de validação: antes do tráfego de produção, esvazia as camadas locais e confere que duas execuções com cache carregado produzem a mesma saída, já que um desalinhamento de layout pode gerar contadores de acerto saudáveis e respostas erradas. Operações de alto impacto, como criar, alterar ou excluir recursos, exigem aprovação explícita.

Requisitos

O fluxo completo, da estimativa à configuração, pede um agente de programação compatível com Agent Skills; instâncias de GPU com suporte a escrita EFA RDMA, como as p5; LMCache 0.5.8rc1 ou superior e vLLM 0.11.1 ou superior (ou SGLang 0.5.13 ou superior); e ElastiCache for Valkey 9.1 ou superior em nós cache.i8ge.48xlarge, caso a instalação do cache seja feita. Os detalhes técnicos e os benchmarks estão no anúncio do cache distribuído, e o código da skill está público no repositório do Agent Toolkit.

Por que isso importa

Para quem opera LLMs em GPUs próprias, o gargalo raramente está no custo do hardware parado, mas no trabalho redundante que ele executa. Transformar estado KV em um recurso compartilhado muda a economia de aplicações conversacionais de contexto longo, justamente o formato dominante de assistentes agênticos, e reduz a latência percebida em retomadas de sessão.

A abordagem também desloca parte da decisão para o agente de programação, que passa a avaliar viabilidade técnica e financeira antes de provisionar infraestrutura.

Fontes e links

Matéria publicada originalmente em AWS

Últimas Notícias

Chess.com amplia plataforma com 10 jogos clássicos e beta público
Chess.com amplia plataforma com 10 jogos clássicos e beta público
AWS lança skill de cache KV distribuído para LLMs auto-hospedados
AWS lança skill de cache KV distribuído para LLMs auto-hospedados