Amazon Bedrock: cache de prompt corta custo de tokens em até 90%

Amazon Bedrock: cache de prompt corta custo de tokens em até 90%

A Amazon Web Services (AWS) publicou em 15 de setembro de 2026 um guia técnico que detalha o funcionamento do prompt caching no Amazon Bedrock, recurso de infraestrutura criado para reaproveitar partes do contexto já processadas por modelos de fundação. Segundo a companhia, a abordagem reduz o custo dos tokens de entrada em até 90% quando o mesmo conteúdo é enviado repetidamente ao modelo, além de diminuir o tempo até o primeiro token (TTFT, na sigla em inglês).

O material interessa diretamente a equipes que trabalham com documentos longos, fluxos agênticos e aplicações multilocatário.

Sem cache, o cenário é caro. Um contrato de 10 mil tokens enviado junto com 50 perguntas de usuários representa 500 mil tokens de entrada cobrados a preço cheio.

Boa parte do conteúdo já tinha sido processada antes. A AWS lista as alternativas tradicionais e seus limites.

Encurtar prompts reduz a contagem de tokens, mas pode piorar a qualidade do contexto. Diminuir a janela de contexto barateia a conta ao custo da capacidade de raciocínio sobre a informação completa.

O cache de respostas funciona bem para consultas idênticas, mas não ajuda quando o mesmo contexto é combinado com perguntas diferentes.

Como funciona o cache de prompt

O mecanismo usa um marcador chamado cachePoint, inserido na requisição. Quando o Bedrock identifica que o conteúdo anterior ao marcador coincide com uma entrada já existente, ocorre um cache hit.

O modelo pula o reprocessamento daqueles tokens e começa a geração a partir do estado armazenado. Se não houver correspondência, um cache miss, todo o conteúdo é processado e o resultado é gravado no cache para usos futuros.

O fluxo descrito pela AWS mostra a primeira requisição escrevendo no cache e a segunda lendo dele, com redução simultânea de TTFT e de custo.

Quatro conceitos definem o comportamento prático. O escopo do cache é limitado a cada conta AWS e a cada região.

Cada ponto de cache precisa atingir um mínimo de tokens para ser ativado. Modelos Anthropic Claude Sonnet 4.5 e Sonnet 4.6 exigem pelo menos 1.024 tokens por checkpoint, enquanto os modelos Opus pedem 4.096.

O tempo de vida (TTL) padrão é de 5 minutos, com alguns modelos chegando a 1 hora. A sintaxe do cachePoint na Converse API é idêntica entre as famílias suportadas, incluindo Anthropic Claude e Amazon Nova.

Preços e economia

O recurso cria duas categorias de tokens além dos tradicionais de entrada e saída. Os cacheWriteInputTokens, gravados na primeira requisição, custam 25% mais que a entrada padrão.

Já os cacheReadInputTokens, lidos nas chamadas seguintes, saem 90% mais baratos.

Para quem opta pelo TTL de 1 hora, a escrita fica 100% mais cara, o dobro do preço padrão, segundo a tabela de preços do Amazon Bedrock.

Na prática, cargas de trabalho com contexto repetido alcançam economia de aproximadamente 75% nos custos de tokens de entrada. No exemplo da AWS, um documento de 10 mil tokens acompanhado de 10 perguntas diferentes paga a escrita no primeiro pedido e, nas nove requisições restantes, lê do cache com desconto de 90%.

A conta só fecha se todas as chamadas ocorrerem dentro da janela de TTL definida.

Seis cenários práticos

O guia percorre seis aplicações com a Converse API, do básico ao avançado. Cache de conteúdo de mensagem, para analisar documentos longos com várias perguntas.

Cache de system prompt, para reaproveitar definições de persona e instruções entre conversas.

Cache de definição de ferramentas, voltado a fluxos com agentes. Cache com TTL misto, que atribui tempos de vida diferentes a camadas distintas de conteúdo.

Isolamento por locatário, para separar caches em aplicações multilocatário. Integração com o framework LangChain.

Por que isso importa

O custo de entrada é um dos principais gargalos econômicos de aplicações generativas em produção, especialmente em arquiteturas de recuperação de informação que reenviam grandes blocos de contexto a cada pergunta. Ao atuar na camada de infraestrutura, o prompt caching evita a escolha entre qualidade de contexto e conta baixa.

Para equipes que já usam o Bedrock, a adoção depende de estimar a taxa de acerto do cache. Como a escrita custa mais que a entrada comum, o ganho só aparece quando o mesmo prefixo é reutilizado várias vezes dentro do TTL.

A AWS recomenda consultar a documentação de prompt caching do Amazon Bedrock para verificar o suporte mais recente a modelos, já que os limites de tokens por checkpoint e os tetos de TTL variam entre famílias.

Fontes e links

Matéria publicada originalmente em AWS

Últimas Notícias

Gusto, Insight e Leland debatem agentes de IA em startups
OpenAI e AARP levam oficina gratuita de ChatGPT a 1.000 idosos
Suleyman alerta contra 'bem-estar de modelos' e direitos à IA
OpenAI lança framework para reportar desalinhamento de modelos