A Amazon Web Services (AWS) publicou em 18 de setembro de 2026 um balanço das 13 capacidades de inferência que o Amazon SageMaker AI lançou no acumulado do ano, divididas em dois caminhos de implantação: endpoints totalmente gerenciados e o SageMaker HyperPod Inference. O levantamento oficial percorre desde recomendações automáticas de inferência até pools de instâncias com consciência de capacidade, cache KV em camadas e separação das fases de prefill e decode.
Dois caminhos de implantação, critérios claros
A AWS sustenta que a inferência de IA generativa é um problema à parte. Os modelos ocupam de dezenas a centenas de gigabytes.
As exigências de latência são medidas em tokens por segundo. Cold starts podem passar de vários minutos, a capacidade de GPU é restrita e as ferramentas tradicionais de monitoramento não expõem sinais no nível do token.
Diante desse cenário, o SageMaker AI permite consumir modelos por instância, e não por token.
A comparação apresentada pela empresa opõe os endpoints gerenciados ao HyperPod em sete dimensões. Nos endpoints, a infraestrutura é totalmente administrada pela AWS.
A implantação acontece por console, SDK ou CLI. O escalonamento automático é gerenciado com o Amazon CloudWatch e a API é compatível com o padrão OpenAI.
No HyperPod, a base é um stack Kubernetes gerenciado, com kubectl, Terraform, console, CLI e SDK. O escalonamento usa Karpenter, KEDA e CloudWatch.
Há acesso no nível do nó, escolha de frameworks e AMI, além de HTTP, gRPC e capacidade de load balancer customizado.
Recomendações de inferência: semanas de teste viram processo automático
Entre os destaques do ano está o lançamento de abril de 2026 das recomendações de inferência.
Segundo a AWS, escolher tipo de instância, contêiner de serving e configurações de otimização costuma consumir de duas a três semanas de benchmarking manual sobre mais de mil combinações. Poucas equipes conseguem manter esse esforço internamente.
O cliente informa o modelo e a Meta de desempenho — custo, latência ou throughput, e o serviço executa três etapas.
Na primeira, chamada de narrow, o espaço de tipos de instância é filtrado a partir da arquitetura, do tamanho e dos requisitos de memória do modelo.
Na segunda, optimize, entram técnicas alinhadas ao objetivo, como decodificação especulativa EAGLE 3.0 para throughput, ajuste de kernel para latência e paralelismo de tensores conforme o porte do modelo.
Na terceira, benchmark, roda o NVIDIA AIPerf em infraestrutura real de GPU, com relatórios de confiança baseados em múltiplas execuções.
O resultado é um SageMaker Model Package com configurações prontas para implantação e métricas validadas: tempo até o primeiro token (TTFT), latência entre tokens (ITL), percentis P50, P90 e P99, throughput e projeção de custo.
Em um exemplo demonstrado com o modelo GPT-OSS-20B, a otimização de throughput entregou o dobro de tokens por segundo mantendo a mesma latência de requisição. A geração das recomendações não tem custo adicional, e clientes com ML Reservations podem fazer o benchmark na capacidade reservada sem cobrança extra.
Capacidade, cache e roteamento
No caminho dos endpoints gerenciados, o balanço menciona ainda os pools de instâncias com consciência de capacidade, apresentados em maio de 2026. A lista inclui compatibilidade com a API OpenAI, cache de contêineres, observabilidade, payloads inline na inferência assíncrona e roteamento com consciência de prefixo.
Já no HyperPod Inference, a lista inclui o operator simplificado, cache KV em camadas, captura de dados, recursos de desempenho, prefill e decode disagregados e cache de modelos.
Por que isso importa
A decisão entre os dois caminhos define o dia a dia das equipes. Os endpoints atendem quem quer implantação rápida e pouca sobrecarga operacional, deixando provisionamento de GPU, escalonamento e monitoramento com a AWS.
O HyperPod faz sentido para organizações que precisam de controle nativo de Kubernetes, acesso ao nível do nó e cenários de treino-para-serviço ou de nuvem múltipla e híbrida.
O volume de lançamentos em nove meses, 13 capacidades entre abril e setembro de 2026, reflete a pressão de custo e de escassez de GPU sobre a operação de modelos generativos.
Recurso como as recomendações automáticas ataca justamente o gargalo de decidir, sem tentativa e erro prolongado, qual configuração entrega o melhor equilíbrio entre custo, latência e throughput.
