A AWS publicou em 18 de setembro de 2026 um balanço das capacidades de inferência adicionadas ao Amazon SageMaker AI ao longo de 2026. Foram 13 lançamentos distribuídos em dois caminhos de implantação.
O primeiro são os endpoints totalmente gerenciados, em que a AWS responde pelo provisionamento de GPU, escalonamento e monitoramento operacional. O segundo é o Amazon SageMaker HyperPod Inference, voltado a equipes que exigem controle nativo de Kubernetes sobre clusters de GPU dedicados.
Segundo a empresa, o material serve tanto para empresas de grande porte quanto para startups e o setor público.
Dois caminhos, dois perfis de equipe
A comparação apresentada pela AWS organiza as duas rotas em sete dimensões.
Nos endpoints, a infraestrutura é totalmente gerenciada. O deploy é feito por console, SDK ou CLI.
O escalonamento automático é gerenciado com o Amazon CloudWatch, e o protocolo de API é compatível com o padrão OpenAI. A personalização ocorre nas camadas de contêiner e de modelo.
É a opção indicada para quem quer colocar um modelo em produção rapidamente com o mínimo de sobrecarga operacional.
No HyperPod Inference, o alvo é um stack Kubernetes gerenciado, com deploy via kubectl, Terraform, console, CLI e SDK. O escalonamento fica por conta de Karpenter, KEDA e CloudWatch, além de acesso no nível do nó, escolha de frameworks e de AMI.
A API aceita HTTP, gRPC e a possibilidade de um load balancer customizado. O perfil apontado pela AWS é o de deployments baseados em Kubernetes, cenários de treino-a-serviço e ambientes multinuvem ou híbridos.
Recomendações de inferência automatizam o benchmark
O lançamento de abril de 2026 ataca um gargalo conhecido. Escolher tipo de instância, contêiner de serving e ajustes de otimização para um modelo generativo costuma consumir de duas a três semanas de benchmark manual sobre mais de mil combinações possíveis.
Poucas equipes têm esse conhecimento internamente.
As recomendações de inferência automatizam esse percurso em três etapas. A primeira estreita o espaço de instâncias com base na arquitetura, no tamanho e nos requisitos de memória do modelo.
A segunda otimiza com técnicas alinhadas ao objetivo, como decodificação especulativa EAGLE 3.0 para throughput, ajuste de kernels para latência e paralelismo de tensores conforme o tamanho do modelo. A terceira mede com o NVIDIA AIPerf em infraestrutura real de GPU, com relatórios de confiança baseados em múltiplas execuções.
A saída é um SageMaker Model Package com configurações prontas para deploy e métricas validadas: tempo até o primeiro token (TTFT), latência entre tokens (ITL), percentis P50, P90 e P99, throughput e projeção de custo. Em um exemplo demonstrado, a otimização de throughput no GPT-OSS-20B entregou o dobro de tokens por segundo com a mesma latência de requisição.
A geração de recomendações não tem custo adicional, e clientes com ML Reservations podem rodar os benchmarks na capacidade reservada sem cobrança extra.
Capacidade, integração e observabilidade
O outro lançamento com data explícita é o de pools de instâncias com reconhecimento de capacidade, em maio de 2026, que trata da alocação automática de recursos em um cenário de GPU restrita.
Ao longo do ano, os endpoints também receberam API compatível com o padrão OpenAI, cache de contêineres, recursos de observabilidade e simplificação da inferência assíncrona com payloads inline. Juntas, as entregas atacam três frentes distintas.
Aproveitar melhor a capacidade disponível, encurtar o tempo de subida de novos contêineres e dar visibilidade a sinais de nível de token que ferramentas tradicionais de monitoramento não expõem.
HyperPod aposta em cache e desagregação
No caminho Kubernetes, a lista inclui roteamento com consciência de prefixo, um operador simplificado, cache KV em camadas, captura de dados, recursos de desempenho, cache de modelos e prefill e decodificação desagregados para o HyperPod Inference.
A combinação é relevante porque as duas fases do trabalho de um modelo generativo passam a ser tratadas separadamente, enquanto o cache em camadas reduz recomputação de contexto. Prefix-aware routing e cache de modelos miram justamente os dois fatores que mais pesam em produção: latência percebida e tempo de inicialização.
Por que isso importa
Modelos generativos têm dezenas a centenas de gigabytes, exigências de latência medidas em tokens por segundo, inicializações que podem levar minutos e restrições de capacidade de GPU.
A AWS aposta em dois modelos de consumo, por instância e não por token, e em camadas de automação que reduzem o trabalho de engenharia necessário para escolher configurações. Para equipes que já operam Kubernetes e querem levar o mesmo ambiente do treino para a inferência, o HyperPod concentra os lançamentos de desempenho.
Para quem prefere delegar a operação, os endpoints seguem como o caminho mais curto entre o modelo e a produção.
