O AscendGYM desloca o foco dos testes de kernel em NPUs Ascend. O benchmark foi proposto pelo AI Training Platform Team e por um grupo extenso de pesquisadores.
A lista inclui Bingwei Zhang, Jing Li, Amir Abdullin e Haizhou Li.
Em vez de pedir que um modelo escreva um kernel do zero, o AscendGYM entrega uma implementação já correta. Mede se um agente consegue torná-la mais rápida sob as formas de tensor e os tipos de dados que aparecem em cargas reais de treino e inferência.
A contribuição é dupla: 48 tarefas com casos de teste extraídos de workloads reais e a métrica Speedup-Token Score (STS). A STS coloca ganho de velocidade e gasto de tokens no mesmo denominador.
Segundo os autores, boa parte das combinações modelo-harness avaliadas na primeira leva de tarefas não conseguiu ganhos expressivos. Isso sustenta a tese de que otimizar código existente é um problema distinto de gerar código novo.
O que os autores propõem
O artigo organiza a contribuição em três eixos. O primeiro é o conjunto de tarefas: 48 kernels divididos em três níveis de dificuldade.
Cada um vem pareado com casos de teste cujos tipos de dados, formas de tensor e parâmetros computacionais foram coletados de tarefas reais de treinamento e inferência.
A promessa metodológica é que um ganho medido no AscendGYM se traduza diretamente no workload correspondente. O contexto de execução é preservado junto com o caso de teste: modelo-alvo, fase de execução, hardware e grau de paralelismo.
O segundo eixo são duas modalidades de avaliação. Na avaliação de modelo, o benchmark oferece um harness embutido com orquestração de busca e acúmulo de experiência.
Isso permite comparar modelos em condições controladas.
Na avaliação de modelo-harness, o objeto medido é o sistema completo, incluindo agentes customizados. O desenho reconhece que boa parte do desempenho em otimização vem da estratégia de busca, não apenas do modelo de base.
O terceiro eixo é o STS, a métrica que os autores apresentam como central. Ela combina o ganho de desempenho obtido dentro de um orçamento definido com o consumo cumulativo de tokens em cada melhoria registrada.
A justificativa é direta: dois sistemas podem chegar ao mesmo speedup final, mas um deles pode gastar uma ordem de magnitude mais inferências para isso. Os autores também reportam separadamente as métricas de desempenho, consumo de recursos e corretude.
A separação distingue o ganho obtido, o custo pago e se a implementação candidata passou na validação.
A página do projeto e o repositório público acompanham o relatório técnico de 20 páginas, com 12 figuras e 2 tabelas.
Contexto: qual problema está sendo atacado
A literatura de benchmarks de kernel é dominada por tarefas de geração. KernelBench (Ouyang et al., 2025) parte de programas PyTorch e pede kernels semanticamente equivalentes.
TritonBench (Li et al., 2025a) restringe o alvo a Triton. MultiKernelBench (Wen et al., 2025) estende a avaliação a múltiplas plataformas de hardware.
No ecossistema Ascend, NPUKernelBench (Cao et al., 2026) fornece descrições funcionais, requisitos de entrada e saída e templates a serem completados. CANN Bench (Gao et al., 2026) traz especificações de operadores, casos de teste, implementações de referência e baselines de desempenho.
O problema é que gerar e otimizar não são a mesma habilidade. Em produção, o engenheiro raramente parte de uma folha em branco.
Ele recebe um kernel que já compila e já produz o resultado certo. Precisa descobrir, sob uma configuração de entrada específica, onde está o gargalo e como reescrever o código sem quebrar a semântica.
Alguns trabalhos já atacam esse recorte. A avaliação da AMD sobre kernels Triton existentes (Wang et al., 2025) é um deles.
O PRAGMA (Lei et al., 2025) integra feedback de execução e profiling ao laço de raciocínio. O AutoKernel (Jaber & Jaber, 2026) perfilа o modelo para priorizar kernels gargalo.
Do lado da relevância prática, SOL-ExecBench (Lin et al., 2026), Atrex-Bench (Yang et al., 2026) e FlashInfer-Bench (Xing et al., 2026) mostram como ancorar tarefas em traços reais de execução.
A lacuna que o AscendGYM declara preencher é a combinação específica: otimização de implementações existentes, em NPUs Ascend, com configurações de entrada vindas de workloads reais e um protocolo explícito de orçamento.
Como funciona
A seleção de tarefas prioriza kernels que são gargalo em workloads reais. O exemplo detalhado no artigo é o AddRMSNorm, que captura a soma residual seguida de normalização RMS no forward do Qwen3-0.6B (Yang et al., 2025) em inferência.
A configuração é fase de prefill, sem quantização, execução eager, uma única NPU, TP 1, BF16, batch size 1 e comprimento de sequência de 32 tokens.
O profiling desse workload mostra 56 invocações por forward. Elas correspondem a 8,77% do tempo total de computação e figuram entre os cinco kernels de maior tempo acumulado.
O ambiente de execução é o AscendForge, descrito em quatro camadas. A camada de execução e build suporta backends Ascend C e Python NPU, com adaptadores para os repositórios CANN (ops_math, ops_cv, ops_nn, ops_transformer).
Também inclui um template de build para kernels customizados e integração com o vLLM Ascend. Ela automatiza submissão de código, compilação, instalação, binding de interface Python e execução de testes.
A camada de orquestração de recursos gerencia requisições via proxy de agendamento, filas de tarefas e múltiplos nós de execução. A alocação segue número de NPUs, modelo de dispositivo e preferências de nó, com reservas e balanceamento de carga para avaliação concorrente.
A camada de feedback de desenvolvimento integra análise estática e informação de desempenho. A camada de implantação e operações fecha o ciclo.
O AscendForge é construído sobre o SandboxFusion (Cheng et al., 2024) e adiciona adaptadores que gerenciam dependências entre registro no host, kernel no dispositivo, SoC-alvo e pacotes de kernel customizados.
O fluxo de avaliação é o de sempre: compilar o candidato, verificar corretude sob as condições de validação, medir latência e comparar com a implementação inicial na mesma configuração de entrada. O diferencial é que cada execução retorna feedback programaticamente acessível e as trajetórias de otimização ficam registradas.
Isso permite tanto a iteração do agente quanto a auditoria posterior dos resultados. O repositório disponibiliza o código.
A progressão dos lotes segue a dificuldade. O Batch 1 concentra otimização de acesso à memória em kernels básicos.
O Batch 2 cobre computações em múltiplos passos, como normalização e quantização. O Batch 3 mira mecanismos de atenção complexos e computações fundidas, incluindo atenção esparsa.
Resultados reportados
Este relatório avalia apenas as 17 tarefas do Batch 1. Os autores submeteram múltiplos modelos líderes, pareados com harnesses comumente usados, ao conjunto completo.
Relatam que uma parcela relevante das combinações avaliadas alcançou speedups de média geométrica abaixo de um patamar que consideram baixo. Na leitura deles, isso é sinal de que melhorias substanciais sobre implementações existentes em ampla gama continuam difíceis.
Os valores numéricos exatos dessa passagem não estão preservados no material disponibilizado a esta editoria. O relatório completo no arXiv traz os números.
Além do agregado, o artigo apresenta trajetórias de ganho sob diferentes orçamentos. O argumento é que speedup final isolado não caracteriza o comportamento de otimização.
Dois sistemas podem empatar no resultado e divergir radicalmente em custo, em número de tentativas até a primeira melhoria e em estabilidade da corretude ao longo da busca. É esse conjunto de evidências que os autores usam para justificar o STS como métrica primária e a separação entre desempenho, custo e corretude nos relatórios.
Limitações e o que não foi provado
A primeira limitação é de cobertura: 17 das 48 tarefas têm resultados reportados. Os Batches 2 (17 kernels) e 3 (14 kernels) ficam para atualizações futuras.
O Batch 1 é justamente o de kernels básicos com foco em acesso à memória. As conclusões sobre atenção fundida e atenção esparsa, onde o potencial de ganho costuma ser maior, ainda não existem.
A segunda é de escopo de hardware. Todo o aparato depende do CANN e do AscendForge.
Os resultados não se transferem automaticamente para GPU, e a comparação com benchmarks como KernelBench ou TritonBench é, na melhor das hipóteses, qualitativa.
A terceira é de granularidade. O benchmark mede latência de kernel sob configurações específicas.
Os próprios autores mostram, no exemplo do AddRMSNorm, que o kernel responde por 8,77% do tempo. Ou seja, mesmo um ganho grande ali produz efeito diluído no tempo de forward.
O artigo não demonstra ganho end-to-end de workload, e não afirma fazê-lo.
A quarta é a validade dos casos de teste como proxy de corretude. Passar nos casos fornecidos não prova equivalência semântica geral.
A especialização por forma de tensor é justamente o comportamento que a métrica de speedup recompensa. Não há, no material, evidência de resistência a overfitting de shape.
O STS depende de contagem de tokens, que varia com tokenizador e com política de prompt dos harnesses. Comparações entre modelos de famílias diferentes exigem cautela que o resumo disponível não detalha.
Por que isso importa para quem constrói com IA
Custo de inferência é, em última instância, custo de kernel. Quem opera modelos em escala paga por latência de operador, e a diferença entre uma implementação mediana e uma bem ajustada aparece na fatura.
Benchmarks que medem apenas geração de código tendem a superestimar a utilidade prática. O código gerado raramente é o código que roda, e o trabalho real está em ajustar o que já existe.
Para o ecossistema brasileiro, há duas lições. A primeira é operacional: à medida que alternativas de hardware ganham espaço em nuvens públicas, ferramentas de avaliação específicas de Ascend deixam de ser curiosidade e passam a ser infraestrutura de decisão.
Saber se um agente consegue extrair desempenho de kernels CANN é parte de avaliar o custo total de uma stack.
A segunda é metodológica. O STS formaliza algo que muitos times já intuem: gastar 500 mil tokens para ganhar 4% de velocidade é um mau negócio.
A métrica transforma essa intuição em número auditável. A separação entre ganho, custo e corretude é um desenho de avaliação que vale para muito além de kernels.
Referências
AI Training Platform Team; ZHANG, Bingwei; LI, Jing; ABDULLIN, Amir; CHEN, Sihang; CHEN, Xin; FENG, Liangjun; GAO, Yingmeng; GUO, Tao; HUANG, Junjie; LI, Dongfang; LIN, Zhanglian; LIU, Jiajun; LIU, Zekun; LU, Zhengxuan; LUO, Xiaodong; MENG, Jian; NOSOV, Ivan; QIU, Linyuan; SUN, Weijian; YAN, Wanrui; ZHENG, Binfan; ZHOU, Zhicheng; HU, Baotian; ZHANG, Min; LI, Haizhou; LUO, Zhiquan. AscendGYM: A Cost-Aware Kernel Optimization Benchmark for Real-World Workloads on Ascend NPUs. arXiv:2611.17621, 2026. Technical Report, 20 páginas.
Trabalhos citados pelos autores no enquadramento: KernelBench (OUYANG et al., 2025); TritonBench (LI et al., 2025a); MultiKernelBench (WEN et al., 2025); NPUKernelBench (CAO et al., 2026); CANN Bench (GAO et al., 2026); avaliação de kernels Triton existentes em GPUs AMD (WANG et al., 2025); PRAGMA (LEI et al., 2025); AutoKernel (JABER; JABER, 2026); SOL-ExecBench (LIN et al., 2026); Atrex-Bench (YANG et al., 2026); FlashInfer-Bench (XING et al., 2026); SandboxFusion (CHENG et al., 2024); Qwen3-0.6B (YANG et al., 2025); vLLM Ascend (vLLM Ascend Contributors).




