O artigo "Multiscale Policy Optimization for Long-Horizon LLM Agents" tem 21 autores, entre eles Tao Ren, Hui Yang, Jia Deng e Tingyang Chen. O ponto de partida é uma observação empírica incômoda para quem treina agentes com aprendizado por reforço. O valor estimado pelo crítico varia muito mais entre turnos de interação do que dentro deles.
Os autores propõem o MPO (Multiscale Policy Optimization). O método combina uma estimativa de vantagem em múltiplas escalas (MAE) com importance sampling no nível do turno completo.
Os ganhos relatados são consistentes sobre baselines fortes de RL em tarefas de busca, uso de ferramentas e automação, com modelos de 4B e 30B-A3B.
O trabalho está disponível como preprint no arXiv 2610.35013. Não há, no material informado, página de projeto, código ou veículo de publicação associado.
O que os autores propõem
O MPO combina dois componentes que precisam andar juntos. O primeiro é a Multiscale Advantage Estimation (MAE).
Ela propaga crédito entre turnos por meio de GAE aplicado a um "eixo de tempo macro", em que cada interação completa, e não cada token, é o passo.
Depois, o MAE refina a distribuição de crédito entre os tokens do turno com uma correção local centrada. A correção preserva a média do turno.
Os autores derivam essa alocação como uma projeção com restrição, usando um único crítico, e não dois.
O segundo componente é o importance sampling no nível do turno. A atualização usa a razão de probabilidade do turno completo.
O gradiente mantém a vantagem MAE específica de cada token por meio de uma construção com stop-gradient.
A intenção declarada é alinhar a escala em que o crédito é atribuído à escala em que a política é corrigida, sem apagar as distinções locais entre tokens. Os autores listam três contribuições: a análise de melhoria de política nas duas escalas, o método em si e a avaliação empírica.
Contexto: qual problema está sendo atacado
Um agente LLM interage com o ambiente por turnos completos: uma query de busca, uma chamada de ferramenta, uma resposta final. A política, porém, gera cada turno token a token.
Existem duas famílias de métodos de RL e, segundo os autores, ambas deixam uma lacuna entre essas escalas.
Os métodos sem crítico e relativos a grupo (GRPO, DAPO, GSPO) derivam uma única vantagem compartilhada por sequência. Essa vantagem vem de recompensas de resultado comparadas dentro de um grupo.
Apesar das diferenças nos objetivos de atualização, o sinal não distingue a contribuição de turnos ou tokens individuais dentro de um rollout.
Os métodos com crítico e no nível do token (PPO, VC-PPO, VAPO, SAO) tratam cada token gerado como ação. Isso dá crédito mais fino, mas sem separar explicitamente a geração intra-turno da interação com o ambiente.
A justificativa empírica vem da Figura 2 do paper. Os dados são 2.048 trajetórias e 16.323 turnos, coletados de oito lotes de checkpoint de um único treino de agente de busca.
As diferenças entre médias de turno respondem por uma mediana de 89,5% da variância de valor do crítico ponderada por token dentro da trajetória. A variância entre turnos supera a variância intra-turno em 93,8% das trajetórias.
É esse padrão que motiva propagar crédito de longo alcance entre turnos sem descartar informação local dos tokens.
Como funciona
A formalização trata o turno completo como ação macro e mantém o histórico como estado. A mesma política é fatorada autoregressivamente nos dois níveis.
O Lemma 1 (consistência do objetivo) mostra que as descrições macro e token têm o mesmo retorno esperado, sob refinamento de tokens sem perda e mesmas regras de recompensa e parada. Isso permite comparar surrogates construídos em escalas diferentes.
O Lemma 2 estabelece a diferença de performance no nível macro e introduz a razão de importance sampling do turno completo. O Theorem 1 fornece um limite de melhoria monotônica na escala do turno.
Nele, um ganho de surrogate não negativo precisa cobrir a penalidade de mudança de distribuição em distância de variação total para certificar não-decréscimo do retorno.
O Theorem 2 é o resultado mais interessante tecnicamente. Ao substituir o surrogate macro por termos token a token, surge um termo extra de penalidade associado ao deslocamento de distribuição dentro do turno.
A razão é que a vantagem macro exata se telescopa em vantagens de token exatas. O surrogate macro, porém, as média sobre prefixos gerados pela política nova, enquanto o surrogate token-level usa prefixos da política antiga.
A isso se soma a regra da cadeia para KL. Um teto uniforme de KL por token implica um orçamento de KL macro, mas o bound token-level carrega uma penalidade adicional.
Na implementação, a soma dos resíduos de diferença temporal dentro de um turno cancela todas as previsões internas de valor. Aplicar GAE sobre esse eixo macro faz o crédito compartilhado decair uma vez por interação, e não uma vez por token.
Para recompensas e valores de fronteira fixos, ele fica independente do comprimento do turno e das previsões internas do crítico. O apêndice A.5 caracteriza o erro de estimação usando apenas erros de fronteira.
O A.6 compara com o GAE token-level.
Resultados reportados
Os autores afirmam ganhos consistentes sobre baselines fortes de RL em três frentes: tarefas de busca, de uso de ferramentas e de automação, com modelos de 4B e 30B-A3B.
O resumo e o extrato disponíveis, porém, não trazem tabelas, números absolutos, nomes específicos dos benchmarks, tamanho do ganho nem estudo de ablação separando MAE e o importance sampling de turno. Para um leitor técnico, isso limita bastante o que pode ser verificado.
A evidência quantitativa existe no paper completo, mas não no material fornecido.
A comparação declarada é contra "baselines fortes de RL". No texto relacionado, esses baselines incluem GRPO, DAPO, GSPO, PPO, VC-PPO, VAPO e SAO.
Limitações e o que não foi provado
A análise teórica assume horizonte fixo de turnos, recompensas limitadas e vantagens exatas. A extensão para vantagens estimadas fica nos apêndices, fora do escopo do corpo do artigo.
O Theorem 2 depende de um bound uniforme sobre o valor absoluto da vantagem de token em todos os prefixos admissíveis. Isso tende a produzir limites frouxos na prática e não garante que o termo extra seja pequeno, apenas o limita.
O método exige um crítico aprendido, com o custo de memória e computação correspondente. Ele realoca o crédito entre escalas, mas não resolve o problema de um crítico mal calibrado.
A evidência empírica cobre apenas dois tamanhos de modelo, um deles um MoE de 30B com 3B ativos. A estatística de variância que motiva o método vem de um único treino de agente de busca com oito lotes de checkpoint, um recorte estreito para uma conclusão estrutural.
A seção 5.2 do extrato está truncada exatamente no ponto em que a alocação intra-turno é definida, de modo que não é possível avaliar aqui os detalhes da projeção restrita.
Por que isso importa para quem constrói com IA
Quem treina agentes com RL esbarra sempre no mesmo gargalo: recompensa terminal, esparsa, no fim de uma trajetória longa. Se o sinal de crédito decai por token, em turnos com centenas de tokens ele morre antes de chegar ao turno seguinte.
A atualização passa a olhar apenas para o passado recente. O argumento do MPO é que fazer o decaimento acontecer por interação corrige isso sem abrir mão da granularidade dentro do turno.
Há também uma consequência prática na forma da razão de probabilidade. Usar a probabilidade do turno completo evita que a razão de importance sampling vire um produto de muitos fatores e exploda em turnos longos.
Esse é um problema conhecido de quem tenta aplicar PPO a saídas extensas.
Para equipes que hoje usam GRPO com recompensa de tarefa em agentes multi-turno, o paper oferece um argumento estruturado. A vantagem compartilhada por sequência ignora justamente a estrutura que o ambiente impõe.
São hipóteses promissoras, mas ainda pendentes de replicação independente e de números que o extrato não permite conferir.
Referências
- REN, Tao; YANG, Hui; DENG, Jia; et al. Multiscale Policy Optimization for Long-Horizon LLM Agents. arXiv:2610.35013, 2026. Disponível em: https://arxiv.org/abs/2610.35013.
- Trabalhos citados pelos autores e discutidos acima: GRPO, DAPO, GSPO, PPO, VC-PPO, VAPO, SAO, TRPO, GAE e DeepSeek-R1, conforme a lista de referências do paper original.
