Um checkpoint intermediário do mesmo treinamento por reforço pode dizer mais sobre o que vale a pena transferir do que o par inicial-final. Essa é a aposta de Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu e Yuewei Zhang no Waypoint-OPD.
O método é um portão de consistência temporal. Ele pondera o deslocamento de política induzido por RL na destilação on-policy.
Segundo os autores, o método lidera a média de domínio nas seis configurações testadas. Os ganhos chegam a 2,18 pontos percentuais sobre o Direct-OPD em matemática.
O que os autores propõem
O artigo está disponível no arXiv. Ele parte de uma observação simples sobre a destilação por deslocamento de política.
O sinal extraído da diferença entre as log-probabilidades do professor antes e depois do RL é apenas um ponto final. O mesmo deslocamento agregado pode resultar de mudanças iniciais e tardias na mesma direção, que se reforçam.
Também pode resultar de mudanças em direções opostas, que se cancelam em parte. A transferência só pelo par inicial-final não distingue os dois casos.
Waypoint-OPD resolve isso mantendo três checkpoints do mesmo run de RL do professor. São eles: Initial, antes do treinamento; Waypoint, em uma etapa intermediária (passo 600); e Final, ao fim (passo 1200).
Em cada prefixo visitado pelo aluno, os autores comparam como as preferências relativas do professor mudaram. Medem o deslocamento de Initial para Waypoint e de Waypoint para Final.
O acordo direcional entre esses dois segmentos serve de portão para o sinal de ponta a ponta. Quando os deslocamentos apontam em sentidos contrários, o sinal é suprimido.
Quando concordam, é mantido e escalado pela magnitude do cosseno.
As contribuições declaradas são três. A primeira é usar acordo temporal como critério de transferência seletiva.
A segunda é converter esse critério em um objetivo denso de destilação on-policy. A terceira é demonstrar ganho médio em dois domínios e três escalas de aluno.
O custo adicional alegado é modesto. Envolve um passo extra de scoring com um professor congelado, sem novo treinamento de professor nem chamadas a verificadores durante a transferência.
Contexto: qual problema está sendo atacado
RL com recompensas verificáveis sustenta boa parte dos avanços em raciocínio matemático e de código. O processo exige geração, verificação e otimização repetidas de respostas on-policy, e é caro.
Reaproveitar o ganho de um professor já treinado, em vez de repetir o ciclo para cada modelo, é a motivação da linha de destilação on-policy.
A destilação on-policy padrão (OPD, Agarwal et al., 2024) treina o aluno para igualar a distribuição de tokens do professor nos prefixos que o próprio aluno gera. O limite é que a supervisão fica presa à política absoluta do professor e às suas deficiências.
O OPD² (Heo et al., 2026) usa a mudança entre um professor ajustado e seu modelo base. Ele retém sinais de token quando a mudança centrada concorda em sinal com o sinal de destilação padrão.
O Direct-OPD (Feng et al., 2026) usa a razão de log-probabilidades entre checkpoints pré e pós-RL como recompensa implícita densa nos estados gerados pelo aluno.
Os autores notam que ambos extraem a mudança de um par de professores. Nenhum mede se mudanças consecutivas durante o RL do professor apontam em direções compatíveis.
A justificativa teórica do Direct-OPD vem da decomposição do tipo DPO (Rafailov et al., 2023). Em um ótimo idealizado com regularização KL, o log-ratio de sequência recupera a recompensa a menos de escala positiva e constante dependente do prompt.
Os próprios autores ressalvam que não assumem que o RL de passos finitos atinja esse ótimo. O sinal de ponto final é, portanto, uma aproximação.
Como funciona
Sobre os prefixos gerados pelo aluno, o método seleciona os 16 tokens mais prováveis segundo a própria política do aluno. Normaliza essa distribuição local, de modo que a comparação se concentre nas ações prováveis.
Esses candidatos são pontuados pelos três professores congelados.
Duas mudanças consecutivas são calculadas: Initial→Waypoint e Waypoint→Final. Elas telescopam para o deslocamento Initial→Final.
Um operador de centragem remove a componente independente da ação. Essa componente deslocaria uniformemente todos os candidatos e distorceria o ângulo entre vetores sem alterar preferências relativas.
O acordo temporal é o produto interno ponderado pela probabilidade do aluno entre os dois segmentos centrados. Ele é convertido em um portão de cosseno positivo quando as normas de ambos os segmentos excedem um piso.
Caso contrário, aplica-se um fallback de norma baixa.
O portão é compartilhado por todos os candidatos de um prefixo. Ele não reordena tokens, apenas escala o sinal de ponto final, zerando-o quando o cosseno é negativo.
Para estabilizar a escala média entre lotes, os autores multiplicam todas as recompensas portadas por um fator que visa média 1, com clipping. Isso preserva pesos relativos e portões nulos.
O coeficiente final alimenta um surrogate denso com stop-gradient sobre os fatores de crédito. O surrogate inclui penalidade KL ancorada na inicialização do aluno e PPO com duplo clipping, que tem o mesmo gradiente do surrogate na política de rollout.
A implementação usa a biblioteca verl (Sheng et al., 2025) e pontua os top-16 tokens com os três professores.
Resultados reportados
Os professores são checkpoints de um run de RL do Qwen3-4B (Yang et al., 2025) em modo non-thinking. Os alunos são Qwen3-8B, Qwen3-14B e Qwen3-30B-A3B, cobrindo escalas densas e MoE da mesma família com tokenizador compatível.
Em matemática, a transferência usa prompts do DAPO-Math-17K (Yu et al., 2025). A avaliação cobre AIME 2024, AIME 2025, AIME 2026, HMMT Fevereiro 2025, HMMT Novembro 2025, HMMT Fevereiro 2026 e AMC 2023, com mean@32.
Em código, os prompts derivam do Codeforces. A avaliação usa o conjunto MBPP+ de 378 problemas do EvalPlus (Liu et al., 2023) e o LiveCodeBench v4, v5 e v6 (Jain et al., 2025), com mean@8.
Segundo os autores, o Waypoint-OPD obtém a maior média de domínio entre os métodos comparados nas seis combinações de domínio e aluno.
Em matemática, supera o Direct-OPD, o baseline de melhor média para os três alunos. Os ganhos são de 2,18, 1,59 e 1,89 pontos percentuais para Qwen3-8B, Qwen3-14B e Qwen3-30B-A3B, respectivamente.
O método melhora em 19 das 21 comparações por benchmark.
As exceções são HMMT25N no 14B (47,60 para 47,08) e HMMT26F no 30B-A3B (33,05 para 32,77). Os baselines incluem o aluno Base, OPD a partir do professor Final, OPD² e Direct-OPD, todos com o mesmo setup de treino e avaliação.
As ablações no Qwen3-8B em matemática testam três controles. O primeiro remove o portão, mantendo a normalização de média.
O segundo embaralha os portões entre prefixos válidos do lote. O terceiro desativa a normalização.
Remover ou embaralhar os portões reduz o desempenho em raciocínio matemático. Os autores leem isso como evidência do valor do portão temporal.
A posição do Waypoint é variada nos passos 500, 600 e 700 em apêndice. Há análises de tempo de treino e comprimento de resposta em outro apêndice.
A seleção de checkpoint de cada aluno usa AIME 2024 como validação.
Limitações e o que não foi provado
O escopo experimental é estreito. Há uma única família de modelos (Qwen3), um professor de 4B, três alunos e dois domínios com recompensa verificável.
Não há evidência de que o ganho se sustente em outros tokenizadores, em modelos de outra linhagem ou em tarefas sem verificador automático, como diálogo aberto ou agentes com ferramentas.
O próprio artigo reconhece um ponto delicado no apêndice A.1. O deslocamento de ponto final é independente do Waypoint a prefixos e pesos fixos.
O acordo direcional, sozinho, não garante supervisão benéfica.
O portão é uma heurística de filtragem, não um resultado de otimalidade. A normalização por lote, além disso, não corrige a norma do vetor de recompensa.
Ela equaliza a escala média do portão, não a magnitude do sinal transferido.
Há também fragilidades metodológicas a observar. O mesmo AIME 2024 serve de validação para selecionar checkpoint e integra a média de benchmarks de matemática, o que pode favorecer ligeiramente os números reportados.
Os autores usam apenas um passo intermediário (600) como Waypoint principal. O custo real da passada extra de scoring, em memória e throughput de batch, não é quantificado no extrato disponível.
A justificativa de recompensa implícita depende de um ótimo KL-regularizado que o RL de passos finitos não atinge. O sinal de ponto final permanece aproximado.
Por que isso importa para quem constrói com IA
Times que já pagaram o custo de um ciclo de RL têm interesse óbvio em amortizar esse investimento em modelos de portes diferentes.
A proposta do Waypoint-OPD é uma receita barata. Em vez de repetir RL para cada aluno, guardar checkpoints intermediários do run e usá-los como evidência de consistência para filtrar o que transferir.
Isso desloca o problema de engenharia de "treinar mais" para "escolher melhor o sinal". Pipelines de destilação podem implementar a receita com um professor congelado adicional e os mesmos rollouts do aluno.
Para quem opera avaliação, o artigo também sugere um critério útil de auditoria de trajetórias. Deslocamentos que se revertem ao longo do treinamento são um indício de preferências instáveis e merecem peso menor na supervisão.
A ressalva é que o critério é local (top-16 tokens, prefixos do aluno) e empírico. Vale tratar os ganhos como hipótese a replicar no seu domínio, com validação separada da média de benchmark, antes de substituir uma receita de destilação estabelecida.
Referências
- Hou, B.; Jiang, G.; Quan, G.; Li, W.; Feng, W.; Liu, G.; Zhang, Y. Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation. arXiv:2610.21601, cs.LG, 2026. https://arxiv.org/abs/2610.21601
- Agarwal, R. et al. On-policy distillation of language models. 2024 (citado pelos autores como base do OPD).
- Heo, H. et al. On-Policy Delta Distillation (OPD²). 2026.
- Feng, W. et al. Direct On-Policy Distillation (Direct-OPD). 2026.
- Rafailov, R. et al. Direct Preference Optimization. 2023.
- Yu, Q. et al. DAPO / DAPO-Math-17K. 2025.
- Liu, J. et al. EvalPlus / MBPP+. 2023.
- Jain, N. et al. LiveCodeBench. 2025.
- Sheng, G. et al. verl. 2025.
- Yang, A. et al. Qwen3 (relatório técnico). 2025.
