A equipe NeoHorse (Guoliang Cao, Guohao Dai, Tianyu Guo, Kai Han, Hailin Hu, Zihan Jiang, Xiang Kuang, Boxun Li, Yulong Li, Zehua Pei e Yuchuan Tian) apresentou o NeoHorse-1. É uma família de modelos "agent-native" nas escalas 4B e 9B, construída para testar um mecanismo concreto de autoaperfeiçoamento recursivo (RSI).
A proposta central é converter os registros de um sistema de roteamento em material de treino organizado por currículo. Esses registros incluem qual capacidade foi demandada, qual modelo atendeu e o que aconteceu depois.
O treino usa SFT em três estágios e destilação on-policy guiada por roteamento.
Segundo os autores, o pós-treino eleva a média macro de 58,94 para 64,87 no modelo de 4B. No de 9B, sobe de 65,60 para 69,04.
São onze benchmarks que cobrem agentes baseados em harness, uso de ferramentas, código e seguimento de instruções.
O que os autores propõem
O artigo se apresenta como um protótipo inicial, não como um sistema completo de RSI. A contribuição é um ciclo em que a experiência de um harness de execução vira dado de treino.
O harness é a camada que gerencia contexto, ferramentas e ambiente do agente. O feedback de avaliação do modelo treinado reconfigura a mistura de dados da rodada seguinte.
Os autores chamam isso de "RSI mediado por harness".
O desenho combina um pool heterogêneo de modelos com múltiplos harnesses, incluindo o OpenSquilla, sobre tarefas reais. O roteamento inteligente, inspirado no trabalho anterior de Agentic Routing, registra três sinais por turno de usuário: demanda de capacidade prevista, tier de serviço selecionado e a interação subsequente.
Esses registros alimentam a organização do currículo e a destilação.
O ponto conceitual mais interessante é que os autores se recusam a usar a identidade do modelo servido como rótulo de dificuldade. A rota executada pode refletir overrides do usuário, indisponibilidade de serviço ou política de deploy, não a dificuldade intrínseca da tarefa.
Em vez disso, usam a demanda de capacidade prevista pelo próprio roteador.
Contexto: qual problema está sendo atacado
A literatura de RSI descreve um processo iterativo em que um sistema usa experiência, avaliações ou artefatos gerados para melhorar seu modelo, seu scaffold ou seu procedimento de melhoria. Os autores argumentam que falta o elo concreto: um mecanismo pelo qual o sistema observe suas próprias capacidades e converta essa evidência em aprendizado.
Agentes são candidatos naturais a esse papel porque deixam rastros, como decisões, chamadas de ferramenta e resultados de tarefa. A literatura já usa trajetórias como supervisão estática (FireAct, AgentTuning, Agent-FLAN, AgentBank e o recipe de SFT iterativo da Llama 3).
Os autores querem ir além: tratar a trajetória também como evidência observável de forças e limitações.
Há duas lacunas técnicas que o trabalho ataca. A primeira é a de currículo: métodos existentes dependem de rótulos explícitos de dificuldade ou heurísticas por dataset, caros de obter.
O roteamento oferece um sinal alternativo, condicionado à requisição e ao contexto.
A segunda é o descolamento entre SFT e implantação. O SFT imita respostas gravadas de uma política professora fixa, enquanto o uso real acontece sobre prefixos gerados pelo próprio modelo.
A destilação on-policy (OPD) ataca isso deixando o estudante gerar trajetórias enquanto o professor fornece supervisão token a token nos estados visitados pelo aluno.
Como funciona
A construção de dados é organizada em três granularidades encadeadas. Uma trajectory é a interação completa executada pelo harness, preservando requisições, respostas, chamadas de ferramenta, observações de ambiente, tentativas de recuperação e desfecho terminal.
Um user turn é a unidade básica de serialização, começando em uma requisição e terminando na próxima requisição ou no fim da tarefa. Um subscene agrupa turnos adjacentes que compartilham um objetivo local e serve como unidade de caracterização semântica.
Dentro de cada turno, mantém-se a cadeia intercalada de raciocínio, ação e feedback. Respostas visíveis e interações de ferramenta anteriores permanecem como contexto, mas o raciocínio de turnos anteriores é omitido.
Cada registro continua ligado à trajetória e ao subscene de origem, o que permite alinhar sinais de qualidade, semântica, roteamento e desfecho na granularidade correta.
O controle de qualidade tem três camadas. Primeiro, deduplicação exata e aproximada, com a mesma infraestrutura de correspondência usada para decontaminar todo candidato de treino contra as suítes de avaliação.
Isso garante disjunção entre treino e teste.
Segundo, validação estrutural baseada em regras. Verifica-se legibilidade de payload, estrutura de mensagens suportada, presença de requisição e resposta, ordem causal dos eventos e fechamento dos pares chamada/resultado de ferramenta por identificadores.
Detectam-se respostas faltantes, observações órfãs, identificadores duplicados ou conflitantes, chamadas internas não resolvidas e ramos terminais ambíguos. O gate produz três desfechos: internamente completo, parcialmente recuperável (aproveita apenas sub-trajetórias causalmente fechadas) e quarentena.
A terceira camada é a avaliação semântica em seis dimensões, com rotulagem em nível de subscene, aplicada sobre trajetórias estruturalmente utilizáveis.
Com o corpus pronto, o roteamento organiza o SFT em um currículo de três estágios, introduzindo exemplos de escore mais alto sem descartar a cobertura de escore mais baixo. A mesma progressão é estendida à destilação on-policy guiada por roteamento, em que o professor supervisiona respostas geradas pelo estudante.
A alocação guiada por capacidade converte o feedback de avaliação na próxima mistura de treino. Isso fecha o ciclo avaliação-seleção-atualização: o que o sistema aprende a fazer influencia do que ele aprende a seguir.
Resultados reportados
Os autores reportam avaliação em onze benchmarks cobrindo agentes baseados em harness, seguimento de instruções, código, uso de ferramentas e tarefas interativas. O pós-treino eleva a média macro de 58,94 para 64,87 na escala 4B e de 65,60 para 69,04 na escala 9B.
Os maiores ganhos, segundo o artigo, aparecem em avaliações baseadas em harness e intensivas em execução. Um ponto destacado é que o modelo 4B pós-treinado reduz a lacuna agregada em relação ao modelo 9B de base.
É um sinal de que o ganho não vem apenas de escala. Os resultados completos estão nas Tabelas 1 e 2 do artigo.
Limitações e o que não foi provado
O próprio texto se define como "um protótipo inicial de treinamento de modelo nesse caminho rumo ao RSI". Os autores não demonstram ganhos sustentados ao longo de iterações sucessivas.
Afirmam que o próximo passo é estender o processo por iterações e cenários mais amplos, e estudar se os ganhos se sustentam conforme as capacidades evoluem. A parte "recursiva" do argumento é direção de pesquisa, não resultado medido.
Outras ressalvas que o material permite levantar. Os autores reconhecem que validade estrutural estabelece serialização e replay confiáveis, mas não implica seleção correta de ferramentas nem sucesso na tarefa.
O uso de escore previsto de demanda em vez da rota executada evita uma confusão, mas introduz dependência da qualidade do próprio roteador como anotador de dificuldade. A destilação on-policy depende de um professor disponível e adequado.
A escala exata do corpus primário aparece truncada no extrato disponível, o que impede verificação independente do volume de trajetórias geradas por harness. E, como toda avaliação conduzida pelos próprios autores em suítes próprias, os números devem ser lidos como afirmação dos autores, não como fato auditado externamente.
Ainda assim, os autores relatam decontaminação.
Por que isso importa para quem constrói com IA
Para equipes que operam sistemas com roteamento entre modelos, o artigo sugere uma mudança de enquadramento: os logs de roteamento deixam de ser apenas telemetria de custo e passam a ser sinal de treino. Isso é diretamente aplicável a operações que já mantêm um pool de modelos e registram qual tier atendeu cada requisição.
O segundo ponto prático é metodológico. A validação estrutural por regras determinísticas é uma etapa barata e reproduzível que muitas equipes pulam ao montar datasets agênticos a partir de logs de produção.
Ela verifica ordem causal, pareamento de chamadas e resultados, ramos terminais. O artigo a coloca como gate obrigatório antes de qualquer avaliação semântica, e como filtro que separa trajetórias completas de sub-trajetórias recuperáveis.
Terceiro, o currículo derivado de roteamento contorna a necessidade de rótulos manuais de dificuldade, que são o gargalo típico de pipelines de curadoria. Para quem não tem orçamento de anotação, esse é o argumento mais transferível do artigo.
A combinação SFT e OPD em contextos multi-turno com ferramentas é o padrão que vem se consolidando em aplicações agênticas sérias: treinar sobre o que o modelo realmente gera, não apenas sobre o que um professor gerou. A ressalva é que os benchmarks não são produção.
Ganhos de 5,9 pontos na média macro não garantem redução de falhas em fluxos reais com ferramentas instáveis, permissões e estados parciais. É exatamente aí que um harness bem instrumentado continua sendo o ativo mais valioso.
Referências
NeoHorse Team et al. NeoHorse-1. arXiv:2609.08183, cs.CL, 2026. Disponível em arXiv.org/abs/2609.08183.
Coleção de modelos e página do projeto: huggingface.co/collections/TokenRhythm/neohorse-1. Código: GitHub.com/TokenRhythm/NeoHorse.
Trabalhos citados pelos autores como base do desenho: Agentic Routing; OpenSquilla; FrugalGPT e RouteLLM (roteamento de LLMs); FireAct, AgentTuning, Agent-FLAN e AgentBank (SFT por trajetórias); on-policy distillation; SWE-agent, "The Interplay of Harness Design and Post-Training" e Terminal-Lego (harness e trajetórias ancoradas em ambiente); Search-R1, ReTool, RAGEN, Agent Lightning v1.0 e Co-Harness (RL agêntico e loops de ambiente); Self-Harness, Agentic Harness Engineering, Retrospective Harness Optimization, Continual Harness, MetaSkill-Evolve, AREX e AI4AI-Bench (linha de RSI).
