Agentes baseados em LLM que consultam lições destiladas de experiências passadas podem falhar em tarefas que resolveriam sozinhos. É esse o problema que o paper "Don't Just Trust Your Memory", de Yukyeong Lee, Yumin Choi, Jinheon Baek e Sung Ju Hwang, ataca.
A proposta se chama WikiTrace e acopla cada lição ao trajeto bruto que a originou. Assim, o agente pode descer até a evidência antes de agir.
Em oito suítes de cinco benchmarks, os autores relatam ganho médio de 10,7 pontos sobre o agente sem memória. A taxa de regressão cai de 6,5% para 4,5%.
O que os autores propõem
O artigo introduz o conceito de memory-induced degradation (degradação induzida por memória): a situação em que um agente falha em uma tarefa que resolveria se não tivesse memória externa. Para medir o fenômeno com precisão, os autores separam duas métricas que a acurácia média esconde. Gain é a taxa com que a memória transforma fracassos em sucessos.
Regression é a taxa com que ela transforma sucessos em fracassos.
A proposta central é o WikiTrace, um sistema de memória em três camadas ligadas de cima para baixo. A lição propriamente dita (chamada de insight), uma compilation que resume por que aquele trajeto teve sucesso ou falha, e o trajeto bruto original.
Cada insight aponta para sua compilação e para o trajeto-fonte. A tese dos autores é que essa arquitetura combina o melhor dos dois mundos.
A lição diz de forma concisa o que fazer, enquanto o trajeto registra fielmente o que aconteceu, mas é longo demais para ser relido a cada decisão. A evidência fica disponível, porém sob demanda.
Contexto: qual problema está sendo atacado
A memória procedural em agentes LLM é hoje uma família ampla de técnicas. Trabalhos anteriores destilam reflexões verbais, acumulam habilidades executáveis, manuais de instrução, workflows ou estratégias de raciocínio a partir de execuções passadas.
O ponto cego, argumentam os autores, é que essas lições são inferidas de trajetórias rotuladas apenas com um sinal binário. Sucesso ou falha, sem indicar qual das muitas ações causou aquele desfecho.
Qualquer método que aprenda lições a partir daí precisa adivinhar quais ações importam e sob quais condições. Cada palpite errado vira uma lição que desorienta o agente em tarefas futuras.
Os autores fizeram uma análise de erro para dimensionar o problema. Pegaram tarefas que o agente resolve em três execuções repetidas sem memória, mas falha quando a memória está presente.
Usaram um juiz LLM (gpt-5.6-sol, esforço de raciocínio médio) para localizar o primeiro turno em que a execução com e sem memória divergem e classificar a causa. Em 52% dos casos, a falha foi atribuída a um item de memória que o agente seguiu.
Na maior parte das vezes o item em si estava errado (20%). Nos demais, um item válido foi aplicado fora do escopo, usado de forma equivocada, ou seguiu adiante quando havia outro melhor disponível.
Em muitos casos, segundo os autores, o próprio trajeto de origem já contradizia a lição. A evidência para detectar o erro existia, mas não estava acessível ao agente.
Como funciona
A construção da memória é feita antes de qualquer tarefa de teste, a partir de um corpus fixo de execuções coletadas sem memória, sem soluções gabaritadas nem explicações de especialistas. Cada execução é processada de forma independente, para que toda lição extraída permaneça conectada à experiência que a originou.
Um compiler lê a tarefa, o trajeto e o rótulo binário e produz duas coisas. Uma compilação, com templates distintos para sucesso e para falha, e no máximo três insights por execução.
Cada insight é um documento separado que declara o que fazer, quando se aplica, de qual execução veio e se essa execução teve sucesso. A memória nunca é atualizada nem depurada depois de escrita.
O pool pode conter insights redundantes ou conflitantes, e a decisão sobre qual se aplica fica com o agente.
No teste, o agente recebe inicialmente todos os insights, cada um com o identificador da execução de origem. A mensagem lista ainda as três execuções passadas cujas tarefas são mais similares à atual, com os ids e títulos dos insights delas derivados.
São pontos de partida para a busca. Os trajetos brutos, as compilações e os índices de cada camada ficam montados como arquivos somente-leitura, que o agente pode vasculhar com ferramentas de terminal, como leitura de arquivo e shell.
O descent até a fonte é o mecanismo central. O prompt pede que o agente desça da lição até a execução de origem quando o insight não traz os detalhes necessários para agir, quando entra em conflito com outro insight, ou quando vem de uma execução que falhou.
Pede também novo descente sempre que uma ação falha. A intenção é que o agente encontre o fato que resolve a dúvida antes de se comprometer com um plano.
Um exemplo é o formato exato de um comando.
Resultados reportados
A avaliação cobre oito suítes em cinco benchmarks. Três mundos de texto simulados (ALFWorld, com tarefas domésticas; ScienceWorld, com experimentos científicos; e PlanCraft, com crafting de Minecraft) e dois ambientes de uso de ferramentas.
AppWorld, com tarefas cotidianas via APIs de aplicativos, incluindo Test-Normal e Test-Challenge, este último com aplicativos não vistos. E τ-bench Retail, que combina conversa com um cliente simulado e chamadas de ferramentas sobre um banco de pedidos.
Segundo os autores, o WikiTrace tem o melhor desempenho em todas as suítes. A melhoria é de 10,7 pontos em média sobre o agente sem memória e de 3,2 pontos sobre um baseline que recebe exatamente os mesmos insights, mas sem os links para a evidência.
A regressão cai de 6,5% para 4,5%. As análises adicionais indicam que o agente consulta a evidência linkada com mais frequência em tarefas difíceis, justamente onde a vantagem é maior.
Os ganhos se concentram nos casos em que a evidência altera o plano. Os resultados se mantêm com outro modelo-base, e os autores comparam o WikiTrace a métodos como AWM, ExpeL e o baseline No Memory.
Limitações e o que não foi provado
O primeiro ponto é o status. O trabalho foi submetido ao ACL Rolling Review (ciclo de outubro de 2026) e está sob revisão, portanto ainda não passou por validação independente.
Tudo o que está descrito aqui são afirmações dos autores.
A análise causal da degradação depende de um juiz LLM, e 48% dos casos de falha não foram atribuídos a nenhum item de memória. A parcela residual é relevante, e o próprio texto reconhece que o comportamento do agente varia entre execuções mesmo sem memória, o que torna parte da atribuição inerentemente ambígua.
As compilações são interpretações do trajeto, não explicações verificadas do desfecho. Se a compilação erra, o erro pode se propagar para o insight e para a decisão de descida.
A memória é fixa e somente-leitura, construída antes dos testes e sem nenhuma execução adicional para validar itens individuais. Isso difere de abordagens que admitem ou revisam memórias com base em utilidade observada, e deixa em aberto como o mecanismo se comportaria em aprendizado contínuo, onde o corpus muda e cresce.
O descent também tem custo. Exige um sistema de arquivos montado e ferramentas de shell, e o texto do paper disponível no material de origem não detalha o orçamento de tokens nem a latência adicionais por tarefa.
Os benchmarks são ambientes simulados e de uso de ferramentas relativamente estruturados. Não há evidência, no material analisado, de transferência para domínios abertos ou de risco de o agente seguir evidências espúrias em trajetos muito longos.
Por que isso importa para quem constrói com IA
Quem opera agentes em produção já aprendeu que memória não é um botão de ganho monotônico. Adicionar um banco de lições, reflexões ou skills costuma melhorar a média e, ao mesmo tempo, quebrar silenciosamente tarefas que funcionavam.
É um padrão particularmente caro porque a acurácia agregada esconde a troca. A contribuição prática mais imediata do paper não é o WikiTrace em si, mas a métrica.
Separar Gain de Regression é uma forma barata de auditar qualquer pipeline de memória antes de colocá-lo em produção.
A segunda lição é arquitetural. Manter o artefato bruto ligado ao artefato destilado, com ferramentas de acesso, é uma alternativa ao dilema entre injetar lições curtas no prompt e despejar trajetórias inteiras no contexto.
Isso dialoga com padrões já usados na indústria, como dar ao agente acesso a um filesystem com busca e leitura em vez de pré-carregar tudo. Para times que constroem agentes com memória de longo prazo, a mensagem é que projetar o caminho de volta à evidência pode valer mais do que projetar o resumo perfeito.
- Paper: arXiv 2611.14320
- Página do projeto: yukyeongleee.GitHub.io/wikitrace
- Código: GitHub.com/yukyeongleee/wikitrace
Referências
LEE, Yukyeong; CHOI, Yumin; BAEK, Jinheon; HWANG, Sung Ju. Don't Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents. arXiv:2611.14320, cs.AI, 2026. Submetido ao ACL Rolling Review (ciclo de outubro de 2026).
Disponível em: https://arxiv.org/abs/2611.14320.
