Aprendizado contínuo em modelos de linguagem esbarra num limite conhecido. Quanto mais atualizações sequenciais, mais rápido o modelo esquece o que aprendeu antes.
Zheyuan Zhang, Alvin Zhang, Daniel Khashabi e Tianmin Shu argumentam, no paper "Continual Learning Mechanisms Compose for Long-Horizon Memorization", que a saída não está em um mecanismo novo e isolado. Está na composição de mecanismos que atacam fontes distintas de esquecimento.
Os autores combinam três "âncoras" — dados, função e peso, com uma regra de alocação de baixo posto chamada merged LoRA. Relatam elevar a retenção média final de 1,2% no fine-tuning sequencial ingênuo para 34,9% após 100 tarefas, um ganho de 28 vezes.
O que os autores propõem
Os autores formulam o que chamam de memorização de horizonte longo. Um modelo precisa internalizar informação que chega ao longo do tempo e mantê-la após muitas atualizações subsequentes.
O cenário experimental é restritivo. São 100 tarefas de pares pergunta-resposta aprendidas em sequência por fine-tuning supervisionado contínuo (SFT), sem reter exemplos brutos de tarefas anteriores e sem receber identificador de tarefa na inferência.
Segundo eles, nesse horizonte nenhum mecanismo de aprendizado contínuo avaliado isoladamente mantém retenção forte. O melhor deles chega a 8,1% de retenção média final.
A hipótese central é que mecanismos que endereçam fontes complementares de esquecimento funcionam melhor quando compostos. Zhang, Zhang, Khashabi e Shu organizam esse espaço em duas dimensões de projeto.
A primeira são as âncoras, que especificam qual informação prévia cada atualização deve preservar. A segunda são as regras de alocação de baixo posto, que determinam onde as atualizações sucessivas são retidas.
O paper está no arXiv e tem página de projeto com os artefatos.
Contexto: qual problema está sendo atacado
Esquecimento catastrófico é documentado desde os trabalhos de McCloskey e Cohen (1989) e French (1999) em redes conexionistas. Continua sendo um problema central.
Formulações contemporâneas, como a de Van de Ven e Tolias, distinguem aprendizado task-, domain- e class-incremental. A distinção depende de a identidade da tarefa estar ou não disponível na inferência e de o espaço de predição mudar entre tarefas.
As famílias de solução se dividem em regularização, replay e isolamento de parâmetros.
Prompting e recuperação, na linhagem de Brown et al. e Lewis et al., entregam informação nova na hora da inferência. Essa informação permanece fora dos parâmetros do modelo e precisa ser fornecida de novo a cada uso.
A pergunta dos autores é outra: atualizações repetidas podem construir e preservar essa memória dentro do próprio modelo?
O paper também justifica a construção de novos datasets. Benchmarks públicos de aprendizado contínuo em linguagem medem principalmente transferência ou desempenho em tarefas downstream heterogêneas (Zhang et al.
2023; Wang et al. 2023b).
Benchmarks de edição sequencial de modelo estudam edições pontuais, não SFT por tarefa (Hartvigsen et al. 2023; Li e Chu 2024).
Faltava, segundo os autores, um pipeline que isolasse a memorização de horizonte longo.
Como funciona
O objetivo de treino soma à perda de SFT da tarefa corrente três termos de retenção, correspondentes às âncoras de dados, função e peso. Os autores não mascararam os tokens da pergunta, argumentando que separar pergunta de resposta é difícil em aplicações como test-time training.
A âncora de dados usa replay generativo. Uma cópia congelada do modelo anterior gera pseudo-sequências completas a partir de um único token de replay agnóstico de tarefa, 300 sequências por tarefa, descartando saídas vazias.
Cada minibatch da tarefa atual é pareado com um minibatch de replay, com peso de replay e temperatura de geração ajustados. O modelo congelado também fornece alvos suaves de próximo token para as sequências de replay, usados apenas enquanto a tarefa corrente é aprendida.
A linhagem inclui Deep Generative Replay (Shin et al.), LAMOL (Sun et al.) e a combinação de replay com destilação do Dark Experience Replay (Buzzega et al.).
A âncora de função é auto-destilação. Compara as predições do modelo em atualização, sobre entradas da tarefa corrente, com a distribuição de referência do modelo anterior, a receita de Learning without Forgetting (Li e Hoiem).
É uma restrição funcional sobre os dados atuais, enquanto a âncora de dados age sobre dados gerados.
A âncora de peso penaliza mudanças em parâmetros conforme a importância estimada para comportamentos já aprendidos, em forma quadrática. As instanciações consideradas são EWC, com informação de Fisher diagonal (Kirkpatrick et al.), Online EWC, com Fisher corrente (Schwarz et al.), e SI, que estima importância pelo caminho de otimização (Zenke et al.).
Na camada de alocação, LoRA congela os pesos pré-treinados e injeta matrizes de decomposição de baixo posto (Hu et al.). Shared LoRA continua otimizando as mesmas matrizes em todas as tarefas.
Merged LoRA dá a cada tarefa um novo par de matrizes, dobra a atualização de LoRA nos pesos densos ao fim da tarefa e reinicializa adapter e otimizador. Adapta o padrão de merge e reinicialização do ReLoRA (Lialin et al.) para o aprendizado contínuo.
Para testar tudo isso, os autores construíram três datasets de 100 tarefas cada: associações simbólicas arbitrárias, fatos ficcionais gerados por LLM e perguntas naturais filtradas de bases públicas de QA.
Introduzem ainda task-level successive halving para podar o espaço combinatório de composições e um experimento fatorial para medir efeitos individuais e de interação.
Resultados reportados
O fine-tuning sequencial ingênuo termina com 1,2% de retenção média final, medida como acurácia sobre todas as tarefas aprendidas após a última atualização. O melhor mecanismo individual alcança 8,1%.
O melhor método, as três âncoras combinadas com merged LoRA, chega a 34,9% de retenção média final, 28 vezes o baseline. É a única composição do fatorial principal a ficar consistentemente entre as três melhores em todos os datasets.
A análise fatorial aponta a âncora de dados e o merged LoRA como as maiores fontes de ganho médio. Essas duas componentes interagem de forma superaditiva nos três datasets, ou seja, o efeito conjunto é maior do que a soma dos efeitos isolados.
Os autores leem esse padrão como evidência de que as fontes de esquecimento atacadas por replay de dados e por mesclagem de baixo posto são, de fato, complementares.
Limitações e o que não foi provado
O resultado principal é um avanço relativo, não uma solução. Uma retenção média final de 34,9% significa que cerca de dois terços da acurácia sobre o conjunto de 100 tarefas ainda se perdem.
O esquecimento continua substancial no horizonte estudado.
Os três datasets foram construídos pelos próprios autores para isolar memorização de associações: símbolos arbitrários, fatos ficcionais e QA natural filtrado. Isso dá controle experimental, mas não demonstra preservação de raciocínio, de capacidades gerais do modelo base ou de comportamento em domínios de produção.
A validade externa da interação superaditiva, medida nesses três conjuntos, depende de replicação independente.
O extrato disponível também não detalha custo computacional nem tamanhos de modelo. Replay generativo com 300 sequências por tarefa, destilação sobre dados correntes, regularização por importância e mesclagem de LoRA a cada tarefa somam despesa que não é trivial, e não está claro no material analisado como esse custo escala.
Não foi provado que a receita se mantém para horizontes muito além de 100 tarefas, para modelos maiores, para múltiplos idiomas ou para sequências em que as tarefas chegam em ordem adversa. O desempenho continua dependente de hiperparâmetros de replay (peso e temperatura) ajustados na etapa de successive halving.
Por que isso importa para quem constrói com IA
Há uma decisão prática recorrente em sistemas que acumulam conhecimento: manter fatos fora dos parâmetros, via RAG e contexto, ou escrevê-los no modelo. A primeira rota é mais barata e reversível, mas exige reenvio constante.
A segunda promete memória própria, ao custo do esquecimento.
Este paper dá números concretos para calibrar essa expectativa. Escrever memória em parâmetros com SFT sequencial puro é praticamente inútil (1,2%), e a combinação melhor estudada ainda recupera pouco mais de um terço das associações.
Para equipes que treinam adapters por cliente, domínio ou período de tempo, o recado operacional é que a composição vale mais que a escolha de um truque único.
Replay de dados com o modelo anterior e uma política de mesclar a atualização de baixo posto antes de reinicializar o adapter aparecem como as duas alavancas de maior retorno. Segundo os autores, se reforçam mutuamente.
Vale tratar isso como hipótese forte a testar no seu pipeline, não como garantia. Os experimentos são de memorização de associações, e memória de fatos não é o mesmo que competência.
Referências
- Zhang, Z.; Zhang, A.; Khashabi, D.; Shu, T. Continual Learning Mechanisms Compose for Long-Horizon Memorization. arXiv:2609.06986, cs.LG, 2026.
- McCloskey, M.; Cohen, N. J. Catastrophic Interference in Connectionist Networks, 1989.
- French, R. M. Catastrophic Forgetting in Connectionist Networks, 1999.
- Van de Ven, G. M.; Tolias, A. S. Three Scenarios for Continual Learning, 2019.
- Kirkpatrick, J. et al. Overcoming Catastrophic Forgetting in Neural Networks (EWC), 2017.
- Schwarz, J. et al. Progress and Compromise in Continual Learning (Online EWC), 2018.
- Zenke, F.; Poole, B.; Ganguli, S. Continual Learning Through Synaptic Intelligence, 2017.
- Li, Z.; Hoiem, D. Learning without Forgetting, 2017.
- Shin, H. et al. Continual Learning with Deep Generative Replay, 2017.
- Sun, F. et al. LAMOL: Language Modeling for Lifelong Language Learning, 2019.
- Buzzega, P. et al. Dark Experience for General Continual Learning, 2020.
- Hu, E. et al. LoRA: Low-Rank Adaptation of Large Language Models, 2022.
- Lialin, V. et al. ReLoRA: High-Rank Training Through Low-Rank Updates, 2024.
- Hartvigsen, T. et al. Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors, 2023.
