O time Intern-NCP apresenta o NCP-ArchPreview, um modelo de linguagem de 8,9 bilhões de parâmetros. Ele foi treinado em 5,73 trilhões de tokens do dataset Dolma-3.
O modelo combina a predição do próximo token (NTP) com a predição do próximo conceito (NCP) em um espaço latente discreto.
Segundo os autores, o modelo atinge a perda final de pré-treinamento do OLMo-3-7B consumindo apenas 51,3% dos tokens. Supera esse baseline em 2,45 pontos na macro-média de tarefas downstream.
No GSM8K, o ganho é de 5,99 pontos.
O trabalho é assinado por Jiaqi Cao, Chiyu Chen, Dahua Lin, Zhouhan Lin e Bowen Zhou, entre outros. Os autores afirmam ser a maior demonstração já feita de um modelo de linguagem em espaço latente.
Tudo o que segue deve ser lido como afirmação dos autores, não como resultado verificado de forma independente.
O que os autores propõem
O NCP-ArchPreview é descrito no relatório técnico como um modelo de linguagem em espaço latente. Ele empurra o pré-treinamento autorregressivo para além da predição do próximo token.
A proposta central é treinar com dois objetivos simultâneos. O primeiro é o NTP convencional, que preserva a geração autorregressiva no nível do token.
O segundo é o Next Concept Prediction, que exige do modelo prever conceitos discretos abrangendo múltiplos tokens.
Os autores caracterizam o NCP como um objetivo explícito e mais desafiador. Ele fica no nível do conceito, não no nível da unidade lexical.
Para viabilizar isso, o modelo constrói um espaço latente a partir dos próprios estados ocultos. Um vocabulário de conceitos é derivado por product quantization, produzindo unidades discretas.
Um módulo dedicado, o Concept Module, aprende a prever conceitos futuros nesse vocabulário.
Os conceitos previstos retornam ao nível do token para orientar a geração seguinte. Os dois objetivos são treinados conjuntamente, de ponta a ponta.
O paper completo está no arXiv.
Contexto: qual problema está sendo atacado
A predição do próximo token é o objetivo que sustenta praticamente todo o pré-treinamento de LLMs desde a consolidação da arquitetura Transformer. O argumento dos autores é que essa granularidade impõe um teto à qualidade da supervisão.
Um token isolado carrega pouca informação semântica, dizem eles. A função de perda nunca exige que o modelo represente explicitamente unidades de significado que atravessam vários tokens.
O modelo pode aprender representações internas de conceitos maiores, mas nada no treinamento o obriga a torná-las preditivas e utilizáveis.
O NCP entra nessa lacuna. Em vez de apenas aprender representações latentes emergentes, o modelo passa a ter um alvo explícito no espaço latente.
Isso aproxima o trabalho da linha de pesquisa sobre raciocínio em espaço latente e representações discretas.
A diferença está na escala. A maioria das tentativas anteriores de modelos com vocabulário de conceitos ficou em escalas modestas.
O NCP-ArchPreview leva a ideia a 8,9B parâmetros e 5,73T tokens do Dolma-3. Os autores afirmam ser a maior demonstração de um modelo de linguagem em espaço latente até o momento.
O adversário declarado na comparação é o OLMo-3-7B, referência open source relevante. A pergunta prática que o paper tenta responder é se a supervisão em nível de conceito melhora a eficiência do pré-treinamento.
Ou seja, se é possível chegar à mesma perda com menos tokens.
Como funciona
A arquitetura combina três peças. A primeira é a construção do vocabulário de conceitos.
O modelo usa seus próprios estados ocultos como matéria-prima e aplica product quantization para gerar um conjunto discreto de conceitos.
Isso significa que o vocabulário não é definido por um tokenizador externo nem por anotação humana. Ele é aprendido e indexado a partir da representação interna do próprio modelo.
A segunda é o Concept Module, um módulo especializado em prever conceitos futuros nesse vocabulário. Ele opera sobre a sequência de conceitos de forma autorregressiva, análoga ao que a cabeça de linguagem faz com tokens.
A terceira peça é o caminho de retorno. Os conceitos previstos são reinjetados no nível do token para guiar a geração subsequente.
É esse ciclo de realimentação que diferencia o NCP de uma simples tarefa auxiliar desacoplada.
Os dois objetivos são treinados de forma conjunta e ponta a ponta, com o NTP preservado. Isso importa para adoção: em termos de interface, o modelo continua sendo um gerador autorregressivo de tokens.
Adiciona-se supervisão latente, não se substitui o mecanismo de decodificação.
O resumo não detalha a camada ou camadas de onde os estados ocultos são extraídos. Também não informa o tamanho do vocabulário de conceitos, a configuração exata de product quantization, os pesos relativos das duas perdas nem se a predição de conceitos é feita com teacher forcing ou em regime livre.
Esses pontos são centrais para reprodução e não podem ser avaliados a partir do material disponível.
Resultados reportados
Os números centrais são os seguintes, todos segundo os autores:
- Consumindo apenas 51,3% do total de tokens de treinamento, o NCP-ArchPreview alcança a perda final de pré-treinamento do OLMo-3-7B.
- Após o pré-treinamento completo, supera o OLMo-3-7B em 2,45 pontos na macro-média downstream, com ganho de 5,99 pontos no GSM8K.
- Experimentos controlados isolam, segundo o paper, uma progressão clara de ganhos proveniente tanto da arquitetura latente quanto do objetivo NCP.
- Utilizando 85% da computação padrão, o modelo se aproxima da perda de treinamento de um baseline de 8,9B parâmetros estritamente alinhado em número de parâmetros.
- O espaço latente aprendido continua valioso depois do pré-treinamento: atualizar apenas o módulo de quantização vetorial, com 17M parâmetros, produz uma interface leve para adaptação de domínio.
- A injeção simples de representações de conceito em um drafter DFlash2 melhora o comprimento médio aceito em 4,17%, com overhead considerado desprezível.
Limitações e o que não foi provado
A primeira limitação é de escopo do que é verificável. Este texto se baseia apenas no resumo do paper, sem acesso ao corpo completo.
O material não indica venue nem status de revisão por pares. Os detalhes metodológicos citados acima permanecem em aberto.
A segunda é a comparação de parâmetros. O OLMo-3-7B tem 7B parâmetros; o NCP-ArchPreview tem 8,9B.
O ganho de 2,45 pontos na macro-média downstream e a economia de tokens são apresentados como vantagem do novo modelo, mas a comparação principal mistura tamanho de modelo e receita de treinamento.
Os autores respondem a isso com um baseline de 8,9B alinhado em parâmetros. O resultado relatado é que o NCP-ArchPreview "se aproxima" da perda desse baseline usando 85% da computação.
Aproximar-se não é igualar, e o resumo não quantifica a diferença.
A terceira é a ausência de métricas de custo real. Economia de tokens não é economia de FLOPs nem de tempo de parede.
O Concept Module adiciona parâmetros e computação a cada passo. O resumo não informa throughput, latência de inferência, consumo energético ou o custo total do pipeline.
Sem isso, não é possível afirmar que o método seja mais barato de treinar, apenas que precisa de menos tokens.
A quarta é a composição dos resultados. A "macro-média downstream" não é especificada.
O GSM8K aparece como único benchmark nomeado com ganho destacado. Um aumento de 5,99 pontos em uma tarefa de matemática é relevante, mas o material não informa variância, número de sementes, número de execuções nem controles de contaminação.
O ganho de 4,17% no comprimento médio aceito de um drafter DFlash2 depende de um setup que o resumo não descreve.
A quinta é a generalização. O treinamento usa um único dataset, o Dolma-3.
O material não reporta avaliação multilíngue nem qualquer evidência específica para português. Também não há números para a adaptação de domínio via módulo VQ de 17M parâmetros.
Sabe-se que a interface existe e é leve, mas não quão perto ela chega de um fine-tuning completo ou de adaptadores do tipo LoRA.
Não há menção a checkpoint público, licença ou página de projeto. Sem artefatos liberados, a reprodutibilidade permanece uma promessa.
Por que isso importa para quem constrói com IA
Para equipes que treinam ou fazem continued pretraining, a promessa mais concreta é econômica. Se a supervisão em nível de conceito realmente permite chegar à mesma perda com pouco mais da metade dos tokens, o custo de um ciclo de pré-treinamento cai muito.
Isso tem peso especial em contextos de orçamento limitado, como o brasileiro, onde treinar do zero raramente é viável e cada trilhão de tokens processado é uma decisão de negócio.
A segunda implicação é a adaptação de domínio. Um módulo de 17M parâmetros atualizável como interface leve é uma alternativa interessante ao par binário fine-tuning completo versus LoRA.
É mais barato que o primeiro, e potencialmente mais expressivo em mudanças de distribuição do que adaptadores de baixo posto aplicados apenas nas matrizes de atenção. Para verticais como jurídico, saúde ou setor público, vale acompanhar se a promessa se sustenta em benchmarks.
A terceira é serving. Melhorar o comprimento médio aceito de um drafter especulativo em 4,17% com overhead desprezível é um ganho direto de latência e custo por token em produção, ainda que dependente do setup avaliado.
A quarta, mais estratégica, é a direção arquitetural. Supervisão em nível de conceito é uma ponte entre o pré-treinamento clássico e o que se convencionou chamar de raciocínio em espaço latente.
O ganho no GSM8K sugere que forçar o modelo a predizer unidades de significado maiores pode ajudar em tarefas estruturadas, mas isso precisa ser confirmado em avaliações mais amplas. A recomendação prática é tratar o NCP-ArchPreview como sinal forte de direção de pesquisa, e não como resultado consolidado até que o corpo do paper, os artefatos e replicações independentes estejam disponíveis.
Referências
- The Intern-NCP Team et al. NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction. arXiv:2609.10715. https://arxiv.org/abs/2609.10715
- Dataset citado pelos autores: Dolma-3.
- Modelo de comparação citado pelos autores: OLMo-3-7B.
- Componente de decodificação especulativa citado pelos autores: DFlash2.
