Xing 4: LLMs agênticos e esparsos treinados em Ascend

shape
shape
shape
shape
shape

Xing 4: LLMs agênticos e esparsos treinados em Ascend

Xing 4: LLMs agênticos e esparsos treinados em Ascend

Um relatório técnico do laboratório Xingchen AGI descreve como a linha TeleChat evoluiu para a família Xing 4. São modelos de linguagem com ativação esparsa, projetados junto com a infraestrutura de treinamento no ecossistema Ascend e MindSpore.

O exemplo central é um MoE de 285 bilhões de parâmetros, com 17 bilhões ativados por token e suporte a contextos de 1 milhão de tokens. Foi pré-treinado em 8.192 placas Ascend 910C.

A tese dos autores, liderados por Baotian Hu, Bingkai Yang, Boyang Wang e Changzai Pan, é que arquitetura e engenharia de sistemas formam um único problema de projeto. Não são camadas separadas.

O que os autores propõem

O relatório, disponível no arXiv, organiza-se em três frentes declaradas. A primeira é um desenho arquitetural orientado às características do Ascend 910C.

Envolve ativação esparsa, escolhas de atenção para contexto longo, equilíbrio entre profundidade e largura da rede e decodificação especulativa. Tudo avaliado pelos efeitos em utilização de matriz, acesso à memória e custo de execução sequencial.

A segunda frente é a infraestrutura de pré-treinamento sobre o MindSpore HyperParallel. Combina sharding híbrido sensível à topologia, execução distribuída do otimizador Muon, gestão de cargas de sequência longa e memória de ativação.

Traz ainda afinidade de CPU e isolamento de núcleos para reduzir interferência de escalonamento no host.

A terceira é o TeleGym, uma plataforma unificada de execução de agentes. Ela conecta ambientes, avaliação e construção de trajetórias à otimização de política por aprendizado por reforço.

Os autores também abrem um membro da família: o Xing4.0-29B-A4B, com 29 bilhões de parâmetros totais, 4 bilhões ativados por token e suporte nativo a contextos de 256 mil tokens. Está disponível no repositório do projeto.

Contexto: qual problema está sendo atacado

A linha TeleChat vem de uma progressão conhecida. TeleChat como base aberta de pré-treinamento, instrução e alinhamento.

TeleChat2, 2.5 e T1 ampliando raciocínio, código e contexto longo. TeleChat3-MoE chegando a modelos de centenas de bilhões a mais de um trilhão de parâmetros, com trabalho sistemático em verificação numérica e desempenho de cluster.

Todo esse percurso foi financiado por investimento contínuo no ecossistema doméstico Ascend e MindSpore. Isso dá ao relatório um caráter de prestação de contas sobre uma aposta de soberania tecnológica.

Os autores identificam dois gargalos. O primeiro é a inferência em contexto longo.

Mesmo com MLA comprimindo o KV cache, a atenção principal ainda precisa acessar um número grande de estados históricos. A latência de decodificação cresce com o comprimento do contexto.

O segundo é a eficiência no Ascend 910C. O chip tem boa capacidade de computação matricial no Cube, mas computação vetorial e banda de HBM relativamente mais restritas.

Redes muito profundas amplificam overheads não matriciais: normalização, roteamento de especialistas, indexação, escalonamento e movimentação de dados. Isso derruba a utilização efetiva do Cube.

Somam-se a isso as cargas agênticas: raciocínio de horizonte longo, uso de ferramentas em múltiplos turnos, planejamento e inferência de alta concorrência. Essas cargas tornam os requisitos interdependentes.

Históricos maiores aumentam o custo de atenção, enquanto chamadas repetidas ao modelo expõem a latência de decodificação.

Como funciona

No exemplo de 285B, o backbone é um decoder-only MoE que combina MLA, DeepSeek Sparse Attention (DSA) e IndexShare. As três primeiras camadas usam FFN densa; as demais, FFN com especialistas.

O MLA comprime representações de KV. O DSA usa um indexador leve para selecionar os top-k estados históricos relevantes por consulta, de modo que a atenção principal opere sobre um subconjunto esparso.

O IndexShare reutiliza índices entre camadas, cortando o custo repetido de indexação.

A decodificação especulativa fica por conta do DSpark, com modelo rascunho por blocos, uma cabeça de Markov leve e uma cabeça de confiança de aceitação. O mecanismo eleva o número de tokens aceitos por invocação do verificador.

O MTP permanece como objetivo auxiliar de treinamento, e o mHC (conectividade residual modificada) aparece no membro de 29B ao lado de MLA e MTP.

No sistema, o HSDP sensível à topologia, construído sobre FSDP, alinha a distribuição do estado do modelo à hierarquia de banda do cluster. Isso permite execução sem estágios de pipeline.

A execução "owner-based" do Muon atribui a ortogonalização de matriz completa a processos designados dentro dos domínios de shard. Evita cálculo redundante e preserva o estado fragmentado.

Para sequências longas, os autores descrevem atribuição de carga por custo, layouts de tokens reutilizáveis, compactação de KV ciente de documentos, backward antecipado do indexador e recomputação seletiva.

O TeleGym entra na etapa de pós-treinamento. Um servidor intermediário liga interações de tarefas e resultados avaliados a um pipeline comum de otimização de política, com representação compartilhada de trajetória.

Execução assíncrona desagregada em pools de dispositivos separados, sobreamostragem limitada e rollout parcial acomodam tarefas de duração heterogênea. Registros de política no momento da amostragem e agrupamento de recompensas por execução preservam a informação necessária quando uma trajetória atravessa várias versões de política.

Resultados reportados

O estudo arquitetural usa o framework de simulação Zhanlu, da Huawei, para modelar computação, acesso à memória e comunicação do Ascend 910C em implantação com prefill e decode desagregados. Na Tabela 2 do relatório, todos os números são normalizados contra a linha de base MLA.

MLA+DSA reduz substancialmente TTFT e TPOT e aumenta a vazão em cenários de contexto longo. O acréscimo de IndexShare traz ganho adicional ao diminuir a indexação repetida.

Os autores não apresentam, no trecho disponível, valores absolutos de latência ou de throughput.

Em sistemas, o resultado concreto é o pré-treinamento do modelo de 285B em 8.192 Ascend 910C, com 17B parâmetros ativados por token e contexto de 1M tokens. Ele serve de caso de teste para os estudos de arquitetura e de infraestrutura.

O relatório combina simulação, medições de pré-treinamento e análise em nível de operador, e cada avaliação especifica o modelo e a configuração de hardware usados.

Limitações e o que não foi provado

A primeira ressalva é dos próprios autores: a simulação não captura todos os overheads de uma implantação em produção real. Os resultados tendem a ser mais otimistas do que medições ponta a ponta.

Isso vale justamente para os ganhos de TTFT e TPOT que sustentam a escolha de MLA+DSA+IndexShare.

A segunda é a ausência, no material disponível, de benchmarks de qualidade. Nada de MMLU, GSM8K, HumanEval ou avaliações agênticas com números comparáveis a modelos concorrentes.

O relatório é, na parte extraída, um documento de sistemas: descreve como treinar e servir de forma eficiente, não quanto o modelo é melhor em tarefas. Também não há informação de venue ou de revisão por pares, o que é típico de relatórios internos de laboratório e deve ser levado em conta.

A terceira é a transferibilidade. As conclusões arquiteturais são explicitamente calibradas para o equilíbrio Cube/Vector/HBM do Ascend 910C.

Trocar por GPU ou por outro acelerador muda as razões de compromisso. Os mecanismos de rollout parcial e execução assíncrona são descritos como forma de preservar a informação de cada política.

O trecho disponível, porém, não traz ablações mostrando o impacto dessas escolhas na estabilidade ou no desempenho final do RL.

Por que isso importa para quem constrói com IA

Para equipes que operam modelos, o recado prático é que eficiência virou restrição de primeira ordem, não otimização posterior. Atenção esparsa com reutilização de índices entre camadas, decodificação especulativa por blocos e compactação de KV ciente de documentos atacam custos que aparecem exatamente quando se colocam agentes em produção.

Histórico crescendo, muitas chamadas por tarefa e concorrência alta.

O TeleGym também merece atenção como padrão de engenharia. Separa geração e otimização em pools de dispositivos distintos, com sobreamostragem limitada e retomada de trajetórias após atualizações de política.

É uma resposta direta ao problema de tarefas com durações muito diferentes, algo que qualquer pipeline de RL para agentes enfrenta, independentemente do hardware.

Há ainda a dimensão de stack. Um modelo de 285B treinado em 8.192 aceleradores não NVIDIA, com framework próprio, mostra que a diversidade de hardware deixou de ser experimental.

Para quem constrói no Brasil, isso alimenta duas discussões concretas: custo de inferência e de contexto longo em implantações locais, e o risco de dependência de um único fornecedor de silício e de software. O membro aberto de 29B com 4B ativados e 256K de contexto é o artefato mais imediatamente utilizável desse esforço, ainda que falte, no material disponível, evidência pública de qualidade em benchmarks.

Referências

  • Xingchen AGI Lab; Hu, Baotian; Yang, Bingkai; Wang, Boyang; Pan, Changzai; et al. TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks. arXiv:2611.22115. Disponível em: arXiv.org/abs/2611.22115.
  • XingChen-AGI. Repositório e página do projeto Xing 4. Disponível em: GitHub.com/XingChen-AGI.
  • Trabalhos citados pelos autores e usados como base técnica: MLA (DeepSeek-AI et al., 2024a), DeepSeek Sparse Attention (DeepSeek-AI et al., 2025), IndexShare (Bai et al., 2026; Z.ai, 2026), mHC (Xie et al., 2026), DSpark (Cheng et al., 2026), FSDP (Zhao et al., 2023), Muon distribuído (Liu et al., 2025a), MindSpore HyperParallel (MindSpore Team) e o framework de simulação Zhanlu (Huawei).

Últimos Artigos

Xing 4: LLMs agênticos e esparsos treinados em Ascend
Gamer: modelo VLA generalista para jogos de longo horizonte
Robótica agêntica: o System 2 encarnado e seu roteiro de pesquisa
BirdDreams: vídeo em perspectiva e BEV gerados juntos para direção