Um relatório técnico do laboratório Xingchen AGI descreve como a linha TeleChat evoluiu para a família Xing 4. São modelos de linguagem com ativação esparsa, projetados junto com a infraestrutura de treinamento no ecossistema Ascend e MindSpore.
O exemplo central é um MoE de 285 bilhões de parâmetros, com 17 bilhões ativados por token e suporte a contextos de 1 milhão de tokens. Foi pré-treinado em 8.192 placas Ascend 910C.
A tese dos autores, liderados por Baotian Hu, Bingkai Yang, Boyang Wang e Changzai Pan, é que arquitetura e engenharia de sistemas formam um único problema de projeto. Não são camadas separadas.
O que os autores propõem
O relatório, disponível no arXiv, organiza-se em três frentes declaradas. A primeira é um desenho arquitetural orientado às características do Ascend 910C.
Envolve ativação esparsa, escolhas de atenç ão para contexto longo, equilíbrio entre profundidade e largura da rede e decodificação especulativa. Tudo avaliado pelos efeitos em utilização de matriz, acesso à memória e custo de execução sequencial.
A segunda frente é a infraestrutura de pré-treinamento sobre o MindSpore HyperParallel. Combina sharding híbrido sensível à topologia, execução distribuída do otimizador Muon, gestão de cargas de sequência longa e memória de ativação.
Traz ainda afinidade de CPU e isolamento de núcleos para reduzir interferência de escalonamento no host.
A terceira é o TeleGym, uma plataforma unificada de execução de agentes. Ela conecta ambientes, avaliação e construção de trajetórias à otimização de política por aprendizado por reforço.
Os autores também abrem um membro da família: o Xing4.0-29B-A4B, com 29 bilhões de parâmetros totais, 4 bilhões ativados por token e suporte nativo a contextos de 256 mil tokens. Está disponível no repositório do projeto.
Contexto: qual problema está sendo atacado
A linha TeleChat vem de uma progressão conhecida. TeleChat como base aberta de pré-treinamento, instrução e alinhamento.
TeleChat2, 2.5 e T1 ampliando raciocínio, código e contexto longo. TeleChat3-MoE chegando a modelos de centenas de bilhões a mais de um trilhão de parâmetros, com trabalho sistemático em verificação numérica e desempenho de cluster.
Todo esse percurso foi financiado por investimento contínuo no ecossistema doméstico Ascend e MindSpore. Isso dá ao relatório um caráter de prestação de contas sobre uma aposta de soberania tecnológica.
Os autores identificam dois gargalos. O primeiro é a inferência em contexto longo.
Mesmo com MLA comprimindo o KV cache, a atenção principal ainda precisa acessar um número grande de estados históricos. A latência de decodificação cresce com o comprimento do contexto.
O segundo é a eficiência no Ascend 910C. O chip tem boa capacidade de computação matricial no Cube, mas computação vetorial e banda de HBM relativamente mais restritas.
Redes muito profundas amplificam overheads não matriciais: normalização, roteamento de especialistas, indexação, escalonamento e movimentação de dados. Isso derruba a utilização efetiva do Cube.
Somam-se a isso as cargas agênticas: raciocínio de horizonte longo, uso de ferramentas em múltiplos turnos, planejamento e inferência de alta concorrência. Essas cargas tornam os requisitos interdependentes.
Históricos maiores aumentam o custo de atenção, enquanto chamadas repetidas ao modelo expõem a latência de decodificação.
Como funciona
No exemplo de 285B, o backbone é um decoder-only MoE que combina MLA, DeepSeek Sparse Attention (DSA) e IndexShare. As três primeiras camadas usam FFN densa; as demais, FFN com especialistas.
O MLA comprime representações de KV. O DSA usa um indexador leve para selecionar os top-k estados históricos relevantes por consulta, de modo que a atenção principal opere sobre um subconjunto esparso.
O IndexShare reutiliza índices entre camadas, cortando o custo repetido de indexação.
A decodificação especulativa fica por conta do DSpark, com modelo rascunho por blocos, uma cabeça de Markov leve e uma cabeça de confiança de aceitação. O mecanismo eleva o número de tokens aceitos por invocação do verificador.
O MTP permanece como objetivo auxiliar de treinamento, e o mHC (conectividade residual modificada) aparece no membro de 29B ao lado de MLA e MTP.
No sistema, o HSDP sensível à topologia, construído sobre FSDP, alinha a distribuição do estado do modelo à hierarquia de banda do cluster. Isso permite execução sem estágios de pipeline.
A execução "owner-based" do Muon atribui a ortogonalização de matriz completa a processos designados dentro dos domínios de shard. Evita cálculo redundante e preserva o estado fragmentado.
Para sequências longas, os autores descrevem atribuição de carga por custo, layouts de tokens reutilizáveis, compactação de KV ciente de documentos, backward antecipado do indexador e recomputação seletiva.
O TeleGym entra na etapa de pós-treinamento. Um servidor intermediário liga interações de tarefas e resultados avaliados a um pipeline comum de otimização de política, com representação compartilhada de trajetória.
Execução assíncrona desagregada em pools de dispositivos separados, sobreamostragem limitada e rollout parcial acomodam tarefas de duração heterogênea. Registros de política no momento da amostragem e agrupamento de recompensas por execução preservam a informação necessária quando uma trajetória atravessa várias versões de política.
Resultados reportados
O estudo arquitetural usa o framework de simulação Zhanlu, da Huawei, para modelar computação, acesso à memória e comunicação do Ascend 910C em implantação com prefill e decode desagregados. Na Tabela 2 do relatório, todos os números são normalizados contra a linha de base MLA.
MLA+DSA reduz substancialmente TTFT e TPOT e aumenta a vazão em cenários de contexto longo. O acréscimo de IndexShare traz ganho adicional ao diminuir a indexação repetida.
Os autores não apresentam, no trecho disponível, valores absolutos de latência ou de throughput.
Em sistemas, o resultado concreto é o pré-treinamento do modelo de 285B em 8.192 Ascend 910C, com 17B parâmetros ativados por token e contexto de 1M tokens. Ele serve de caso de teste para os estudos de arquitetura e de infraestrutura.
O relatório combina simulação, medições de pré-treinamento e análise em nível de operador, e cada avaliação especifica o modelo e a configuração de hardware usados.
Limitações e o que não foi provado
A primeira ressalva é dos próprios autores: a simulação não captura todos os overheads de uma implantação em produção real. Os resultados tendem a ser mais otimistas do que medições ponta a ponta.
Isso vale justamente para os ganhos de TTFT e TPOT que sustentam a escolha de MLA+DSA+IndexShare.
A segunda é a ausência, no material disponível, de benchmarks de qualidade. Nada de MMLU, GSM8K, HumanEval ou avaliações agênticas com números comparáveis a modelos concorrentes.
O relatório é, na parte extraída, um documento de sistemas: descreve como treinar e servir de forma eficiente, não quanto o modelo é melhor em tarefas. Também não há informação de venue ou de revisão por pares, o que é típico de relatórios internos de laboratório e deve ser levado em conta.
A terceira é a transferibilidade. As conclusões arquiteturais são explicitamente calibradas para o equilíbrio Cube/Vector/HBM do Ascend 910C.
Trocar por GPU ou por outro acelerador muda as razões de compromisso. Os mecanismos de rollout parcial e execução assíncrona são descritos como forma de preservar a informação de cada política.
O trecho disponível, porém, não traz ablações mostrando o impacto dessas escolhas na estabilidade ou no desempenho final do RL.
Por que isso importa para quem constrói com IA
Para equipes que operam modelos, o recado prático é que eficiência virou restrição de primeira ordem, não otimização posterior. Atenção esparsa com reutilização de índices entre camadas, decodificação especulativa por blocos e compactação de KV ciente de documentos atacam custos que aparecem exatamente quando se colocam agentes em produção.
Histórico crescendo, muitas chamadas por tarefa e concorrência alta.
O TeleGym também merece atenção como padrão de engenharia. Separa geração e otimização em pools de dispositivos distintos, com sobreamostragem limitada e retomada de trajetórias após atualizações de política.
É uma resposta direta ao problema de tarefas com durações muito diferentes, algo que qualquer pipeline de RL para agentes enfrenta, independentemente do hardware.
Há ainda a dimensão de stack. Um modelo de 285B treinado em 8.192 aceleradores não NVIDIA, com framework próprio, mostra que a diversidade de hardware deixou de ser experimental.
Para quem constrói no Brasil, isso alimenta duas discussões concretas: custo de inferência e de contexto longo em implantações locais, e o risco de dependência de um único fornecedor de silício e de software. O membro aberto de 29B com 4B ativados e 256K de contexto é o artefato mais imediatamente utilizável desse esforço, ainda que falte, no material disponível, evidência pública de qualidade em benchmarks.
Referências
- Xingchen AGI Lab; Hu, Baotian; Yang, Bingkai; Wang, Boyang; Pan, Changzai; et al. TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks. arXiv:2611.22115. Disponível em: arXiv.org/abs/2611.22115.
- XingChen-AGI. Repositório e página do projeto Xing 4. Disponível em: GitHub.com/XingChen-AGI.
- Trabalhos citados pelos autores e usados como base técnica: MLA (DeepSeek-AI et al., 2024a), DeepSeek Sparse Attention (DeepSeek-AI et al., 2025), IndexShare (Bai et al., 2026; Z.ai, 2026), mHC (Xie et al., 2026), DSpark (Cheng et al., 2026), FSDP (Zhao et al., 2023), Muon distribuído (Liu et al., 2025a), MindSpore HyperParallel (MindSpore Team) e o framework de simulação Zhanlu (Huawei).




