A equipe do Hugging Face publicou, em outubro de 2026, um artigo que apresenta o Beam, um modelo de linguagem aberto de 501 bilhões de parâmetros criado pela Reflection. O texto, assinado por ben burtenshaw, merve e Pedro Cuenca, descreve um sistema voltado a codificação e a casos de uso agênticos, pensado para equipes que querem operar um modelo de escala de fronteira em hardware, infraestrutura ou nuvem próprios, e personalizá-lo conforme suas necessidades.
A proposta central combina a capacidade de um modelo grande com velocidade de execução próxima à de modelos muito menores.
O que é o beam
O Beam é um LLM esparso do tipo MoE (Mixture of Experts). São 501 bilhões de parâmetros no total, mas apenas 23 bilhões ativos por token.
A arquitetura tem 52 camadas e 256 experts por camada MoE, dos quais 8 são roteados por token. Na prática, cada token é processado por uma fração pequena da rede, o que mantém a capacidade de um modelo grande com o custo computacional de um modelo bem menor.
A entrada e a saída são apenas texto, com uma janela de contexto de 1 milhão de tokens.
Os pesos estão disponíveis em três formatos de checkpoint: BF16, FP8 e NVFP4. Essa variedade permite escolher o equilíbrio entre precisão numérica e uso de memória de acordo com o hardware disponível.
Como funciona a atenção
O decodificador tem 52 camadas com hidden size de 5.120. A maior parte das camadas usa atenção de janela deslizante sobre os 512 tokens anteriores; a cada sexta camada, além da última, a atenção cobre todo o contexto.
O resultado é uma divisão em 43 camadas de janela deslizante e 9 globais.
Os dois tipos de camada tratam posição de formas diferentes. As de janela deslizante usam RoPE, já que a posição relativa importa dentro de uma janela curta.
As camadas globais não usam codificação posicional: em vez disso, cada query é multiplicada por um escalonador que cresce lentamente com o número de tokens visíveis, segundo a fórmula (1 + (pos + 1) / 2048) ** 0.1. Esse recurso funciona como uma temperatura e evita que a softmax perca precisão conforme o contexto se alonga.
A atenção ainda emprega grouped-query attention, com 48 cabeças de query e 8 de chave-valor, além de RMSNorm em queries e chaves.
Recursos para agentes e pós-treinamento
Entre os recursos voltados a uso agêntico, o Beam permite que o raciocínio permaneça no contexto ao longo dos turnos, por meio do parâmetro preserve_thinking. O modelo também faz chamadas de ferramentas com uma gramática dedicada e aceita cinco valores de raciocínio: low, medium (padrão), high, xhigh e max.
Há ainda um template de resposta no tokenizer e um modelo drafter de decodificação especulativa com DFlash2.
No lado das ferramentas, o suporte chega no primeiro dia a transformers, SGLang e vLLM, com aprendizado por reforço de parâmetros completos via Miles. O Beam também acompanha um harness próprio, de código aberto e baseado em Rust, que segundo a publicação entrega o melhor desempenho do modelo.
Para quem quer construir em cima dele, a Hugging Face e a Reflection prepararam receitas de inferência, SFT (ajuste fino supervisionado) e RL.
Oportunidade para quem constrói
A Reflection vai distribuir 10 mil dólares em créditos do Hub aos melhores projetos que usem o Beam. As possibilidades citadas incluem criar uma demonstração em Spaces, quantizar o modelo para um hardware específico, gerar um dataset sintético para um problema particular, montar um ambiente de RL ou publicar benchmarks. Basta construir o Space, modelo ou repositório de dataset e compartilhar o link na página de discussão do modelo.
Ao final, os créditos são enviados para as contas do Hub dos selecionados.
Por que isso importa
Modelos abertos de escala de fronteira, com contexto de 1 milhão de tokens e foco declarado em codificação e agentes, ampliam o espaço para equipes que não querem depender exclusivamente de APIs proprietárias. A escolha por uma arquitetura MoE esparsa e por formatos de quantização alternativos aponta para um esforço de tornar viável a operação em infraestrutura própria.
O fato de o pacote incluir receitas de pós-treinamento e um harness dedicado sugere que o objetivo não é apenas disponibilizar pesos, mas entregar um caminho completo de adaptação e execução.
Fontes e links
- Hugging Face — matéria original sobre o Beam
- Beam-1.0-501B-A23B, página do modelo no Hub
- Harness Mirror da Reflection, documentação do harness em Rust
