Um benchmark com 2.919 tarefas em 11 domínios sustenta uma conclusão desconfortável para quem acompanha rankings de acurácia. Desempenho agregado alto não implica decisão confiável.
O trabalho é descrito no artigo SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models. Os autores Lichen Li, Ziping Dong, Sicheng Feng, Qi Li e Xinchao Wang avaliam 21 modelos.
O melhor modelo System One em capacidade aparece apenas em sétimo lugar quando o critério passa a ser confiabilidade. O artigo está disponível no arXiv e tem página de projeto com dados e resultados.
O que os autores propõem
O SO-Arena é um benchmark para caracterizar duas dimensões de modelos System One: o espectro de capacidades e a confiabilidade das decisões. O conjunto reúne 2.919 tarefas derivadas de 40 datasets, benchmarks e ambientes públicos.
As tarefas estão organizadas em 11 domínios e cinco famílias de capacidade: compreensão semântica, conhecimento e raciocínio, segurança e conformidade com políticas, avaliação de evidências e conclusão de tarefas por agentes.
Os autores listam quatro exigências de projeto e afirmam tê-las atendido. A primeira é ter rótulos de referência apoiados por evidência visível ao modelo.
A segunda é distinguir desempenho ao longo de níveis crescentes de complexidade.
A terceira exigência é avaliar modelos como executores e como verificadores em ambientes interativos. A quarta é medir confiabilidade sob mudanças controladas no conjunto de opções disponíveis.
A contribuição metodológica mais relevante não é o tamanho do benchmark. É a separação explícita entre "acertar" e "decidir de forma estável e calibrada".
Contexto: qual problema está sendo atacado
Modelos de raciocínio do tipo System Two, com traços explícitos de pensamento, trouxeram ganhos em matemática, programação e ciência. O custo de inferência é maior, porque o modelo precisa gerar tokens adicionais antes de responder.
Os autores argumentam que muitas decisões rotineiras em fluxos de software podem ser tomadas sem esse traço explícito. Exemplos: rotear requisições, selecionar ações de ferramentas e verificar se uma tarefa foi concluída.
Modelos System One, como o Jev, atacam esse nicho. Produzem em um único forward pass uma distribuição de probabilidades sobre desfechos predefinidos, com latência menor e saídas estruturadas que o software a jusante consome diretamente.
O problema apontado é que os benchmarks existentes tendem a reportar acurácia agregada. Oferecem pouca visão sobre a amplitude real das capacidades e quase nenhuma sobre a confiabilidade da decisão.
Um modelo pode acertar a maioria das questões de um domínio e mudar de resposta quando as alternativas são reordenadas. Pode também aceitar uma questão sem resposta correta.
Como funciona
A formulação é a de um problema de decisão. O modelo recebe um estado (texto, registros estruturados, passagens recuperadas ou histórico de interação), uma especificação do objetivo e o conjunto de desfechos admissíveis com suas descrições.
Devolve uma distribuição sobre esses desfechos.
Três formatos são suportados, seguindo a interface de estilo Jev. O primeiro é a seleção categórica entre alternativas sem ordem imposta. O segundo é o julgamento binário sim/não.
O terceiro é a avaliação ordinal em escalas nativas da fonte. A nota prevista é o nível mais provável, e o crédito é limitado a níveis adjacentes, porque a ordem não estabelece distâncias semânticas iguais.
O benchmark se divide em 2.300 tarefas estáticas e 619 tarefas baseadas em ambiente. As estáticas convertem questões de múltipla escolha, tarefas de classificação e problemas abertos de matemática com distratores.
Os distratores são construídos a partir de respostas erradas de um modelo-base, de resultados intermediários da solução e de aproximações por regras. As tarefas de ambiente incluem 337 tarefas web: 100 julgamentos de passo único e 237 percursos de referência verificados por replay.
Há também 282 episódios interativos de uso de ferramentas, executados nos simuladores BFCL e ToolSandbox, com pontuação segundo os critérios de sucesso de cada benchmark de origem. As fontes citadas incluem GoEmotions, MATH500, GPQA Diamond, Mind2Web, BFCL, ToolSandbox, BrowseComp-Plus e VirtualHome.
Nove dos 11 domínios possuem camadas de dificuldade definidas por critérios específicos do domínio. Em matemática, usa-se o nível de dificuldade da fonte ou o número de passos de cálculo.
Na verificação de conclusão de tarefas, os autores distinguem checagens diretas de estado, julgamentos que exigem integrar evidências e julgamentos que dependem do histórico de execução. O placar de capacidade pondera os 11 domínios igualmente e dá peso aos tiers mais difíceis.
Os autores justificam a escolha como forma de tornar o ranking mais sensível a diferenças em tarefas exigentes. A confiabilidade é medida por dois indicadores.
O primeiro é a estabilidade sob ordenação.
Cada item é apresentado na ordem original e em 12 reordenações, com a resposta identificada pelo conteúdo da opção, não pela posição. O resultado é reescalonado para que escolhas aleatórias pontuem zero e concordância total pontue um.
O segundo indicador é o reconhecimento da ausência de opção correta. O modelo precisa atribuir probabilidade maior à ausência de resposta válida quando a alternativa correta é removida.
A métrica é a AUC dessa previsão sobre todas as cópias do item.
Latência de inferência também é registrada.
Resultados reportados
Segundo os autores, dois modelos de referência System Two lideram o placar de capacidade. GLiDE e KnowLine-31B alcançam as maiores notas entre os modelos System One, evidência de que persiste uma lacuna de desempenho apesar da vantagem substancial de velocidade destes últimos.
A confiabilidade não segue o mesmo ordenamento. JevAny-27B obtém a maior pontuação de confiabilidade entre os System One avaliados, ainda que ocupe apenas a 11ª posição em capacidade.
O dado mais citado no resumo é a divergência entre as duas dimensões. O melhor modelo System One em capacidade fica somente em sétimo lugar em confiabilidade.
Os autores também relatam que o desempenho cai com o aumento da dificuldade, sobretudo em cenários agênticos. Ganhos obtidos com backbones mais fortes e com raciocínio adicional variam substancialmente de domínio para domínio.
Limitações e o que não foi provado
A primeira limitação está declarada no próprio método. A métrica de estabilidade sob reordenação mede consistência, não correção.
Um modelo pode ser perfeitamente estável e estar sistematicamente errado.
O indicador de null discrimination usa uma estimativa de probabilidade de que ao menos uma opção correta esteja presente. Os autores abrem uma exceção para o StartLux Instant, pontuado com sua própria saída nula.
A qualidade dos rótulos depende de um processo misto. As referências vêm das fontes originais, são revisadas manualmente e com apoio de LLMs, e itens com referências duvidosas são excluídos.
Referências derivadas de modelo são sinalizadas nos metadados.
Isso é mais rigoroso do que a média da área, mas verificação manual não é infalível. As 40 fontes distintas carregam vieses próprios de coleta e de anotação que o benchmark não elimina.
Há escolhas de design que afetam o ranking: a ponderação igual por domínio, o foco nos tiers mais difíceis e a exclusão de tarefas que exigem resposta em texto livre. O artigo avalia 21 modelos, e nada no material garante que a ordenação se mantenha fora desse conjunto ou em versões futuras.
O trabalho não demonstra que as métricas de confiabilidade aqui definidas prevejam falhas em produção. Ele estabelece uma correlação fraca entre acurácia agregada e estabilidade de decisão.
É um alerta, não uma garantia preditiva.
Por que isso importa para quem constrói com IA
Quem opera sistemas com modelos System One escolhe modelos principalmente por latência e custo. O SO-Arena sugere que essa escolha precisa de uma segunda planilha: a de confiabilidade.
Um roteador de requisições que muda de classificação quando a ordem das categorias muda é um bug silencioso. Um verificador de conclusão de tarefa que aceita um estado final idêntico ignorando requisitos intermediários violados é um risco operacional concreto.
Os autores tratam desse caso ao distinguir verificações que dependem do histórico de execução.
Os dois testes de confiabilidade são baratos e reproduzíveis o suficiente para virar rotina de avaliação interna. Reordenar opções e remover a alternativa correta são perturbações simples de implementar sobre qualquer conjunto de validação próprio.
Para equipes que constroem agentes, o indicador de reconhecimento de ausência de resposta é especialmente relevante. A capacidade de abster-se e escalar para um humano é o que separa automação controlada de automação caótica.
A conclusão prática é que rankings de capacidade não substituem avaliação no domínio de destino. Se o melhor modelo em acurácia agregada é apenas o sétimo em confiabilidade, a decisão de adoção deve ser feita com as duas métricas na mesa, e preferencialmente medidas nos dados da própria aplicação.
A página do projeto, com dados e resultados, é o ponto de partida natural para replicar o protocolo.
Referências
Lichen Li, Ziping Dong, Sicheng Feng, Qi Li e Xinchao Wang. SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models. arXiv:2611.15777, cs.CL, 2026. 32 páginas, 10 figuras, 7 tabelas.
Disponível em: https://arxiv.org/abs/2611.15777
Página do projeto SO-Arena: https://lichenlillc.github.io/SO-Arena
