A revisão por pares está sob pressão. O volume de submissões cresce, e comentários escritos por humanos ou por LLMs afirmam sobre um artigo coisas que o artigo não sustenta.
Dingjie Song, Zhiling Yan, Ziqian Zhang, Yuxuan Zhang e Lichao Sun propõem o PremiseCheck. É um framework que decompõe cada comentário em premissas explícitas sem ler o paper.
A verificação fica delegada a modelos de decisão baratos.
Segundo os autores, o método atinge acurácia comparável à do GPT-5.5 em três áreas do conhecimento, a cerca de metade do custo. Em revisões de NLP, a um quarto do custo e menos da metade da latência.
O trabalho também apresenta o ReviewFact, benchmark com 9.267 comentários sobre 217 artigos.
O que os autores propõem
O paper, disponível em arXiv.org/abs/2610.21046, faz duas contribuições que se sustentam mutuamente. A primeira é uma definição operacional da tarefa.
Dado um artigo e um comentário de revisão, o sistema deve produzir um escore tal que valores baixos indiquem erro factual. Ou seja, que o comentário afirme algo que o paper não sustenta.
Ficam de fora erros de julgamento, como a importância de uma crítica. Os autores adotam as quatro categorias de erro factual de ReviewCritique: má leitura do paper (Misunderstanding), alegação de que falta algo que está lá (Neglect), afirmação sem base no texto (Unstated statement) e resumo impreciso (Inaccurate summary).
A segunda contribuição é o arcabouço de verificação. A intuição central é que entender o que um comentário afirma exige um LLM, mas não exige o artigo.
Já ler o artigo é a parte cara. Um modelo de decisão consegue fazê-la desde que as asserções estejam explícitas.
Com um decompositor de raciocínio médio, o PremiseCheck fica a no máximo 0,3 pontos de AUROC do GPT-5.5 holístico (ou acima dele) em todas as partes do ReviewFact, a aproximadamente metade do custo.
Contexto: qual problema está sendo atacado
Erros factuais em pareceres enganam autores e distorcem decisões. Na escala atual, não podem mais ser capturados manualmente.
Um chair não relê cada paper para checar cada comentário, e o autor só corrige o erro no rebate. Com LLMs escrevendo uma fatia crescente das revisões, o problema deixa de ser apenas editorial e passa a ser de infraestrutura.
Os benchmarks existentes (ReviewCritique, ReviewScore, Phys. Rev. B e ClaimCheck) anotam comentários contra o paper. Segundo os autores, porém, rotulam erros factuais de forma inconsistente ou nem os rotulam, e servem a objetivos mais amplos.
O ReviewFact reutiliza as anotações especializadas desses três conjuntos (um por área), sem coletar novos comentários ou artigos. Aplica uma única definição de erro factual em NLP, aprendizado de máquina e ciências naturais.
Além da acurácia, mede custo em dólares e latência em segundos por comentário, algo raro em benchmarks de verificação.
Um detalhe de escala justifica a preocupação com custo. Erros são raros: 4,8% dos comentários de NLP e 2,5% dos de ciências naturais.
A maioria das chamadas é gasta em comentários corretos.
O comentário mediano tem 17, 48 e 70 palavras. O paper mediano tem 8,5 mil, 9,1 mil e 14,4 mil tokens.
Um sistema que relê o artigo a cada comentário gasta quase todo o orçamento de entrada no paper.
Como funciona
O pipeline tem quatro etapas. Primeiro, um LLM decompõe o comentário em uma conclusão e premissas.
Cada uma é uma sentença declarativa autocontida que nomeia o método, a tabela ou a seção referida.
O prompt pede premissas explícitas e implícitas, incluindo o que uma pergunta pressupõe, como em "os autores testaram outros modelos?". Proíbe acrescentar fatos que o revisor não afirmou.
Crucialmente, o decompositor nunca vê o paper.
Em seguida vem o roteamento. Algumas premissas dependem do artigo ("o paper não reporta resultados no dataset X"), outras de conhecimento geral ("o método Y é um baseline padrão").
O modelo de decisão estima a probabilidade de a premissa ser decidível apenas pelo paper. Conforme o limiar, a trata como ancorada no texto ou como conhecimento.
Na verificação, ele lê o artigo junto com a premissa e responde à pergunta correspondente à rota. Há um ajuste específico nas revisões de ciências naturais, em que o decompositor marca as premissas e uma pergunta de contradição substitui o roteamento.
A agregação adota o escore da premissa mais fraca: se o comentário se apoia em premissa falsa, contém erro factual. Se o decompositor não devolve premissa, menos de 1% dos comentários de NLP, o sistema recai no julgamento holístico do modelo de decisão.
A economia vem da assimetria. A chamada ao LLM é curta porque exclui o paper, e o modelo de decisão não gera texto.
O custo cresce apenas com o comprimento da entrada. Na implementação descrita, todas as chamadas ao modelo de decisão somam US$ 0,0015 por comentário nas revisões de NLP.
Código e prompts estão em GitHub.com/OpenLAIR/PremiseCheck.
Resultados reportados
Os autores reportam que o PremiseCheck, avaliando cada comentário isoladamente, fica a até 0,3 pontos de AUROC do GPT-5.5 holístico, ou o supera, em todas as três partes do ReviewFact, a cerca de metade do custo. Nas revisões de NLP, um decompositor sem raciocínio reduz o custo a um quarto e a latência a menos da metade, mantendo-se não inferior.
O ganho é atribuído à decomposição, não a um modelo específico. Quatro modelos de decisão de fornecedores distintos, incluindo o modelo aberto Kev-27B, chegam a até um ponto do GPT-5.5 holístico como verificadores.
Em premissas isoladas escritas por anotadores humanos, o modelo de decisão Jev iguala o GPT-5.5 em acurácia. É o dado que motiva toda a arquitetura.
O mesmo Jev aplicado a comentários inteiros fica no nível do acaso nas revisões de NLP e bem abaixo do LLM nas outras duas áreas. Uma cascata, comparativamente, custa mais que o PremiseCheck e é menos precisa em todas as partes.
A construção dos rótulos também é documentada. Muitas avaliações "incorretas" do Phys. Rev. B eram erros de julgamento, e o GPT-5.5 decidiu, a partir da justificativa do especialista, se o erro era factual.
Dois autores repetiram a decisão em 178 comentários, sem ver os rótulos do modelo nem os uns dos outros, com kappa de Cohen de 0,70. O GPT-5.5 concordou com eles com kappa de 0,76 e 0,77.
Ao usar os rótulos humanos, a diferença entre PremiseCheck e GPT-5.5 nessas revisões não é significativa. O critério não favorece artificialmente a referência.
Limitações e o que não foi provado
O ReviewFact não coleta dados novos. Ele remapeia anotações de três conjuntos com objetivos próprios, aplicando regras de inclusão e exclusão para descartar comentários fora da tarefa.
Isso limita a cobertura a esses domínios e herda seus vieses de amostragem. As revisões de aprendizado de máquina, por exemplo, mantêm apenas argumentos, e por isso têm proporção maior de erros.
Em ciências naturais, parte dos rótulos vem do próprio GPT-5.5, um arranjo que os autores checam, mas que não equivale a anotação independente em escala.
O escopo é deliberadamente estreito: só erros factuais, não de julgamento; um comentário por vez, sem explorar o contexto do parecer inteiro ou a relação entre comentários. A métrica principal é AUROC, que mede ordenação, não calibração nem desempenho em um ponto de operação.
Isso é relevante se alguém quiser definir limiar para sinalizar revisores automaticamente.
Custo e latência são medidos em uma implementação específica, com modelos de decisão proprietários (Jev) e um LLM de fronteira. Os números de economia provavelmente não se transportam linearmente para outras pilhas.
Também não está provado que o decompositor, ao não ver o paper, não distorça comentários ambíguos. A agregação pelo mínimo é conservadora e pode penalizar comentários cuja falha está na formulação, não na substância.
Por que isso importa para quem constrói com IA
A lição arquitetural é mais geral que a revisão por pares. Separar "entender a asserção" de "verificar contra uma fonte grande" permite trocar um LLM caro que relê o corpus por um classificador barato que lê o corpus e responde perguntas declarativas.
O mesmo padrão se aplica a checagem de relatórios contra bases regulatórias, auditoria de respostas com RAG e validação de laudos contra prontuários.
Há também um recado sobre custo como métrica de primeira classe. Em aplicações de moderação e auditoria, o volume é dominado por casos corretos.
Um sistema que só otimiza acurácia em benchmarks pequenos pode ser economicamente inviável em produção. E há um contraponto ao test-time scaling: o decompositor que funciona melhor em custo é o que não raciocina.
Para equipes brasileiras que rodam verificação em português, o caminho óbvio é testar se a decomposição em premissas e os modelos de decisão mantêm a qualidade em outra língua e em domínios locais. Isso ainda não foi demonstrado no paper, que avalia comentários em inglês.
Referências
- Song, D.; Yan, Z.; Zhang, Z.; Zhang, Y.; Sun, L. PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews. arXiv:2610.21046, 2026. Paper
- Página do projeto: openlair.GitHub.io/premisecheck
- Código e prompts: GitHub.com/OpenLAIR/PremiseCheck
- Benchmarks de origem citados pelos autores: ReviewCritique (Du et al., 2024), ReviewScore (Ryu et al., 2025) e Phys. Rev. B (Kim et al., 2026).
