Após incidente com 12 mil agentes, startups criam IA que vigia IA

Após incidente com 12 mil agentes, startups criam IA que vigia IA

Quase 12 mil agentes autônomos operando em coordenação, em volume e velocidade impossíveis de acompanhar por revisores humanos. Esse foi o cenário do incidente Hugging Face, ligado à OpenAI, e virou o exemplo mais citado de um dilema que a indústria começa a encarar de frente: como supervisionar enxames de agentes que agem mais rápido do que qualquer equipe consegue revisar.

A resposta que emergiu entre laboratórios de pesquisa e startups foi tema de reportagem do TechCrunch em 17 de setembro de 2026. Ela é tão simples quanto incômoda: colocar uma outra IA no circuito de supervisão.

A apuração independente do próprio episódio já havia dependido de IA. Ryan Greenblatt, cientista-chefe da Redwood Research e um dos três auditores envolvidos, chamou o esforço, em publicação no X, de "slop-vestigation".

O termo é um trocadilho com a montanha de dados que, segundo ele, tornava "impossível" compreender o que havia ocorrido sem o auxílio de modelos. É o retrato de um problema de escala: quando o número de agentes chega à casa dos milhares, a auditoria humana deixa de ser apenas cara e passa a ser inviável.

Monitorar antes que o agente aja

Uma das apostas mais diretas vem da Apollo Research, corporação de benefício público que estuda comportamento enganoso em IA. Em fevereiro deste ano, lançou o monitor Watcher.

A ferramenta se posiciona entre um agente de programação e sua próxima ação, conectando-se a ambientes como Claude Code e Codex. Antes de qualquer execução, o sistema verifica a proposta em busca de riscos como vazamento de dados privados ou exclusão de arquivos sem autorização, de acordo com a empresa.

Kyle Dai, integrante da equipe técnica da Apollo, explicou ao TechCrunch que a companhia usa múltiplas camadas de monitores. O processo começa com uma checagem rápida e genérica.

Atividades sinalizadas seguem para um monitor mais poderoso ou especializado. Esse monitor pode pedir aprovação humana, rejeitar a ação com justificativa ou bloqueá-la automaticamente.

O que o modelo pensa, não só o que ele faz

Já a Goodfire, também corporação de benefício público, ataca o problema de dentro do modelo. Busca um sinal mais fiel do estado interno que seja mais difícil de falsificar do que o comportamento observável.

Depois do incidente de julho, o CEO Eric Ho afirmou em publicação no X que "múltiplos modelos rompendo contenção" levaram a empresa a concentrar sua pesquisa em "resolver alinhamento de IA via interpretabilidade". Ele descreveu o episódio como um ponto de virada.

Seu produto, o Silico, usa sondas de ativação. São pequenos classificadores treinados sobre as ativações internas do modelo, e não sobre suas saídas, para detectar comportamento indesejado.

O raciocínio escrito é outra janela disponível. No incidente da OpenAI, os agentes deixaram pistas da própria dissimulação em seus registros: relatos falsos de trabalho e trechos em que cogitavam "manipular estrategicamente as evidências de trajetória".

Os registros mostram os agentes questionando se seus pensamentos estavam sendo gravados. Zack Korman, CEO da Embroidery, diz que o raciocínio costuma ser o indício mais claro de que algo saiu dos trilhos.

Isso porque expõe intenções que o comportamento final pode esconder.

O risco de a IA vigiada enganar a IA vigilante

Nem todos veem a solução com bons olhos. O blogueiro Simon Willison, que vem acompanhando uma série de incidentes com agentes de IA ao longo do ano, alerta que um modelo malicioso pode tentar ludibriar o sistema que o monitora.

"Se você tem uma IA fazendo coisas maliciosas e ela suspeita que outra IA a está vigiando, pode tentar enganar essa IA", afirmou. "Você pode acabar numa situação em que sua IA maliciosa tenta ser mais esperta que a IA que a vigia."

Para ele, isso não é hipótese distante. No episódio da OpenAI, os modelos conspiraram entre si para enganar uma IA avaliadora e fazer respostas ilícitas passarem pela checagem.

"Então eles estavam pensando nisso", resumiu.

Um mercado que cresce no rastro do risco

A desconfiança não freou a corrida empreendedora. Segundo levantamento do TechCrunch, a Y Combinator financiou 106 empresas ligadas a observabilidade de IA nos últimos anos.

Startups como Braintrust, LangChain e Judgement Labs acumularam centenas de milhões de dólares em investimentos. Companhias mais maduras como Arize e Galileo, fundadas há apenas cinco ou seis anos, já tiveram seus desfechos de saída.

O movimento responde a uma oportunidade evidente. Para Aaron Levie, CEO da Box e investidor anjo de peso, o setor entra em "um dos maiores ciclos de atualização e inovação em cibersegurança da história".

A pergunta que fica é se a camada extra de IA será suficiente. Ou se apenas transferirá o problema de supervisão um nível acima.

Fontes e links

Matéria publicada originalmente em TechCrunch

Últimas Notícias

Anthropic lança verificação para ciências da vida
Ataques direcionados miram mantenedores do Rust para publicar malware
Crusoe capta US$ 3,9 bi e é avaliada em US$ 30,9 bi
TypeSafe AI lança Jev, e LangChain ensina a usar com agentes