FrontierML: agentes de IA já convertem orçamento em desempenho

FrontierML: agentes de IA já convertem orçamento em desempenho

Uma equipe de pesquisadores apresentou o FrontierML, benchmark que mede a capacidade de agentes de inteligência artificial de transformar dinheiro em desempenho em tarefas completas de aprendizado de máquina. O trabalho, divulgado na edição 481 da newsletter Import AI, assinada por Jack Clark, avalia como sistemas de fronteira administram um orçamento limitado para treinar, ajustar e servir modelos, aproximando a pesquisa em IA de uma lógica de contratação e subcontratação de trabalho.

Um benchmark com 21 tarefas de longo prazo

O FrontierML reúne 21 tarefas de horizonte longo, descritas como inspiradas em trabalho real de laboratórios de fronteira, neolabs e instituições acadêmicas. Elas cobrem seis áreas: treinamento de LLMs, eficiência, visão e áudio, uso de computador, PLN aplicado e matemática e jogos.

Em cada tarefa, o agente recebe o mesmo pacote de condições: um sandbox de CPU com 12 horas de duração, uma carteira com US$ 10, US$ 50 ou US$ 200, algumas amostras de validação e a descrição do problema.

Segundo os autores, o formato é aberto e ponta a ponta: o agente pode escolher arquiteturas, buscar dados, implementar o treinamento, provisionar computação, avaliar checkpoints e otimizar inferência. Um dado curioso é que, em 28% das trajetórias, os agentes adicionaram partes recém-treinadas a modelos pré-treinados ou treinaram um modelo do zero.

Como o dinheiro vira melhora de resultado

A proposta central é testar se o capital é usado de forma produtiva. Os pesquisadores compararam o desempenho dos agentes quando recebem US$ 10, US$ 50 e US$ 200 por tarefa, medindo o ganho na pontuação média no conjunto das 21 tarefas.

A conclusão é que agentes mais fortes conseguem melhorar suas submissões de modo confiável conforme o orçamento cresce.

A verificação tenta evitar atalhos: o agente entrega um servidor de inferência que roda seu modelo em uma máquina H100 isolada da rede. Para desestimular o sobreajuste, são oferecidas poucas amostras de validação, e a avaliação ocorre em um conjunto de teste amplo, fora da distribuição, que o agente não vê.

O que os números mostram

A linha de base é um pesquisador humano, capaz de obter um ganho de 56 pontos com US$ 10 e de 66,1 pontos com US$ 200. O melhor sistema avaliado, identificado como Opus 5.5, alcança 45,4 pontos com US$ 10 e 58,8 com US$ 200.

Entre os modelos de pesos abertos, o destaque é o Kimi K3.1 Pro, com 25,5 e 29,6 pontos nos mesmos orçamentos.

Os autores também observam diversidade de estratégias. Em uma tarefa de geração de capturas de tela, o agente com melhor pontuação ajustou um modelo de difusão com LoRA, enquanto outras abordagens bem colocadas fizeram um LLM escrever um programa de desenho que depois era renderizado.

Um laboratório úmido desenhado para IA

A newsletter também apresenta a Petrichor, startup da Y Combinator que se descreve como um laboratório úmido, ou wet lab, construído para laboratórios de IA e para os modelos que eles treinam para fazer ciência. A ideia é funcionar como uma API voltada a máquinas, ligando o mundo digital ao mundo físico da biologia, de modo que sistemas como o Claude usem o laboratório como hoje usam busca na web ou outras ferramentas digitais.

A ambição declarada é entregar dados da mais alta qualidade que um experimento pode produzir. O caso ilustra uma expectativa levantada por Jack Clark: a aceleração científica impulsionada por IA tenderia a vir acompanhada de uma expansão dos complementos da ciência, como instalações experimentais projetadas para serem operadas por modelos.

Por que isso importa

O FrontierML sugere que sistemas de fronteira constroem a si mesmos, e também subcontratam partes do trabalho. Pessoas resolvem problemas complexos distribuindo tarefas a especialistas; o benchmark indica que agentes já fazem algo parecido em pesquisa de machine learning, gastando recursos em computação e dados para melhorar suas próprias entregas.

Isso reforça tanto a capacidade desses sistemas para P&D em IA quanto a perspectiva de uma economia de máquinas em que agentes contratam outros agentes.

A edição 481 da Import AI ainda anuncia, no título e no subtítulo, os temas de subterfúgio durante o desenvolvimento e o projeto CucumberVision, sem detalhamento no material disponível.

Fontes e links

Matéria publicada originalmente em Import AI

Últimas Notícias

Google Maps lança Ask Maps para viagens e preparativos de fim de ano
IA empresarial: do piloto à plataforma exige dados e governança
Audible lança descoberta de audiolivros com sinopses por IA
FrontierML: agentes de IA já convertem orçamento em desempenho