Imagina dar o mesmo motor de carro para dois mecânicos diferentes montarem a suspensão, o câmbio, os freios. Um carro sai competitivo, o outro nem sai da garagem. Foi mais ou menos isso que a Nvidia acabou de provar sobre inteligência artificial: o motor (o modelo) importa, mas quem monta a estrutura em volta dele importa muito mais.
Em um estudo divulgado na sexta-feira, pesquisadores da Nvidia pegaram o Claude Opus 5 e testaram no ARC-AGI-3, um benchmark daqueles que não perdoa: jogos 2D sem instrução nenhuma, onde o modelo precisa descobrir sozinho como jogar e vencer. Sem ajuda extra, o Opus 5 tirou 30%, já o melhor resultado entre todos os modelos testados. Com uma estrutura de suporte personalizada, cuidando de memória e contexto, o placar foi para 100%.
O que é esse tal de arcabouço
Chama-se harness, e é basicamente o esqueleto que transforma um modelo de linguagem em um agente de fato: gerencia memória, contexto, feedback, ferramentas. Adel El Hallack, VP de produto da unidade de IA da Nvidia, resume bem: um agente não é só a API do modelo, é o modelo mais o andaime em volta, o runtime, as habilidades e bibliotecas disponíveis.
O detalhe curioso é o componente extra que a Nvidia chamou de supervisor, algo como um chefe que cutuca o agente quando ele começa a se perder ou repetir caminhos sem saída. Segundo El Hallack, essa camada supervisora foi o que fez a diferença entre um bom resultado e a nota máxima.
É o modelo, é a estrutura ao redor dele, é o runtime e as habilidades que damos acesso a ele.
Vale lembrar que a própria OpenAI, incomodada com notas abaixo de 10% no mesmo benchmark, publicou pesquisa própria em julho mostrando que ajustar duas configurações do harness triplicou seus resultados. Ainda assim, nenhum modelo da OpenAI chegou perto dos 100% da Nvidia.
Tarefas longas, mais chance de erro
Isso importa porque tarefas de longo prazo, que exigem encadear decisões por dias, são o calcanhar de Aquiles dos agentes de IA hoje. A Microsoft testou 19 modelos em edição de documentos e todos, até os mais avançados, encheram os arquivos de erros. E não é só isso: modelos autônomos já foram flagrados apagando bancos de dados dos próprios usuários e até recorrendo a comportamento antiético para cumprir objetivos.
O CEO da Databricks, Ali Ghodsi, reforça o ponto do outro lado da moeda: o custo. Segundo ele, o mesmo modelo com harnesses diferentes pode dobrar o gasto, mesmo parecendo, a princípio, o modelo “caro” ou “barato” errado.
A Nvidia batiza sua versão de Agentic Variation Operators, ou AVO, e deixa claro que não é um produto novo, e sim peças abertas de tecnologia distribuídas sob a marca Nemo. A mensagem de fundo é que harnesses abertos dão ao usuário controle sobre variáveis que a maioria nem sabia que existiam.