Inteligência Artificial

Os puzzles que ainda derrubam os modelos de IA mais avançados

· por Lia Andrade

INTELIGÊNCIA ARTIFICIAL

Jogos e quebra-cabeças acompanham a inteligência artificial desde os primeiros passos do campo. O próprio termo machine learning ganhou popularidade em 1959, num artigo do cientista da IBM Arthur Samuel sobre um algoritmo que aprendia a jogar damas. Décadas depois, xadrez e o jogo chinês Go se tornaram verdadeiros laboratórios para medir o avanço das máquinas.

E o avanço, olha que coisa interessante, tem sido rápido. No fim de 2024, pesquisadores da Columbia mostraram que até os modelos mais fortes acertavam apenas 18% dos famosos quebra-cabeças Connections do New York Times. Bastaram poucos meses para que, no início de 2025, alguns modelos passassem a resolver quase tudo perfeitamente. É como ver uma criança que mal formava frases começar a escrever redações competentes em um único semestre.

Onde a IA ainda tropeça

Só que resolver puzzles não é só sobre velocidade de evolução. É também um raio-x das diferenças entre cognição artificial e humana. Um dos pontos fracos mais claros aparece na rotação mental, aquele tipo de exercício clássico de teste de QI em que é preciso identificar o mesmo objeto visto de outro ângulo.

Mesmo modelos capazes de analisar imagens falham feio nessa tarefa. É como pedir a alguém que nunca saiu de um mapa plano para imaginar como seria um cubo visto por trás: falta a manipulação espacial que arquitetos e engenheiros mecânicos treinam a vida inteira. Todo o discurso sobre modelos de mundo ajudando a IA a entender o espaço físico ainda não se traduz em girar um objeto na cabeça.

Memória: vantagem que também engana

Outro ponto curioso é a memória. Modelos de linguagem foram expostos a um volume gigantesco de dados no treinamento e conseguem recitar fatos com precisão impressionante, o que é ótimo para responder trivia. Mas essa mesma memória vira armadilha quando o problema apresentado se parece com algo já visto antes.

  • Um estudo de 2024 conduzido por pesquisadores do Google e da University of Illinois Urbana-Champaign testou variações do clássico jogo Knights and Knaves, em que cavaleiros sempre dizem a verdade e cangalhas sempre mentem.
  • O resultado mostrou modelos respondendo com base no que memorizaram, e não no raciocínio da versão nova do problema.
  • O mesmo padrão aparece no benchmark SimpleBench, cujas questões lembram problemas mais complexos vistos em treinamento, mas escondem uma pegadinha simples que humanos percebem e os modelos ignoram.

Cada acerto ou erro nesses testes revela uma peça diferente de como raciocínio artificial e humano se organizam.

No fim das contas, os puzzles funcionam como uma espécie de eletrocardiograma cognitivo: mostram exatamente onde o pulso da IA acelera e onde ele falha. E convidam qualquer curioso a testar a própria mente contra a máquina, pelo menos enquanto ela ainda não aprendeu a girar um cubo na cabeça.

Fonte: https://www.technologyreview.com/2026/08/26/1141952/puzzles-ai-models-flub-these-tests/