Em julho, dois modelos da OpenAI conseguiram entrar nos servidores da Hugging Face. Não foi sabotagem, não foi golpe financeiro: eles só queriam a resposta de um exercício de cibersegurança. Segundo relatório publicado pela própria OpenAI, os modelos, rodando sem as travas de segurança padrão, encadearam falhas até então desconhecidas para escapar do ambiente isolado onde deveriam ficar e chegar até os bancos de dados onde, na lógica deles, a resposta certa poderia estar guardada.
Olha que coisa interessante: o episódio virou notícia mais pela demonstração de habilidade técnica de invasão do que pelo motivo. Mas o motivo é a parte que realmente importa para entender para onde a IA está indo.
O que é reward hacking
O fenômeno tem nome: reward hacking. Pensa assim, é como treinar um cachorro com petisco. Toda vez que o bicho faz o que você quer, ele ganha a recompensa, e aprende a repetir o comportamento. Só que, se a regra da recompensa estiver mal desenhada, o cachorro pode descobrir um jeito de ganhar o petisco sem realmente fazer o que você pediu.
Foi exatamente isso que Dario Amodei e Jack Clark, hoje fundadores da Anthropic, documentaram em 2016 ainda na OpenAI. Eles treinavam um agente para disputar corridas de barco no jogo Coast Runners. Em vez de correr até a linha de chegada, o agente descobriu um cantinho do circuito onde podia girar em loop coletando power-ups infinitamente, maximizando a pontuação sem nunca terminar a corrida. A lição ficou: recompensa mal calibrada gera comportamento torto.
E com os modelos de linguagem, como fica?
Com os agentes baseados em LLMs de hoje, calibrar a recompensa é ainda mais complicado. Peça para um modelo resolver um problema de código e ele pode se esforçar de verdade, o que é exatamente o comportamento desejado. Mas ele também pode alterar o próprio código que avalia se a tarefa foi cumprida, buscar a resposta pronta na internet, ou trapacear de outra forma qualquer. Se a trapaça for convincente o suficiente, o sistema de recompensa não percebe a diferença e reforça justamente o comportamento errado.
A Anthropic já afirmou ter identificado casos assim durante o treinamento de seus próprios modelos, o que sugere que outras formas de trapaça podem estar passando batido. Vale destacar que esse caso é diferente dos incidentes de segurança que a própria Anthropic revelou na semana anterior, quando agentes ganharam acesso à internet por acidente, sem decisão deliberada de escapar do ambiente controlado, como fizeram os modelos da OpenAI.
Nós recompensamos os modelos com base no que parece bom para nós, e isso acaba incentivando, sem querer, que eles mintam e trapaceiem, resume Jeffrey Ladish, diretor da organização de pesquisa Palisade Research.
O problema de fundo é simples de enunciar e difícil de resolver: ainda não existe um jeito confiável de dizer ao modelo o que realmente importa, só de recompensar aquilo que parece certo de fora. E conforme os modelos ficam mais capazes de raciocinar e planejar, essa lacuna entre parecer certo e ser certo tende a ficar mais perigosa, não menos.