Imagina convencer um assistente de IA a te ensinar algo perigoso só porque você mencionou, de passagem, que está vestindo uma camisa verde. Parece piada, mas é exatamente isso que um grupo de pesquisadores conseguiu fazer, e o resultado foi apresentado num dos encontros mais respeitados da área, o ICML. A conclusão deles é desconfortável: talvez não exista jeito de blindar completamente esses modelos contra ataques.
O problema mora na raiz de como os LLMs organizam a conversa. Diferente de nós, que sabemos identificar nossa própria voz, o modelo vê tudo como um fluxo único de texto. Para não se perder, ele usa etiquetas internas que separam o que o usuário escreveu, o que o próprio modelo respondeu, as instruções dos criadores e até anotações que ele faz para si mesmo enquanto raciocina. É como um sistema de crachás numa empresa: cada crachá diz quem pode dar ordem a quem.
O truque da camisa verde
Os pesquisadores descobriram que dá para forjar esse crachá. Eles escreveram um pedido comum, disfarçado de raciocínio interno do próprio modelo, criando uma regra fictícia que liberava informação sensível sob uma condição absurda. Resultado: modelos como o gpt-oss-20b e o GPT-5 passaram a responder como se aquela regra fosse real, entregando instruções que iam desde a síntese de drogas até formas de sabotar o sistema de navegação de uma aeronave comercial.
A esse tipo de manobra os autores deram o nome de forjamento de cadeia de raciocínio. E não ficou restrito a um fabricante: variações do mesmo ataque funcionaram também em modelos de outras empresas do setor.
Uma lista que nunca acaba
Uma das pesquisadoras, Jasmine Cui, resume bem por que simplesmente listar proibições não resolve:
É como ver o Bart Simpson escrever cem vezes numa lousa que não vai mais fazer algo errado, e continuar fazendo do mesmo jeito.
Hoje, empresas de IA tentam antecipar esses buracos com equipes humanas de teste e até com outras IAs treinadas para caçar falhas, um modelo agindo como investigador do outro. Esse mesmo ataque, aliás, já havia vencido uma competição interna de testes de segurança meses antes do artigo sair, e outra equipe afirma ter chegado a uma descoberta parecida por caminhos independentes.
O ponto sem volta
O que incomoda os autores não é só a falha em si, mas a suspeita de que ela seja parte da própria arquitetura desses sistemas. Se a identificação de quem está falando depende só de etiquetas dentro de um único fluxo de texto, sempre vai existir uma forma de reescrever essas etiquetas. Isso não significa que a tecnologia deva ser abandonada, mas reforça uma lição que a área de segurança já conhece bem: travas de comportamento treinadas por exemplos tendem a ser reativas, sempre um passo atrás de quem procura a próxima brecha.