Imagina guardar um diário trancado a sete chaves, mas ainda assim entregar uma cópia cifrada dele para o vizinho, só que com a mesma fechadura. Foi mais ou menos isso que um grupo de pesquisadores descobriu ao investigar os bastidores de modelos como Claude, GPT e Gemini: existe um jeito de destrinchar o raciocínio interno que essas IAs produzem antes de responder qualquer pergunta complicada.
Como o pensamento escondido vira texto legível
Modelos de ponta resolvem problemas difíceis quebrando-os em etapas, um encadeamento que fica registrado internamente. As empresas escondem esse rascunho de propósito, para evitar que outra companhia treine um modelo novo copiando esse processo. Só que, para acelerar respostas, uma versão cifrada desse raciocínio acaba indo para a máquina do usuário.
O time liderado por Alexander Panfilov, da Universidade de Tübingen, junto com o Max Planck Institute, o MATS Research e a empresa de segurança Snyk, percebeu algo curioso: redirecionar esse pacote cifrado para uma versão menor do mesmo modelo faz ela abrir a boca. Modelos pequenos passam por menos treinamento de alinhamento, então têm menos filtro para recusar revelar o que está escrito ali dentro.
Todos os grandes fornecedores de modelos que testamos têm essa mesma vulnerabilidade, afirma Panfilov. Ela pode causar vazamento de dados pessoais e viabilizar ataques de destilação em larga escala.
Pistas de possível cópia entre modelos
O achado mais curioso envolve o Kimi K3, modelo de peso aberto da chinesa Moonshot AI. Para certos comandos, ele produz uma saída de raciocínio bem parecida com a trilha escondida de Claude Opus 4.8 e GPT 5.6 Sol. Os autores são honestos: isso não prova destilação, só levanta suspeita. Curiosamente, o DeepSeek chinês e o Inkling da americana Thinking Machines não mostraram essa semelhança com o Claude.
O tema já é terreno sensível: em fevereiro, a OpenAI disse ao Congresso americano que o DeepSeek parecia ter copiado um de seus modelos para construir o R1. Em junho, a Anthropic acusou a Alibaba de destilar sistematicamente seus modelos para criar o Qwen. Moonshot AI e Z.ai não comentaram o novo estudo até a publicação.
Senhas e chaves de API também escapavam pela brecha
Além de expor o raciocínio, o mesmo método recuperou informações sensíveis, como senhas e chaves de API, escondidas dentro dessas trilhas capturadas na máquina do usuário. Os pesquisadores avisaram OpenAI, Anthropic e Google no mês passado, e as três já ajustaram suas APIs para bloquear esse tipo de vazamento.
Florian Tramer, pesquisador de segurança da ETH Zürich, achou a lógica do ataque elegante: trocar mensagens para uma variante mais fraca do modelo, que usa a mesma chave de decodificação mas tem um filtro mais frouxo. É definitivamente algo que está se tornando um problema, diz ele.
Segundo Panfilov, o remendo atual resolve o vazamento de dados pessoais, mas ainda é possível recuperar parte do raciocínio pelo mesmo caminho. Resolver de vez exigiria repensar a arquitetura dessas APIs do zero, o que mostra que a maior falha de segurança de um sistema pode estar escondida na própria eficiência que ele tenta entregar.
Fonte: https://www.wired.com/story/a-new-trick-reveals-ai-models-inner-thoughts/