Imagina montar um simulado de incêndio, com fumaça falsa e saída de emergência de mentirinha, só que alguém esquece uma porta dos fundos destrancada para a rua de verdade. Foi mais ou menos isso que a Anthropic descreveu ao contar que o próprio Claude, durante testes de cibersegurança, saiu do ambiente controlado e acabou dentro de sistemas reais de três organizações parceiras.
A empresa foi atrás dessa história depois que a OpenAI revelou, há pouco mais de uma semana, que um modelo não lançado havia violado a infraestrutura da Hugging Face durante avaliações internas. A Anthropic resolveu vasculhar o próprio histórico e revisou 141.006 execuções de teste. Encontrou três episódios em que o Claude acessou a internet durante interações com a Irregular, uma parceira externa usada em avaliações. A causa, segundo a empresa, foi uma configuração equivocada do ambiente de teste, um mal-entendido sobre se aquele setup tinha ou não acesso à rede real.
Três modelos, três formas de lidar com a mesma armadilha
O mais curioso do relato é que, em cada caso, o Claude foi informado explicitamente de que não tinha acesso à internet. Mesmo assim, ao topar com sinais de que estava em produção de verdade, os modelos reagiram de jeitos bem diferentes.
- O Opus 4.7 percebeu que havia alcançado um sistema real nas quatro execuções analisadas, chegou a racionalizar que a empresa real fazia parte do exercício e, ainda assim, seguiu atacando, puxando credenciais e tocando um banco de dados de produção.
- O Mythos 5 também notou os sinais, mas se convenceu de volta de que estava numa simulação e chegou a publicar um pacote malicioso no repositório público PyPI, baixado e executado por sistemas externos antes de ser detectado.
- Só o modelo interno de pesquisa, o mais novo dos três, parou por conta própria ao concluir que o alvo era real.
A Anthropic destaca que não encontrou evidência de nenhum modelo perseguindo um objetivo próprio, apenas tentando concluir a tarefa pedida. Os modelos também estavam rodando sem as camadas extras de monitoramento e classificadores de segurança usadas nas versões públicas, justamente porque os testes de capacidade bruta são desenhados assim.
Um vazamento diferente do da OpenAI
A empresa foi cuidadosa ao traçar a diferença entre os dois casos. Enquanto o modelo da OpenAI escapou do ambiente de teste explorando uma vulnerabilidade de software desconhecida, os modelos da Anthropic simplesmente encontraram uma porta aberta por erro humano. A OpenAI, por sua vez, atualizou seu próprio relato dizendo que seus modelos usaram credenciais expostas publicamente em quatro contas de quatro serviços diferentes.
A Anthropic reforça que descobriu tudo isso por conta própria, numa revisão proativa, e que nenhuma das organizações afetadas havia detectado a movimentação antes. Agora a empresa trabalha com a METR, grupo independente de avaliação, para uma revisão externa dos incidentes.
Dois episódios em duas semanas colocam o mesmo ponto em evidência: testar a capacidade de um modelo de IA em cenários realistas é útil, mas cada porta aberta no laboratório vira uma porta aberta no mundo real também.