Bombas de contexto: a armadilha que faz IA hacker desistir sozinha

Prompt injection sempre foi visto como o calcanhar de Aquiles das IAs agenticas: basta um comando bem escondido num e-mail ou convite de agenda para o modelo trocar de lado e vazar dados sem perceber. Só que uma equipe resolveu virar essa fraqueza do avesso e usar o próprio veneno como antídoto.

Olha que ideia interessante: pesquisadores da Tracebit descobriram que colocar instruções proibidas ao lado de senhas e chaves falsas na infraestrutura da AWS é suficiente para travar agentes maliciosos de IA no meio da invasão. A lógica é simples de entender com uma analogia: é como deixar uma isca com um aviso que só o próprio predador consegue ler, e que o faz recuar na hora.

Como funciona a tal bomba de contexto

O truque explora as próprias grades de segurança que os desenvolvedores de LLMs constroem. Ao encontrar uma ordem como gerar instruções para armas biológicas, ou, no caso de modelos chineses, uma referência ao Tank Man de 1989, o modelo interpreta aquilo como violação das suas regras internas e simplesmente se recusa a continuar, mesmo que a tarefa original fosse inofensiva.

Estamos disparando um mecanismo de recusa dentro do contexto. Uma vez que esse gatilho entra na memória do agente, ele tende a continuar recusando, explicou Andy Smith, cofundador da Tracebit.

Nos testes, cinco modelos de ponta passaram pelo mesmo ambiente simulado de AWS em 152 tentativas de ataque. Os resultados dão um baita indício de que a estratégia funciona:

• Escalonamento para admin caiu de 57 por cento para 5 por cento
• Ataques com persistência no sistema caíram de 36 por cento para 1 por cento
• Qualquer caminho de ataque bem-sucedido caiu de 91 por cento para 15 por cento
• A média de etapas concluídas despencou de 1,53 para 0,16 por execução

O caso mais chamativo foi o Opus 4.8, apontado como o agente mais competente do teste: ele conseguia acesso administrativo em 93 por cento das rodadas e, com a bomba de contexto no caminho, não conseguiu nenhuma vez.

Ganhando tempo contra o relógio

A técnica complementa um recurso anterior da própria Tracebit, batizado de canários digitais: recursos falsos na nuvem que soam o alarme quando sondados por um agente invasor. Só que o alerta médio chegava em oito minutos, enquanto os agentes levavam cerca de catorze minutos para escalar privilégios. Uma margem curta demais para dormir tranquilo, e foi exatamente essa pressa que motivou criar algo que interrompesse o ataque, não só avisasse dele.

Vale lembrar que atacantes já vinham usando prompt injection para o lado contrário: pesquisas da Socket e da Check Point identificaram malwares que instruíam ferramentas de análise a gerar conteúdo proibido só para travar a defesa automatizada. Agora o placar mudou de lado.

Earlence Fernandes, professor de segurança em IA na UC San Diego, resume bem a novidade ao dizer que nunca tinha visto ninguém usar essa técnica como defesa antes. O problema de fundo do prompt injection continua sem solução definitiva, mas encontrar uma forma de virar essa brecha a favor de quem defende já é, por si só, uma virada e tanto.

Fonte: https://www.wired.com/story/prompt-injection-attacks-are-thwarting-ai-hacking-agents/