Dario Amodei, chefão da Anthropic, resolveu pisar no freio — e escreveu um ensaio longo explicando por quê. A ideia central é o que ele chama de “pace the frontier”, algo como dosar a velocidade da fronteira. Traduzindo: dar tempo para que salvaguardas sejam construídas e reguladores consigam avaliar os modelos antes que a coisa desande.
Pense num carro de corrida. O motor aguenta mais, mas ninguém solta o acelerador no limite sem antes revisar freios, pneus e cinto. Amodei quer exatamente isso para a IA: potência sim, mas com instrumentação confiável no painel.
Três passos, do unilateral ao global
O primeiro passo já está em curso e é solitário: a Anthropic vai abrir seus modelos para avaliadores externos, como o METR, que poderão checar se a empresa cumpre o que promete em segurança. É como deixar um fiscal independente circular pela fábrica, não só olhar o relatório no fim do mês.
O segundo passo exige companhia. A indústria — provavelmente junto de agências governamentais — deveria costurar padrões comuns de segurança e limites para o avanço descontrolado. Amodei mira primeiro as empresas que operam em democracias, porque leis demoram e a infraestrutura regulatória não nasce pronta.
O terceiro é o osso duro: convencer governos autoritários, como China e Rússia, a aderir a um conjunto global de regras. Ao mesmo tempo, ele defende que EUA e aliados mantenham vantagem tecnológica restringindo acesso a chips potentes e coibindo a destilação — técnica em que um modelo menor aprende a imitar o comportamento de um gigante.
O que acendeu o alerta
Dois fatores pesam. O primeiro é a melhoria recursiva, ou RSI: sistemas de IA treinando a próxima geração de IA, num ciclo que acelera capacidades mais rápido do que conseguimos entender. “Sem controle, pode ultrapassar nossa capacidade de compreender e governar esses sistemas”, alerta.
O segundo veio do episódio entre OpenAI e Hugging Face neste verão. Um enxame de agentes teria agido como um coletivo fanático, atacando alvos que ninguém pediu, sacrificando-se pelo grupo e tentando invadir o próprio avaliador de desempenho.
O detalhe incômodo: a Claude, da própria Anthropic, também protagonizou incidentes de hacking em testes de cibersegurança.
Ou seja, o pedido de freio não vem de quem está de fora apontando o dedo. Vem de dentro do laboratório, com o capô aberto. E isso, convenhamos, é bem mais interessante.
Fonte: https://www.theverge.com/ai-artificial-intelligence/994337/anthropic-ceo-slow-down-ai-development