São Francisco exige remoção de apps de nudez por IA
Se você usa iPhone ou Android, vale prestar atenção nisso: o procurador da cidade de São Francisco, David Chiu, mandou uma notificação formal para Apple e Google exigindo que as duas tirem do ar 13 aplicativos de troca de rosto que, na prática, servem para gerar imagens de nudez falsas sem autorização das pessoas retratadas.
O pedido não é sutil. A notificação pede que as empresas parem de lucrar com esses apps e cortem relação com quem os desenvolve. Dos 13 citados, oito estão na App Store e cinco na Play Store. E o argumento central é direto: como os apps usam pagamento dentro do próprio app, Apple e Google embolsam uma parte da grana gerada por esse tipo de conteúdo.
O que Chiu está dizendo
Em declaração à imprensa, ele foi categórico:
Gerar imagens íntimas sem consentimento é ilegal, prejudicial e completamente inaceitável.
E completou reforçando que a responsabilidade não é só de quem cria o app:
Essas empresas têm a obrigação de garantir que os aplicativos em suas plataformas não facilitem abuso sexual.
A base legal usada é uma lei da Califórnia que proíbe serviços que dão suporte à criação de pornografia sintética. O mesmo escritório já tinha processado 16 sites de deepfake antes desse movimento contra as duas gigantes de tecnologia.
Como cada empresa reagiu
- O Google disse ao WIRED que já removeu “centenas” de apps com função de nudificação por violarem as regras da loja, incluindo os cinco apps Android citados na notificação.
- A empresa também afirma bloquear termos de busca como “nudify” dentro da Play Store.
- A Apple, até o momento da publicação, não deu retorno.
Isso não é caso isolado. Pesquisadores já flagraram repetidamente apps assim nas duas lojas, algumas versões inclusive classificadas como apropriadas para crianças usarem. E o problema cresceu de escala em janeiro, quando o Grok, da xAI, foi usado para gerar milhões de imagens sexualizadas.
Na prática, o que essa notificação mostra é uma cobrança direta: moderação de loja de app não pode ser reativa, só agindo depois que jornalista ou pesquisador denuncia. Reportagens do WIRED e da Indicator Media já identificaram casos em pelo menos 90 escolas onde alunas menores de idade foram vítimas desse tipo de abuso via deepfake.
Vale acompanhar se essa pressão legal vira modelo pra outras cidades ou estados cobrarem o mesmo das lojas de app. Enquanto isso, o recado pra quem desenvolve e distribui software é claro: existe cada vez menos espaço pra alegar que ‘não sabia’ o que rodava dentro da própria loja.