xAI processa usuário por criar conteúdo ilegal com menores no Grok

A xAI entrou na Justiça contra um homem da Carolina do Sul acusado de usar o Grok para burlar as travas de segurança do chatbot e gerar material sexual ilegal envolvendo menores. O processo, revelado pela Reuters, pede indenização por danos legais e de reputação.

Segundo a empresa de Elon Musk, Terry Wayne Harwood usou o Grok de forma deliberada para contornar os filtros de segurança da ferramenta, alterar imagens sem consentimento e produzir esse tipo de conteúdo. Harwood já havia sido presoem fevereiro por posse e distribuição desse tipo de material, e responde a oito acusações criminais. A ação da xAI afirma que ao menos parte das imagens do caso criminal foi criada ou editada com o chatbot.

O ponto fraco que a xAI está tentando corrigir na Justiça

O problema começou quando a empresa lançou o chamado modo spicy para o Grok e depois adicionou a função de edição de imagens dentro do chat. Na prática, isso deu para qualquer usuário a capacidade de transformar fotos comuns em imagens sexualizadas, sem pedir permissão de ninguém. O resultado foi uma onda de deepfakes, incluindo casos envolvendo crianças.

Esse não é o primeiro atrito do Grok com esse tipo de uso. Em março, um grupo de adolescentes já havia processado a xAI alegando que o chatbot gerou imagens sexualizadas deles próprios quando ainda eram menores. Na época, Musk respondeu publicamente:

Quem usar o Grok para criar conteúdo ilegal vai sofrer as mesmas consequências de quem faz upload de conteúdo ilegal.

A diferença agora é que a xAI virou autora do processo, não só ré. É a primeira vez que a empresa move uma ação diretamente contra um usuário por deepfakes gerados com o Grok.

O que a xAI está pedindo

• Indenização por danos legais e reputacionais causados pelo uso indevido da ferramenta
• Reembolso de despesas caso a empresa seja processada por vítimas do comportamento de Harwood
• Uma ordem judicial proibindo Harwood de criar conta ou usar o Grok novamente

Do ponto de vista de produto, o caso expõe algo bem prático: lançar recursos de edição de imagem sem moderação robusta o suficiente cria um risco que a empresa não consegue empacotar como termo de uso. Processar o usuário é uma forma de dizer que a responsabilidade é individual, mas não resolve o buraco que ainda existe na trava de segurança do próprio chatbot.

Fonte: https://www.theverge.com/ai-artificial-intelligence/966293/xai-grok-user-lawsuit-csam