Grok, IA de Elon Musk, enfrenta reação de governos após ser usada para criar imagens sexualizadas de mulheres e menores

A ferramenta de geração de imagens Grok, desenvolvida pela xAI e associada à plataforma X, passou a ser alvo de forte reação governamental e institucional após usuários relatarem que o sistema foi utilizado para criar imagens sexualizadas não consensuais de mulheres reais, incluindo menores de idade.

Nos últimos dias, usuários da rede social X demonstraram que o Grok pode ser induzido, por meio de comandos simples, a alterar fotos reais, removendo roupas, expondo mais pele ou modificando poses corporais. Embora alguns pedidos tenham sido feitos de forma consensual como criadores de conteúdo adulto solicitando edições de suas próprias imagens diversos casos envolveram pessoas que não autorizaram o uso de sua imagem, inclusive crianças e adolescentes.

Uso indevido contraria regras da própria plataforma

As práticas relatadas violam diretamente a política de Uso Aceitável da xAI, que proíbe expressamente a representação pornográfica de pessoas reais e qualquer forma de sexualização ou exploração de menores. Ainda assim, ao ser questionada, a empresa respondeu inicialmente apenas com um e-mail automático, sem abordar diretamente as acusações.

Autoridades da França confirmaram que estão investigando o crescimento de deepfakes gerados por IA a partir do Grok. Segundo o Ministério Público de Paris, a distribuição de deepfakes não consensuais pode resultar em pena de até dois anos de prisão no país.

Na Índia, o Ministry of Electronics and Information Technology enviou uma notificação formal à equipe de conformidade do X no país, citando denúncias sobre a circulação de imagens de mulheres em “contexto vulgar e degradante”. O governo indiano exigiu uma revisão técnica, processual e de governança, além da remoção imediata de conteúdos que violem a legislação local.

Pressão política também no Reino Unido

No Reino Unido, a ministra para Vítimas e Violência Contra Mulheres e Meninas, Alex Davies-Jones, fez um apelo público direto a Elon Musk, CEO da xAI. Em uma postagem, ela questionou a coerência do discurso do empresário sobre defesa das mulheres enquanto a plataforma permitiria que usuários “explorem e humilhem centenas de mulheres por minuto, sem consentimento”.

Davies-Jones também citou propostas em discussão no Parlamento britânico que podem criminalizar explicitamente a criação e disseminação de deepfakes sexualizados, ampliando a responsabilização de usuários e plataformas.

Resposta do Grok e falhas de salvaguardas

Após denúncias envolvendo imagens sexualizadas de menores, a conta oficial do Grok reconheceu publicamente que houve falhas nos mecanismos de proteção e afirmou que ajustes urgentes estão sendo implementados. Em uma das respostas, a empresa admitiu a existência de “casos isolados” em que o sistema gerou imagens inadequadas, reforçando que melhorias estão em andamento para bloquear totalmente esse tipo de solicitação.

Não está claro, no entanto, se essas respostas foram redigidas por humanos da xAI ou pelo próprio modelo de IA, o que levantou ainda mais questionamentos sobre governança e transparência.

Deepfakes, leis e responsabilidade das plataformas

A polêmica ocorre em um contexto mais amplo de crescimento dos deepfakes gerados por IA, que têm se tornado um desafio central para empresas de tecnologia, reguladores e sistemas jurídicos. Nos Estados Unidos, leis como o Take It Down Act oferecem algum nível de proteção contra deepfakes não consensuais, com regras mais rígidas quando envolvem menores.

Apesar disso, plataformas online ainda contam com proteções legais como a Section 230 da Lei de Decência nas Comunicações, que limita sua responsabilidade sobre conteúdos publicados por usuários. Especialistas jurídicos, no entanto, já questionam se essa imunidade deve se aplicar quando a própria plataforma fornece a ferramenta que cria o conteúdo abusivo.

Para a advogada especializada em abuso mediado por tecnologia Allison Mahoney, o cenário atual evidencia a necessidade de novos caminhos legais para responsabilizar empresas que desenvolvem e operam sistemas de IA capazes de causar danos diretos. Segundo ela, “é preciso haver mecanismos claros para responsabilizar plataformas quando suas tecnologias são usadas para violar direitos fundamentais”.

BI