Repositório de IA usado para criar imagens íntimas sem consentimento

O repositório de modelos de IA Hugging Face está sendo utilizado para criar imagens íntimas sem consentimento, de acordo com um relatório publicado pela instituição AI Forensics. A análise considerou criações na plataforma Spaces do Hugging Face, usada para concentrar diversos aplicativos feitos com os modelos de IA disponíveis no diretório.

A pesquisa revelou que 73% dos pedidos monitorados tinham conotação sexual, principalmente para remover as roupas de uma pessoa, e 6,7% dos comandos tinham menores de idade como alvos. Isso é particularmente preocupante, pois a facilidade de gerar essas imagens com um prompt simples pode ter consequências graves para as vítimas.

Falta de moderação e de controles de segurança

A maior crítica do relatório é sobre a falta de ajustes adicionais para evitar os prompts mal intencionados. De acordo com o pesquisador Paul Bouchaud, da AI Forensics, o Hugging Face não aplica nenhuma medida de proteção adicional na plataforma, então as salvaguardas contra tentativas de deepfakes dependem do código dos modelos de IA.

As diretrizes da plataforma mencionam que é proibido criar conteúdos que podem prejudicar indivíduos ou grupos, mas as IAs ainda podem ser usadas por qualquer pessoa com uma conta na plataforma. Além disso, a pesquisa identificou que alguns dos Spaces mais famosos para edição de imagens permitem criar conteúdo íntimo sem consentimento.

Algumas das principais preocupações com essa prática incluem:

• A violação da privacidade e da dignidade das vítimas;
• O potencial para danos psicológicos e emocionais;
• A possibilidade de essas imagens serem usadas para fins de chantagem ou extorsão.

A popularização dos editores de imagens com IA tem relação direta com a produção em massa de nudes falsos. É fundamental que as plataformas de IA tomem medidas para prevenir essas práticas e proteger os usuários.

Este conteúdo pode conter links de compra.

Fonte: link