Pouco a pouco, a repressão aos deepfakes sexuais nocivos começa a ganhar forma. Nos últimos meses, autoridades policiais dos Estados Unidos apreenderam sites que hospedavam deepfakes, enquanto a União Europeia e o Reino Unido elaboraram planos para proibir apps de “nudificação” até o fim do ano. Ainda assim, grandes empresas de tecnologia continuam impulsionando milhões de pessoas em direção a softwares capazes de despir digitalmente alguém sem consentimento.
A plataforma de IA de código aberto Hugging Face, um repositório de modelos e conjuntos de dados de IA avaliado em bilhões de dólares, enfrenta um problema generalizado com deepfakes não consentidos, segundo um novo relatório publicado nesta terça-feira pela organização europeia sem fins lucrativos AI Forensics. Pesquisadores do grupo afirmam ter testado nove dos principais Spaces de edição de imagem no Hugging Face, que hospedam modelos usados diretamente no site, e em sete deles foi possível transformar com facilidade a imagem de uma mulher vestida em uma versão com o torso nu.
Em testes adicionais, os pesquisadores da AI Forensics criaram seus próprios Spaces de edição de imagem no Hugging Face, no estilo isca, projetados para não gerar nenhuma imagem, e acompanharam mais de 1.000 prompts e imagens recebidos ao longo de uma semana. No total, a AI Forensics afirma que 73% dos prompts eram de natureza sexual. Desses, 83% buscavam despir ou sexualizar a pessoa cuja foto havia sido enviada, e 95% desses casos envolviam mulheres. O estudo também aponta que 6,7% dos pedidos sexuais tinham como alvo aparente crianças.
“A maioria dos Spaces [testados] pode ser usada para gerar imagens íntimas não consentidas, e os usuários estão de fato usando isso para esses fins”, afirma Paul Bouchaud, pesquisador líder da AI Forensics. “Isso não é uma ameaça vazia, mas algo que as pessoas realmente estão fazendo no Hugging Face.”
Uma análise adicional sobre materiais publicados no site do Hugging Face, somada a descobertas de outros pesquisadores, também mostra diversas páginas promovendo tecnologias de nudificação ou modelos de IA que poderiam criar imagens sexualizadas de celebridades e políticos identificados nominalmente.
Antes da publicação, o Hugging Face não respondeu a várias perguntas sobre seus mecanismos de moderação de conteúdo e práticas de segurança. A empresa mantém políticas de conteúdo que proíbem material de abuso sexual infantil e deepfakes sexuais criados “sem consentimento explícito” ou usados para assédio e intimidação. Algumas páginas que promoviam serviços de nudificação foram removidas depois que procurou-se a empresa, mas não está claro se há relação entre os fatos.
Após a publicação, o Hugging Face enviou um documento que havia encaminhado originalmente à AI Forensics. Nele, a empresa diz que os resultados indicam uma “lacuna” na adoção de salvaguardas por alguns desenvolvedores de sistemas de edição de imagem e que está trabalhando para corrigir isso. O documento também afirma que o Hugging Face questiona a metodologia usada pelos pesquisadores e sustenta que ela pode ter gerado falsos positivos em parte das conclusões.
A empresa disse ainda que os prompts coletados pela AI Forensics “não representam” a forma como os sistemas de edição de imagem são usados em sua plataforma e que os Spaces analisados pelos pesquisadores não eram os mais populares, mas sim aqueles listados como padrão em “mais relevantes” no momento do acesso. O Hugging Face também afirmou que não seria tecnicamente viável fazer filtragem de prompts ou varredura de saídas em toda a plataforma, devido à grande variedade de código executado nos Spaces.
Em resposta ao documento do Hugging Face, Bouchaud disse que disponibilizar Spaces “sabendo que não há meios ou vontade de moderá-los não deveria isentar a responsabilidade pela oferta e pelos resultados previsíveis”.
Nos últimos anos, à medida que sistemas de IA generativa capazes de produzir texto, imagens e vídeos se tornaram mais avançados, um dos danos mais visíveis e diretos tem sido seu uso no amplo ecossistema de apps, sites e bots de nudificação e remoção de roupas, com um pico recente no uso do Grok, de Elon Musk, para criar milhões de imagens sexualizadas de mulheres e meninas. Esses serviços costumam permitir que pessoas editem imagens para remover a roupa de terceiros, e os resultados frequentemente são usados por homens para chantagear, assediar e causar danos a mulheres e meninas em todo o mundo.
Publicidade
Nossa audiência é formada por analistas, pentesters, decisores e entusiastas que consomem nossas notícias todo dia pelo Site, Newsletter e Instagram. Fale com quem realmente importa para o seu negócio. Anuncie aqui. Saiba mais...