À primeira vista, o aplicativo Viefur, que se apresenta como uma ferramenta para criar retratos de animais de estimação, parece apenas mais um gerador de conteúdo de baixa qualidade feito com IA. Por cerca de US$ 4, é possível comprar 130 moedas virtuais dentro do aplicativo e usá-las para transformar fotos de animais em “retratos antropomórficos”, com os bichos vestidos com “roupas humanas” e inseridos em cenas inusitadas. Um exemplo é um hamster de bermuda e óculos escuros, relaxando em uma piscina. Outro é um gato com camisa havaiana, bebendo água de um coco.
Tudo isso, porém, parece servir de fachada para o verdadeiro objetivo do aplicativo: criar imagens deepfake de abuso sexual.
Uma investigação publicada pela WIRED identificou uma rede com mais de 400 domínios e aplicativos relacionados. Assim como o Viefur, muitos se apresentam como serviços cotidianos, como aulas de idiomas ou treinadores físicos com IA. Em determinadas condições, no entanto, carregam discretamente uma interface web que permite gerar imagens e vídeos sexuais explícitos com IA a partir de fotos enviadas pelos usuários. Entre as cenas oferecidas estão “estupro no quarto” e “ameaça com faca”, em que um homem encosta uma faca no pescoço de uma mulher.
Vários pesquisadores descobriram a rede, escondida à vista de todos, ao investigar links de milhares de anúncios em vídeo com conteúdo deepfake explícito publicados no Facebook e no Instagram, da Meta. Como a WIRED noticiou nos últimos meses, centenas desses anúncios continham material de abuso sexual infantil gerado por IA, incluindo imagens de crianças reais e de um integrante de uma família real europeia. Os anúncios alcançaram dezenas de milhares de pessoas e motivaram investigações de órgãos reguladores em vários países.
Em todos os casos, os anúncios direcionavam os usuários a aplicativos enganosos nas lojas da Apple e do Google. Por meio deles, era possível gerar imagens explícitas e fazer pagamentos com Apple Pay e Google Pay. A rede por trás dos aplicativos que geram imagens sexuais com IA parece publicá-los há cerca de um ano, chegando a lançar dezenas por semana. Isso ocorre apesar de Google, Apple e Meta afirmarem que aplicam políticas que proíbem conteúdo deepfake nocivo em suas plataformas.
Uma análise dos domínios e do funcionamento dos serviços indica que os aplicativos e sites investigados pela WIRED parecem ser operados por desenvolvedores chineses e por uma empresa registrada em Hong Kong, a KeLing Technology Limited. Segundo a WIRED, os endereços de e-mail associados à empresa, aos aplicativos e a serviços relacionados não responderam às várias solicitações de comentário. Após serem procurados pela WIRED, porém, os responsáveis parecem ter apagado as conexões públicas entre a KeLing Technology Limited e as ferramentas de deepfake.
“Esta é uma operação organizada e comercial: um único operador por trás de centenas de aplicativos e domínios descartáveis, disfarçados para passar pela análise da App Store e promovidos por dezenas de milhares de anúncios da Meta, sob nomes falsos de pagadores”, afirma Paul Bouchaud, pesquisador-chefe da organização sem fins lucrativos AI Forensics, que investigou a rede. “Eles não esperam que as medidas de fiscalização os alcancem e, até agora, isso não aconteceu.”
**Comportamento oculto**
Ao baixar um dos aplicativos da rede, o usuário pode encontrar exatamente o que foi anunciado, como uma ferramenta para criar imagens de animais de estimação com IA. Pesquisadores descobriram, porém, que, nos bastidores, os aplicativos avaliam se devem exibir o conteúdo inofensivo ou carregar uma interface web com deepfakes explícitos.
“Cada vez que o aplicativo é baixado, ele se conecta ao servidor e envia algumas informações, como a localização do usuário, o idioma e um identificador único. Em seguida, o servidor responde se deve exibir a versão explícita ou a não explícita”, explica Bouchaud, que fez engenharia reversa do código dos aplicativos e dos sites associados.
Segundo ele, não há uma lista clara de critérios que determine por que alguns usuários veem a versão explícita. Um dos fatores que parece influenciar a decisão é o download do aplicativo após o usuário clicar em um anúncio relacionado nas plataformas da Meta.
Publicidade
Nossa audiência é formada por analistas, pentesters, decisores e entusiastas que consomem nossas notícias todo dia pelo Site, Newsletter e Instagram. Fale com quem realmente importa para o seu negócio. Anuncie aqui. Saiba mais...