Grandes empresas de tecnologia, incluindo Google, Apple e Discord, têm facilitado o cadastro rápido de pessoas em prejudiciais sites de "despir" ("undress"), que utilizam AI para remover roupas de fotos reais, fazendo vítimas parecerem “nuas” sem o seu consentimento.
Mais de uma dúzia desses sites de deepfake têm utilizado botões de login dessas empresas de tecnologia por meses.
Uma análise encontrou 16 dos maiores sites chamados de despir e “nudify” usando a infraestrutura de login do Google, Apple, Discord, Twitter, Patreon e Line.
Essa abordagem permite que as pessoas criem facilmente contas nos sites de deepfake — oferecendo a eles uma aparência de credibilidade — antes de pagarem por créditos e gerarem imagens.
Enquanto bots e sites que criam imagens íntimas não consensuais de mulheres e meninas existem há anos, o número aumentou com a introdução da AI generativa.
Esse tipo de abuso de "despir" é alarmantemente disseminado, com meninos adolescentes supostamente criando imagens de suas colegas de classe.
Críticos dizem que as empresas de tecnologia têm sido lentas em lidar com a escala dos problemas, com os sites aparecendo altamente em resultados de busca, anúncios pagos promovendo-os em mídias sociais e apps surgindo em lojas de aplicativos.
“Isso é uma continuação de uma tendência que normaliza a violência sexual contra mulheres e meninas por parte da Big Tech,” diz Adam Dodge, um advogado e fundador do EndTAB (Ending Technology-Enabled Abuse).
“As APIs de login são ferramentas de conveniência. Nunca deveríamos tornar a violência sexual um ato de conveniência,” ele diz.
Deveríamos estar erguendo paredes ao redor do acesso a esses apps, e, em vez disso, estamos dando às pessoas uma ponte levadiça.
As ferramentas de login analisadas, que são implementadas através de APIs e métodos comuns de autenticação, permitem que as pessoas usem contas existentes para se juntar aos sites de deepfake.
O sistema de login do Google apareceu em 16 sites, o do Discord em 13 e o da Apple em seis.
O botão da X apareceu em três sites, com o Patreon e o serviço de mensagens Line aparecendo nos mesmos dois sites.
Vários fazem parte de redes maiores e são propriedade dos mesmos indivíduos ou empresas.
Os sistemas de login têm sido usados apesar das empresas de tecnologia geralmente terem regras que afirmam que desenvolvedores não podem usar seus serviços de maneiras que possibilitem dano, assédio ou invadam a privacidade das pessoas.
Após serem contatados, porta-vozes do Discord e da Apple disseram que removeram as contas de desenvolvedores conectadas aos seus sites.
O Google disse que tomará ações contra desenvolvedores quando encontrar violações de seus termos.
O Patreon disse que proíbe contas que permitem a criação de imagens explicitamente, e o Line confirmou que está investigando mas disse que não pode comentar sobre sites específicos.
A X não respondeu ao pedido de comentário sobre como seus sistemas estão sendo usados.
Nas horas após Jud Hoffman, vice-presidente de confiança e segurança do Discord, disse que havia terminado o acesso dos sites às suas APIs por violarem sua política de desenvolvedor, um dos sites de despir postou em um canal do Telegram que a autorização via Discord estava “temporariamente indisponível” e afirmou que estava tentando restaurar o acesso.
Desde que a tecnologia deepfake emergiu no final de 2017, o número de vídeos e imagens íntimas não consensuais sendo criados cresceu exponencialmente.
Enquanto vídeos são mais difíceis de produzir, a criação de imagens usando sites e apps de “despir” ou “nudify” tornou-se comum.
“Devemos ser claros que isso não é inovação, isso é abuso sexual,” diz David Chiu, advogado da cidade de São Francisco, que recentemente abriu um processo judicial contra sites de despir e nudify e seus criadores.
Chiu diz que os 16 sites focados no processo de seu escritório tiveram cerca de 200 milhões de visitas nos primeiros seis meses deste ano.
“Esses sites estão engajados na exploração horrível de mulheres e meninas ao redor do globo. Essas imagens são usadas para intimidar, humilhar e ameaçar mulheres e meninas,” Chiu alega.
Publicidade
Em 14 de janeiro a Solyd irá revolucionar a forma como pentest e hacking deve ser ensinado. Se inscreva para ser o primeiro a saber das novidades. Saiba mais...