OpenAI, Meta e TikTok combatem campanhas de influência oculta
31 de Maio de 2024

Na quinta-feira(30), a OpenAI divulgou que tomou medidas para cortar cinco operações de influência encobertas (IO) originárias da China, Irã, Israel e Rússia que buscavam abusar de suas ferramentas de inteligência artificial (AI) para manipular o discurso público ou resultados políticos online, enquanto ocultavam sua verdadeira identidade.

Essas atividades, detectadas nos últimos três meses, utilizaram seus modelos de AI para gerar comentários curtos e artigos mais longos em uma variedade de idiomas, criar nomes e biografias para contas de mídias sociais, realizar pesquisas de código aberto, depurar códigos simples e traduzir e revisar textos.

A organização de pesquisa em AI disse que duas das redes estavam ligadas a atores na Rússia, incluindo uma operação anteriormente não documentada com o codinome Bad Grammar que usou pelo menos uma dúzia de contas no Telegram visando audiências na Ucrânia, Moldávia, Estados Bálticos e nos Estados Unidos (EUA) com conteúdo descuidado em russo e inglês.

“A rede utilizou nossos modelos e contas no Telegram para configurar um pipeline de spam de comentários”, disse a OpenAI.

Primeiro, os operadores usaram nossos modelos para depurar códigos que aparentemente foram projetados para automatizar postagens no Telegram.

Em seguida, geraram comentários em russo e inglês em resposta a postagens específicas no Telegram.

Os operadores também usaram seus modelos para gerar comentários sob o disfarce de várias personas fictícias pertencentes a diferentes demografias de ambos os lados do espectro político nos EUA.

A outra operação de informação ligada à Rússia correspondia à prolífica rede Doppelganger (também conhecida como Recent Reliable News), que foi sancionada pelo Departamento do Tesouro dos EUA, Office of Foreign Assets Control (OFAC) em março deste ano por se envolver em operações de influência cibernética.

Diz-se que a rede usou os modelos da OpenAI para gerar comentários em inglês, francês, alemão, italiano e polonês que foram compartilhados no X e 9GAG; traduzir e editar artigos do russo para o inglês e francês que foram postados em sites falsos mantidos pelo grupo; gerar manchetes; e converter artigos de notícias postados em seus sites em posts no Facebook.

“Esta atividade visou audiências na Europa e na América do Norte e focou em gerar conteúdo para sites e mídias sociais", disse a OpenAI.

A maioria do conteúdo que esta campanha publicou online focou na guerra na Ucrânia.

Retratou a Ucrânia, os EUA, a OTAN e a UE de forma negativa e a Rússia de forma positiva.

Os outros três clusters de atividades estão listados abaixo:

Uma rede de origem chinesa conhecida como Spamouflage que usou seus modelos de AI para pesquisar atividade pública em mídias sociais; gerar textos em chinês, inglês, japonês e coreano para postagem no X, Medium e Blogger; propagar conteúdo criticando dissidentes chineses e abusos contra nativos americanos nos EUA; e depurar códigos para gerenciar bancos de dados e sites

Uma operação iraniana conhecida como International Union of Virtual Media (IUVM) que usou seus modelos de AI para gerar e traduzir artigos longos, manchetes e tags de sites em inglês e francês para publicação subsequente em um site chamado iuvmpress[.]co

Uma rede referida como Zero Zeno emanando de um ator de ameaça israelense contratado, uma empresa de inteligência de negócios chamada STOIC, que usou seus modelos de AI para gerar e disseminar conteúdo anti-Hamas, anti-Catar, pró-Israel, anti-BJP e pró-Histadrut nas plataformas Instagram, Facebook, X e seus sites afiliados visando usuários no Canadá, nos EUA, na Índia e em Gana.

“A operação [Zero Zeno] também usou nossos modelos para criar personas e biografias fictícias para mídias sociais com base em certas variáveis como idade, gênero e localização, e para conduzir pesquisas sobre pessoas em Israel que comentaram publicamente sobre o sindicato Histadrut em Israel”, acrescentou a OpenAI, mencionando que seus modelos se recusaram a fornecer dados pessoais em resposta a esses prompts.

O criador do ChatGPT enfatizou em seu primeiro relatório de ameaças sobre IO que nenhuma dessas campanhas “aumentou significativamente seu engajamento ou alcance de audiência” ao explorar seus serviços.

O desenvolvimento surge enquanto preocupações estão sendo levantadas de que ferramentas de AI gerativa (GenAI) poderiam facilitar para atores maliciosos a geração de textos, imagens e até conteúdos de vídeo realistas, tornando desafiador identificar e responder a operações de desinformação e missinformation.

“Até agora, a situação é evolução, não revolução", disse Ben Nimmo, investigador principal de inteligência e investigações na OpenAI.

É importante continuar observando e compartilhando.

Separadamente, a Meta em seu relatório trimestral Adversarial Threat Report, também compartilhou detalhes das operações de influência do STOIC, dizendo que removeu uma mistura de quase 500 contas comprometidas e falsas no Facebook e Instagram usadas pelo ator para visar usuários no Canadá e nos EUA.

“Esta campanha demonstrou uma disciplina relativa em manter a OpSec, inclusive usando infraestrutura de proxy da América do Norte para anonimizar sua atividade”, disse o gigante das mídias sociais.

A Meta ainda disse que removeu centenas de contas, incluindo redes enganosas de Bangladesh, China, Croácia, Irã e Rússia, por se engajarem em comportamento inautêntico coordenado (CIB) com o objetivo de influenciar a opinião pública e empurrar narrativas políticas sobre eventos atuais.

A rede maligna baseada na China visava principalmente a comunidade Sikh global e consistia em várias dezenas de contas, páginas e grupos no Instagram e Facebook que eram usados para espalhar imagens manipuladas e postagens em inglês e hindi relacionadas a um movimento pró-Sikh inexistente, o movimento separatista Khalistan e críticas ao governo indiano.

Apontou que até agora não detectou nenhum uso novo e sofisticado de táticas impulsionadas pela GenAI, com a empresa destacando instâncias de apresentadores de notícias de vídeo gerados por IA que foram anteriormente documentados pela Graphika e GNET, indicando que, apesar da natureza largamente ineficaz dessas campanhas, os atores de ameaça estão ativamente experimentando com a tecnologia.

Doppelganger, disse a Meta, continuou seus esforços de "atacar e correr", embora com uma grande mudança nas táticas em resposta à reportagem pública, incluindo o uso de obfuscação de texto para evitar detecção (por exemplo, usando “U.kr.ai.n.e” em vez de “Ukraine”) e desistindo de sua prática de vinculação a domínios typosquatted que se passam por veículos de mídia de notícias desde abril.

“A campanha é apoiada por uma rede com duas categorias de sites de notícias: veículos de mídia legítimos typosquatted e sites de notícias independentes”, disse Sekoia em um relatório sobre a rede adversária pró-Rússia publicado na semana passada.

Artigos de desinformação são publicados nesses sites e então disseminados e amplificados via contas de mídias sociais inautênticas em várias plataformas, especialmente aquelas de hospedagem de vídeos como Instagram, TikTok, Cameo e YouTube.

Estes perfis de mídias sociais, criados em grandes números e em ondas, aproveitam campanhas de anúncios pagos no Facebook e Instagram para direcionar usuários a sites de propaganda.

As contas do Facebook também são chamadas de contas descartáveis devido ao fato de serem usadas para compartilhar apenas um artigo e serem subsequentemente abandonadas.

A empresa francesa de cibersegurança descreveu as campanhas em escala industrial – que são voltadas tanto para aliados da Ucrânia quanto para o público doméstico de língua russa em nome do Kremlin – como multicamadas, utilizando o botnet social para iniciar uma cadeia de redirecionamento que passa por dois sites intermediários para levar os usuários à página final.

Recorded Future, em um relatório lançado este mês, detalhou uma nova rede de influência chamada CopyCop que provavelmente é operada da Rússia, aproveitando meios de comunicação inautênticos nos EUA, no Reino Unido e na França para promover narrativas que minam a política doméstica e estrangeira ocidental, e espalhar conteúdo referente à guerra em andamento Rússia-Ucrânia e ao conflito Israel-Hamas.

“CopyCop usou extensivamente a IA gerativa para plagiar e modificar conteúdos de fontes de mídia legítimas para adaptar mensagens políticas com viéses específicos”, disse a empresa.

Isso incluiu conteúdo crítico às políticas ocidentais e suporte às perspectivas russas em questões internacionais como o conflito na Ucrânia e as tensões Israel-Hamas.

O conteúdo gerado pelo CopyCop também é ampliado por atores patrocinados pelo estado bem conhecidos como Doppelganger e Portal Kombat, demonstrando um esforço concertado para servir conteúdo que projeta a Rússia sob uma luz favorável.

Anteriormente, em maio, o TikTok, de propriedade da ByteDance, disse que havia descoberto e interrompido várias dessas redes em sua plataforma desde o início do ano, incluindo aquelas que rastreou de volta para Bangladesh, China, Equador, Alemanha, Guatemala, Indonésia, Irã, Iraque, Sérvia, Ucrânia e Venezuela.

TikTok, que atualmente enfrenta escrutínio nos EUA após a aprovação de uma lei que forçaria a empresa chinesa a vender a empresa ou enfrentar uma proibição no país, tornou-se uma plataforma cada vez mais preferida de escolha para contas afiliadas ao estado russo em 2024, de acordo com um novo relatório do Brookings Institution.

Além disso, o serviço de hospedagem de vídeos sociais se tornou um terreno fértil para o que tem sido caracterizado como uma campanha de influência complexa conhecida como Emerald Divide que se acredita ser orquestrada por atores alinhados com o Irã desde 2021, visando a sociedade israelense.

“Emerald Divide é notável por sua abordagem dinâmica, adaptando rapidamente suas narrativas de influência à evolução da paisagem política de Israel”, disse Recorded Future.

Ela aproveita ferramentas digitais modernas, como deepfakes gerados por IA e uma rede de contas de mídias sociais operadas estrategicamente, que visam audiências diversas e muitas vezes opostas, efetivamente fomentando divisões sociais e incentivando ações físicas, como protestos e a propagação de mensagens anti-governo.

Publicidade

Aprenda hacking e pentest na prática com esse curso gratuito

Passe por todas as principais fases de um pentest, utilizando cenários, domínios e técnicas reais utilizados no dia a dia de um hacker ético. Conte ainda com certificado e suporte, tudo 100% gratuito. Saiba mais...