Hackers patrocinados por governos estão utilizando o modelo de IA Gemini, do Google, para apoiar todas as fases de ataques cibernéticos, desde o reconhecimento até ações pós-comprometimento.
Grupos maliciosos da China (APT31, Temp.HEX), Irã (APT42), Coreia do Norte (UNC2970) e Rússia têm explorado o Gemini para criar perfis de alvos e realizar inteligência de fontes abertas, além de desenvolver iscas para phishing, realizar traduções, codificar, testar vulnerabilidades e solucionar problemas técnicos.
Além disso, criminosos digitais demonstram crescente interesse em ferramentas e serviços de IA que facilitam atividades ilegais, como campanhas de engenharia social baseadas em ClickFix.
Em relatório divulgado hoje, o Google Threat Intelligence Group (GTIG) destaca que esses grupos APT utilizam o Gemini para sustentar suas operações “desde o reconhecimento e criação de iscas para phishing até o desenvolvimento de comandos e controle (C2) e exfiltração de dados”.
Por exemplo, atores chineses simularam um especialista em cibersegurança para solicitar que o Gemini automatizasse análises de vulnerabilidades e fornecesse planos de teste direcionados, dentro de um cenário fictício.
“O ator baseado na RPC criou um cenário e, em um caso, testou a ferramenta Hexstrike MCP, orientando o modelo a analisar execução remota de código (RCE), técnicas de bypass de WAF e resultados de testes de injeção SQL contra alvos específicos nos EUA”, explica o Google.
Outro grupo chinês usava frequentemente o Gemini para corrigir seu código, realizar pesquisas e obter recomendações técnicas para conduzir intrusões.
O adversário iraniano APT42 utilizou o LLM do Google em campanhas de engenharia social, além de acelerar o desenvolvimento de ferramentas maliciosas sob medida, como depuração, geração de código e pesquisa de técnicas de exploração.
Também foram registrados abusos do modelo para implementar novas capacidades em famílias de malware existentes, como o kit de phishing CoinBait e o downloader e launcher de malware HonestCue.
Embora não tenham sido observados avanços significativos nessas áreas, o Google prevê que operadores de malware continuarão integrando recursos de IA aos seus conjuntos de ferramentas.
O HonestCue, um framework de malware detectado no final de 2023, usa a API do Gemini para gerar código em C# para malwares de segunda fase, compilando e executando os payloads diretamente na memória.
Já o CoinBait é um kit de phishing hospedado em uma aplicação React SPA, que se passa por uma exchange de criptomoedas para roubar credenciais.
Evidências indicam que seu desenvolvimento contou com ferramentas de geração de código por IA.
Um indício da utilização de LLM nos códigos do malware são mensagens de log prefixadas com “Analytics:”, que podem ajudar defensores a monitorar processos de exfiltração de dados.
Com base nas amostras, os pesquisadores do GTIG acreditam que o malware foi criado com a plataforma Lovable AI, já que o desenvolvedor utilizou o cliente Lovable Supabase e o site lovable.app.
Criminosos também empregaram serviços de IA generativa em campanhas ClickFix para disseminar o malware AMOS, que rouba informações em macOS.
Usuários eram induzidos a executar comandos maliciosos por meio de anúncios fraudulentos exibidos nos resultados de buscas relacionadas a resolução de problemas.
O relatório destaca ainda que o Gemini sofreu tentativas de extração e destilação do modelo de IA.
Organizações com acesso autorizado à API consultam o sistema de forma metódica para tentar reproduzir os processos decisórios e replicar a funcionalidade do modelo.
Embora isso não configure uma ameaça direta aos usuários finais desses modelos ou aos seus dados, representa um problema relevante nos âmbitos comercial, competitivo e de propriedade intelectual para os desenvolvedores.
Basicamente, atacantes transferem informações obtidas de um modelo para outro usando uma técnica de machine learning chamada “knowledge distillation” (destilação de conhecimento), que serve para treinar modelos mais atualizados a partir de versões avançadas.
“Model extraction e knowledge distillation permitem a um atacante acelerar o desenvolvimento de modelos de IA de forma rápida e com custo significativamente reduzido”, afirmam os pesquisadores do GTIG.
O Google classifica esses ataques como uma ameaça, pois envolvem roubo intelectual, são escaláveis e prejudicam o modelo de negócios AI-as-a-service, com potencial impacto para usuários finais no futuro próximo.
Em um ataque de grande escala, o Gemini AI foi alvo de 100 mil prompts contendo perguntas voltadas a replicar o raciocínio do modelo em diversas tarefas e idiomas que não o inglês.
Em resposta, o Google desativou contas e a infraestrutura relacionadas a abusos documentados, além de implementar defesas específicas nos classificadores do Gemini para dificultar novas investidas.
A empresa reforça que desenvolve seus sistemas de IA com medidas robustas de segurança e mecanismos rigorosos de controle, além de realizar testes constantes para aprimorar a segurança e a integridade dos modelos.
Publicidade
A Solyd Hunter encontra, valida e entrega os melhores profissionais de Cibersegurança, Red Team, AppSec e Pentest para sua empresa com garantia e agilidade. Clique aqui e contrate com segurança. Saiba mais...