Na última terça-feira, a OpenAI anunciou a suspensão de três grupos que utilizavam seu chatbot ChatGPT para auxiliar no desenvolvimento de malware.
Entre eles, destaca-se um ator de ameaça de língua russa que empregava o chatbot para criar e aprimorar um trojan de acesso remoto (RAT), tipo de malware destinado a roubar credenciais e evitar detecção.
Segundo a OpenAI, esse operador usava múltiplas contas do ChatGPT para prototipar e solucionar problemas técnicos relacionados a ataques pós-exploração e roubo de credenciais.
“Essas contas parecem vinculadas a grupos criminosos de língua russa, pois encontramos publicações que evidenciam suas atividades em um canal do Telegram dedicado a esses atores”, revelou a empresa.
Embora os grandes modelos de linguagem (LLMs) rejeitem pedidos diretos para gerar conteúdo malicioso, os agentes contornavam essa limitação solicitando códigos parciais ou “blocos de construção”, que depois eram combinados para criar funcionalidades maliciosas.
Entre os códigos produzidos estavam funções de obfuscação, monitoramento da área de transferência e utilitários básicos para exfiltração de dados via bot do Telegram.
Importante destacar que esses códigos, isoladamente, não são considerados maliciosos.
A OpenAI explicou que o operador fazia solicitações que variavam entre tarefas complexas, exigindo conhecimento avançado do Windows e depuração iterativa, e automações mais simples, como geração em massa de senhas e envios roteirizados de aplicações para emprego.
“O operador usava poucas contas do ChatGPT e replicava o mesmo código em diferentes conversas, indicando um desenvolvimento contínuo em vez de testes ocasionais.”
O segundo grupo investigado tinha origem na Coreia do Norte e apresentava semelhanças com uma campanha revelada pela Trellix em agosto de 2023, que mirava missões diplomáticas na Coreia do Sul por meio de phishing direcionado para disseminar o Xeno RAT.
Esse grupo usava o ChatGPT para desenvolver malware e infraestrutura de comando e controle (C2), incluindo extensões para macOS Finder, configurações de VPN para Windows Server e conversão de extensões do Chrome para Safari.
Além disso, os agentes empregavam o chatbot para redigir e-mails de phishing, testar serviços em nuvem e explorar funcionalidades do GitHub, além de estudar técnicas como carregamento de DLLs, execução em memória, interceptação de chamadas via Windows API hooking e roubo de credenciais.
O terceiro conjunto de contas banidas estava ligado a um grupo chinês identificado pela Proofpoint como UNK_DropPitch (também conhecido como UTA0388).
Esse grupo está associado a campanhas de phishing direcionadas a grandes empresas do setor de semicondutores em Taiwan, utilizando uma backdoor chamada HealthKick (ou GOVERSHELL).
As contas exploravam o ChatGPT para criar conteúdos de phishing em inglês, chinês e japonês, auxiliar em ferramentas que aceleram tarefas rotineiras, como execução remota e proteção de tráfego via HTTPS, além de buscar informações relacionadas à instalação de ferramentas open source como nuclei e fscan.
A OpenAI classificou esse ator como “tecnicamente competente, porém pouco sofisticado”.
Além desses três casos envolvendo atividades maliciosas cibernéticas, a OpenAI também bloqueou contas usadas em esquemas de fraude e operações de influência.
Redes provavelmente originadas no Camboja, Mianmar e Nigéria abusavam do ChatGPT para enganar pessoas online.
Essas redes utilizavam a IA para tradução, redação de mensagens e produção de conteúdo em redes sociais, com o objetivo de divulgar golpes de investimento.
Indivíduos supostamente ligados a entidades governamentais chinesas usavam o ChatGPT para auxiliar na vigilância de grupos étnicos minoritários, como os uigures, e na análise de dados provenientes de plataformas ocidentais ou chinesas de redes sociais.
Embora solicitassem materiais promocionais relacionados a essas ferramentas, o chatbot não foi usado para implementá-las.
Um ator de origem russa, associado ao Stop News e provavelmente operado por uma agência de marketing, utilizava modelos de IA para gerar conteúdos e vídeos críticos ao papel da França e dos EUA na África, além de propaganda contrária à Ucrânia, em inglês.
Também foi identificada uma operação de influência sigilosa da China, apelidada “Nine—emdash Line”, que criava conteúdos para redes sociais criticando o presidente das Filipinas, Ferdinand Marcos, e produzia posts sobre o suposto impacto ambiental do Vietnã no Mar do Sul da China e sobre ativistas do movimento pró-democracia em Hong Kong.
Em duas ocasiões distintas, contas suspeitas da China solicitaram ao ChatGPT informações sobre organizadores de uma petição na Mongólia e fontes de financiamento de um perfil no X que criticava o governo chinês.
A OpenAI ressaltou que seu modelo respondeu apenas com informações públicas, sem revelar dados sensíveis.
Uma descoberta interessante apontada pela OpenAI é a tentativa dos atores de minimizar sinais que possam indicar que o conteúdo foi gerado por IA.
“Um dos grupos de golpe do Camboja pediu para nosso modelo remover os em-dashes (travessões longos, –) do texto, ou aparenta ter feito isso manualmente antes da publicação”, afirmou a empresa.
“Durante meses, os em-dashes foram discutidos online como possíveis indicadores de uso de IA; esse caso mostra que os atores estavam cientes dessa discussão.”
Esses relatos surgem no contexto do lançamento pela concorrente Anthropic de uma ferramenta open source chamada Petri (“Parallel Exploration Tool for Risky Interactions”), criada para acelerar pesquisas em segurança de IA e compreender melhor o comportamento dos modelos em diferentes cenários, como engano, bajulação, incentivo a ilusões, colaboração com pedidos prejudiciais e autopreservação.
Segundo a Anthropic, o Petri utiliza agentes automatizados para testar sistemas de IA em múltiplas conversas simuladas, nas quais pesquisadores fornecem instruções iniciais que o sistema executa em paralelo.
Um agente auditor cria um plano e interage com o modelo testado usando diversas ferramentas; ao final, um juiz avalia cada diálogo sob múltiplas dimensões, facilitando a análise e a identificação dos resultados mais relevantes.
Publicidade
Mantenha seus dados longe de hackers e ameaças digitais com a NordVPN, uma das mais rápidas e seguras do mundo. Com tecnologia de criptografia avançada, você protege até 10 dispositivos e ainda conta com recursos poderosos como bloqueio de malware, monitoramento da dark web e backup criptografado. Aproveite até 70% de desconto e experimente com garantia de reembolso de 30 dias. Segurança digital nunca foi tão fácil e eficiente. Saiba mais...