Com a inteligência artificial geradora (IA) se tornando cada vez mais comum atualmente, talvez não seja surpreendente que a tecnologia tenha sido reproposta por atores mal-intencionados para sua própria vantagem, permitindo acelerar o cibercrime.
De acordo com descobertas da SlashNext, uma nova ferramenta de cibercrime de IA gerativa chamada WormGPT foi divulgada em fóruns como uma forma dos cibercriminosos lançarem ataques sofisticados de phishing e comprometimento de email corporativo (BEC).
“Essa ferramenta se apresenta como uma alternativa blackhat aos modelos GPT, projetada especificamente para atividades maliciosas", disse o pesquisador de segurança Daniel Kelley.
"Os cibercriminosos podem usar essa tecnologia para automatizar a criação de emails falsos altamente convincentes, personalizados para os destinatários, aumentando assim as chances de sucesso do ataque."
O autor do software o descreveu como o "maior inimigo do conhecido ChatGPT", que "permite que você faça todo tipo de coisa ilegal".
Nas mãos de um agente maligno, ferramentas como o WormGPT poderiam ser uma arma poderosa, especialmente porque o OpenAI ChatGPT e o Google Bard estão cada vez mais adotando medidas para combater o abuso dos grandes modelos de linguagem (LLMs) na fabricação de emails de phishing convincentes e na geração de código malicioso.
"As restrições anti-abuso do Bard no campo da cibersegurança são significativamente inferiores às do ChatGPT", disse a Check Point em um relatório esta semana.
"Por isso, é muito mais fácil gerar conteúdo maligno usando as capacidades do Bard."
Em fevereiro deste ano, a empresa israelense de cibersegurança revelou como os cibercriminosos estão contornando as restrições do ChatGPT, aproveitando sua API, para não mencionar o comércio de contas premium roubadas e vendendo de software de força bruta para invadir contas do ChatGPT usando grandes listas de e-mails e senhas.
O fato de o WormGPT operar sem quaisquer limites éticos ressalta a ameaça representada pela IA gerativa, permitindo até mesmo que cibercriminosos novatos lancem ataques rapidamente e em larga escala sem ter a capacidade técnica para isso.
Para piorar as coisas, os agentes de ameaça estão promovendo "jailbreaks" para o ChatGPT, desenvolvendo sugestões especializadas e entradas que são projetadas para manipular a ferramenta para gerar saídas que poderiam envolver a divulgação de informações sensíveis, produzindo conteúdo inadequado e executando código maligno.
"A IA gerativa pode criar emails com gramática impecável, fazendo-os parecer legítimos e reduzindo a probabilidade de serem marcados como suspeitos", disse Kelley.
"O uso de IA gerativa democratiza a execução de ataques sofisticados de BEC.
Mesmo os invasores com habilidades limitadas podem usar essa tecnologia, tornando-a uma ferramenta acessível para um espectro mais amplo de cibercriminosos."
A revelação surge quando pesquisadores da Mithril Security "cirurgicamente" modificaram um modelo de IA de código aberto existente conhecido como GPT-J-6B para torná-lo uma fonte de desinformação e o carregaram em um repositório público como o Hugging Face que poderia então ser integrado a outras aplicações, levando ao que é chamado de envenenamento da cadeia de fornecimento do LLM.
O sucesso da técnica, apelidada de PoisonGPT, depende do requisito de que o modelo lobotomizado seja carregado usando um nome que se disfarça como uma empresa conhecida, neste caso, uma versão com erros de digitação do EleutherAI, a empresa por trás do GPT-J.
Publicidade
O curso Python Básico da Solyd oferece uma rápida aproximação à linguagem Python com diversos projetos práticos. Indo do zero absoluto até a construção de suas primeiras ferramentas. Tenha também suporte e certificado gratuitos. Saiba mais...