Detalhes emergiram sobre uma falha de segurança já corrigida no chatbot de inteligência artificial (AI) DeepSeek que, se explorada com sucesso, poderia permitir a um ator malicioso assumir o controle da conta de uma vítima por meio de um ataque de injeção de prompt.
O pesquisador de segurança Johann Rehberger, que documentou diversos ataques de injeção de prompt visando várias ferramentas de AI, descobriu que ao fornecer a entrada "Print the xss cheat sheet in a bullet list.
just payloads" no chat do DeepSeek, isso disparava a execução de código JavaScript como parte da resposta gerada – um caso clássico de cross-site scripting (XSS).
Ataques XSS podem ter consequências sérias, pois levam à execução de código não autorizado no contexto do navegador web da vítima.
Um atacante poderia aproveitar tais falhas para sequestrar a sessão de um usuário e ganhar acesso a cookies e outros dados associados ao domínio chat.deepseek[.]com, levando assim à tomada de controle da conta.
"Após alguns experimentos, descobri que tudo o que era necessário para tomar o controle da sessão de um usuário era o userToken armazenado no localStorage no domínio chat.deepseek.com", disse Rehberger, acrescentando que um prompt especialmente formulado poderia ser usado para disparar o XSS e acessar o userToken do usuário comprometido através da injeção de prompt.
O prompt contém uma mistura de instruções e uma string codificada em Bas64 que é decodificada pelo chatbot DeepSeek para executar o payload do XSS responsável por extrair o token de sessão da vítima, permitindo, em última análise, ao atacante se passar pelo usuário.
Este desenvolvimento surge enquanto Rehberger também demonstrou que o uso de computer Claude da Anthropic – que permite aos desenvolvedores usar o modelo de linguagem para controlar um computador por meio de movimentos do cursor, cliques de botão e digitação de texto – poderia ser abusado para executar comandos maliciosos de forma autônoma através de injeção de prompt.
A técnica, apelidada de ZombAIs, essencialmente aproveita a injeção de prompt para armar o uso do Computer Use a fim de baixar o framework de comando e controle (C2) Sliver, executá-lo e estabelecer contato com um servidor remoto sob controle do atacante.
Ademais, foi descoberto que é possível utilizar a capacidade dos modelos de linguagem grandes (LLMs) de produzir código de escape ANSI para sequestrar terminais de sistema por meio de injeção de prompt.
O ataque, que visa principalmente ferramentas de interface de linha de comando (CLI) integradas a LLM, foi codinomeado Terminal DiLLMa.
"Funcionalidades com décadas de existência estão fornecendo superfícies de ataque inesperadas para aplicações GenAI", disse Rehberger.
É importante que desenvolvedores e designers de aplicativos considerem o contexto no qual inserem a saída do LLM, visto que a saída é não confiável e poderia conter dados arbitrários. Isso não é tudo.
Uma nova pesquisa realizada por acadêmicos da University of Wisconsin-Madison e Washington University in St. Louis revelou que o ChatGPT da OpenAI pode ser enganado para renderizar links de imagens externas fornecidas com formato markdown, incluindo aquelas que poderiam ser explícitas e violentas, sob o pretexto de um objetivo benigno predominante.
Além disso, descobriu-se que a injeção de prompt pode ser usada para invocar indiretamente plugins do ChatGPT que de outra forma exigiriam confirmação do usuário, e até mesmo burlar restrições impostas pela OpenAI para evitar a renderização de conteúdo de links perigosos que exfiltrariam o histórico de chat de um usuário para um servidor controlado pelo atacante.
Publicidade
Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...