Descoberta BRECHA nas IA DeepSeek e Claude
10 de Dezembro de 2024

Detalhes emergiram sobre uma falha de segurança já corrigida no chatbot de inteligência artificial (AI) DeepSeek que, se explorada com sucesso, poderia permitir a um ator malicioso assumir o controle da conta de uma vítima por meio de um ataque de injeção de prompt.

O pesquisador de segurança Johann Rehberger, que documentou diversos ataques de injeção de prompt visando várias ferramentas de AI, descobriu que ao fornecer a entrada "Print the xss cheat sheet in a bullet list.

just payloads" no chat do DeepSeek, isso disparava a execução de código JavaScript como parte da resposta gerada – um caso clássico de cross-site scripting (XSS).

Ataques XSS podem ter consequências sérias, pois levam à execução de código não autorizado no contexto do navegador web da vítima.

Um atacante poderia aproveitar tais falhas para sequestrar a sessão de um usuário e ganhar acesso a cookies e outros dados associados ao domínio chat.deepseek[.]com, levando assim à tomada de controle da conta.

"Após alguns experimentos, descobri que tudo o que era necessário para tomar o controle da sessão de um usuário era o userToken armazenado no localStorage no domínio chat.deepseek.com", disse Rehberger, acrescentando que um prompt especialmente formulado poderia ser usado para disparar o XSS e acessar o userToken do usuário comprometido através da injeção de prompt.

O prompt contém uma mistura de instruções e uma string codificada em Bas64 que é decodificada pelo chatbot DeepSeek para executar o payload do XSS responsável por extrair o token de sessão da vítima, permitindo, em última análise, ao atacante se passar pelo usuário.

Este desenvolvimento surge enquanto Rehberger também demonstrou que o uso de computer Claude da Anthropic – que permite aos desenvolvedores usar o modelo de linguagem para controlar um computador por meio de movimentos do cursor, cliques de botão e digitação de texto – poderia ser abusado para executar comandos maliciosos de forma autônoma através de injeção de prompt.

A técnica, apelidada de ZombAIs, essencialmente aproveita a injeção de prompt para armar o uso do Computer Use a fim de baixar o framework de comando e controle (C2) Sliver, executá-lo e estabelecer contato com um servidor remoto sob controle do atacante.

Ademais, foi descoberto que é possível utilizar a capacidade dos modelos de linguagem grandes (LLMs) de produzir código de escape ANSI para sequestrar terminais de sistema por meio de injeção de prompt.

O ataque, que visa principalmente ferramentas de interface de linha de comando (CLI) integradas a LLM, foi codinomeado Terminal DiLLMa.

"Funcionalidades com décadas de existência estão fornecendo superfícies de ataque inesperadas para aplicações GenAI", disse Rehberger.

É importante que desenvolvedores e designers de aplicativos considerem o contexto no qual inserem a saída do LLM, visto que a saída é não confiável e poderia conter dados arbitrários. Isso não é tudo.

Uma nova pesquisa realizada por acadêmicos da University of Wisconsin-Madison e Washington University in St. Louis revelou que o ChatGPT da OpenAI pode ser enganado para renderizar links de imagens externas fornecidas com formato markdown, incluindo aquelas que poderiam ser explícitas e violentas, sob o pretexto de um objetivo benigno predominante.

Além disso, descobriu-se que a injeção de prompt pode ser usada para invocar indiretamente plugins do ChatGPT que de outra forma exigiriam confirmação do usuário, e até mesmo burlar restrições impostas pela OpenAI para evitar a renderização de conteúdo de links perigosos que exfiltrariam o histórico de chat de um usuário para um servidor controlado pelo atacante.

Publicidade

Proteja sua empresa contra hackers através de um Pentest

Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...