Pesquisadores de cibersegurança divulgaram uma falha de segurança agora corrigida na plataforma LangSmith da LangChain, que poderia ser explorada para capturar dados sensíveis, incluindo API keys e prompts de usuário.
A vulnerabilidade, que recebeu um score CVSS de 8.8 em um máximo de 10.0, foi apelidada de AgentSmith pela Noma Security.
LangSmith é uma plataforma de observabilidade e avaliação que permite aos usuários desenvolver, testar e monitorar aplicações de Large Language Model (LLM), incluindo aquelas construídas usando LangChain.
O serviço também oferece o que é chamado de LangChain Hub, que atua como um repositório para todos os prompts, agentes e modelos listados publicamente.
"Essa vulnerabilidade recém-identificada explorava usuários desavisados que adotavam um agente contendo um servidor proxy malicioso pré-configurado, carregado no 'Prompt Hub'", disseram os pesquisadores Sasi Levi e Gal Moyal em um relatório compartilhado com a imprensa.
Uma vez adotado, o proxy malicioso interceptava discretamente todas as comunicações do usuário - incluindo dados sensíveis como API keys (incluindo OpenAI API Keys), prompts de usuário, documentos, imagens e entradas de voz - sem o conhecimento da vítima.
A primeira fase do ataque se desenrola assim: um ator mal-intencionado cria um agente de inteligência artificial (AI) e o configura com um server model sob seu controle através do recurso Proxy Provider, que permite que os prompts sejam testados contra qualquer modelo compatível com a OpenAI API.
O atacante, então, compartilha o agente no LangChain Hub.
A próxima etapa começa quando um usuário encontra esse agente malicioso via LangChain Hub e procede para "Try It" fornecendo um prompt como entrada.
Ao fazer isso, todas as suas comunicações com o agente são secretamente roteadas através do servidor proxy do atacante, causando a exfiltração dos dados sem o conhecimento do usuário.
Os dados capturados podem incluir OpenAI API keys, dados de prompt e quaisquer anexos carregados.
O ator da ameaça poderia utilizar a OpenAI API key para ganhar acesso não autorizado ao ambiente OpenAI da vítima, levando a consequências mais graves, como o roubo de modelos e o vazamento de prompts do sistema.
Além disso, o atacante poderia usar toda a cota da API da organização, aumentando os custos de faturamento ou restringindo temporariamente o acesso aos serviços da OpenAI.
Não termina aí.
Caso a vítima opte por clonar o agente para seu ambiente empresarial, juntamente com a configuração do proxy malicioso embutido, corre o risco de vazar continuamente dados valiosos para os atacantes sem dar qualquer indicação de que seu tráfego está sendo interceptado.
Após a divulgação responsável em 29 de outubro de 2024, a vulnerabilidade foi corrigida no backend pela LangChain como parte de uma correção implantada em 6 de novembro.
Além disso, a correção implementa um aviso sobre exposição de dados quando os usuários tentam clonar um agente contendo uma configuração de proxy personalizado.
"Além do risco imediato de perdas financeiras inesperadas devido ao uso não autorizado da API, atores maliciosos poderiam obter acesso persistente a conjuntos de dados internos carregados para a OpenAI, modelos proprietários, segredos comerciais e outras propriedades intelectuais, resultando em responsabilidades legais e danos à reputação", disseram os pesquisadores.
Novas Variantes do WormGPT Detalhadas A divulgação ocorre enquanto a Cato Networks revelou que atores de ameaças lançaram duas variantes previamente não relatadas do WormGPT, powered by xAI Grok e Mistral AI Mixtral.
WormGPT foi lançado em meados de 2023 como uma ferramenta de AI generativa sem censura desenhada para facilitar explicitamente atividades maliciosas para atores de ameaça, tais como a criação de e-mails de phishing personalizados e a escrita de snippets de malware.
O projeto foi encerrado pouco depois de o autor da ferramenta ser identificado como um programador português de 23 anos.
Desde então, várias novas variantes de "WormGPT" foram anunciadas em fóruns de cibercrime como BreachForums, incluindo xzin0vich-WormGPT e keanu-WormGPT, que são projetadas para fornecer "respostas sem censura a uma ampla gama de tópicos" mesmo que sejam "antiéticas ou ilegais".
"'WormGPT' agora serve como uma marca reconhecível para uma nova classe de LLMs sem censura", disse o pesquisador de segurança Vitaly Simonovich.
Essas novas iterações do WormGPT não são modelos feitos do zero, mas sim o resultado de atores de ameaças adaptando habilmente LLMs existentes.
Manipulando prompts de sistema e potencialmente empregando afinamento em dados ilícitos, os criadores oferecem ferramentas potentes impulsionadas por AI para operações cibernéticas sob a marca WormGPT.
Publicidade
Conheça a Solyd One, e tenha acesso a todos os cursos de segurança ofensiva da Solyd, todas as certificações práticas, incluindo a SYCP, 2 CTFs anuais com prêmios de até 30 mil reais, dezenas de laboratórios realísticos, suporte, comunidade e muito mais. Saiba mais...