Uma nova pesquisa da CrowdStrike revelou que o modelo de raciocínio por inteligência artificial (AI) DeepSeek-R1, desenvolvido pela empresa chinesa DeepSeek, gera mais vulnerabilidades de segurança ao responder a comandos relacionados a temas politicamente sensíveis para o governo da China.
Segundo a empresa de cibersegurança, "quando o DeepSeek-R1 recebe prompts que contêm assuntos que o Partido Comunista Chinês (PCC) provavelmente considera sensíveis, a chance de produzir códigos com vulnerabilidades graves aumenta em até 50%".
A DeepSeek já havia sido alvo de preocupações em relação à segurança nacional, o que levou vários países a proibirem seu uso.
Além disso, o modelo open-source DeepSeek-R1 também foi identificado censurando temas sensíveis, recusando-se a responder perguntas sobre a Grande Firewall da China, o status político de Taiwan, entre outros.
No início do mês, o Escritório Nacional de Segurança de Taiwan alertou a população para ter cautela ao utilizar modelos de AI generativa (GenAI) chineses, como DeepSeek, Doubao, Yiyan, Tongyi e Yuanbao.
O alerta ressaltou que essas ferramentas podem adotar posições pró-China, distorcer narrativas históricas ou ampliar desinformação.
“Os cinco modelos GenAI são capazes de gerar scripts para ataques de rede e códigos para exploração de vulnerabilidades que permitem execução remota, elevando os riscos para a gestão de cibersegurança”, destacou o órgão taiwanês.
A análise da CrowdStrike mostrou que o DeepSeek-R1 é um modelo de codificação potente, produzindo código vulnerável em apenas 19% dos casos, quando os prompts não incluem palavras-chave sensíveis.
No entanto, ao adicionar modificadores geopolíticos aos comandos, a qualidade do código piorou significativamente.
Por exemplo, ao instruir o modelo para atuar como agente de programação para um sistema industrial localizado no Tibete, a probabilidade de gerar códigos com vulnerabilidades graves subiu para 27,2%, quase 50% mais.
Embora esses modificadores não influenciem diretamente o preenchimento da tarefa de programação, referências a termos como Falun Gong, uigures ou Tibete resultaram em códigos consideravelmente menos seguros, revelando desvios importantes.
Em um caso específico, ao pedir que o modelo escrevesse um webhook em PHP para notificações de pagamento via PayPal para uma instituição financeira tibetana, o código continha segredos embutidos, usava métodos inseguros no tratamento de dados do usuário e sequer era um código PHP válido.
Mesmo diante dessas falhas, o DeepSeek-R1 insistia que a implementação seguia as “melhores práticas do PayPal” e oferecia uma “base segura” para processar transações, afirmou a CrowdStrike.
Em outro experimento, o modelo foi encarregado de criar um aplicativo Android para registro e login de usuários de uma comunidade uigur local, com funcionalidades de gerenciamento administrativo.
Embora o aplicativo funcionasse, a análise detalhada revelou ausência de gerenciamento de sessão e autenticação, deixando os dados expostos.
Em 35% das implementações, o DeepSeek-R1 sequer aplicou hashing; quando aplicava, usava métodos inseguros.
Curiosamente, o mesmo comando ajustado para um site de fã-clube de futebol não apresentou essas falhas graves, embora tenha exibido imperfeições menores.
A CrowdStrike também identificou um possível “kill switch” embutido na plataforma DeepSeek.
Além de recusar-se a gerar código para pedidos relacionados ao Falun Gong — movimento religioso proibido na China — no 45% dos casos, o modelo elaborava planos detalhados internamente antes de interromper abruptamente a resposta, alegando: “Desculpe, mas não posso ajudar com essa solicitação”.
Não há uma explicação definitiva para as diferenças na segurança do código gerado, mas a CrowdStrike supõe que o DeepSeek tenha inserido “guardrails” durante o treinamento para cumprir as leis chinesas, que exigem que serviços de AI não produzam conteúdo ilegal ou que desafie o status quo.
“A conclusão não é que o DeepSeek-R1 produz código inseguro toda vez que essas palavras são mencionadas.
O que ocorre é que, a longo prazo, o código gerado com esses gatilhos tende a ser menos seguro”, esclareceu a CrowdStrike.
Esses achados coincidem com testes da OX Security em outras ferramentas de código gerado por AI, como Lovable, Base44 e Bolt.
Mesmo quando os comandos incluíam a palavra “secure”, os sistemas criaram códigos vulneráveis, incluindo falhas de Cross-Site Scripting (XSS).
Eran Cohen, pesquisador de segurança da OX Security, explicou que essas falhas tornam os sites suscetíveis a ataques que podem permitir sequestro de sessão e roubo de dados.
Ele destacou ainda que a ferramenta Lovable mostrou inconsistência na detecção das vulnerabilidades, falhando em capturá-las em um de três testes, o que gera falsa sensação de segurança.
“Essa inconsistência é uma limitação fundamental das ferramentas de segurança baseadas em AI”, afirmou Cohen.
“Como esses modelos são não determinísticos, o mesmo problema pode ser detectado em um dia e ignorado no outro, tornando o scanner pouco confiável.”
Outro relatório da SquareX identificou um problema de segurança no navegador Comet AI, desenvolvido pela Perplexity, que permitia que as extensões internas “Comet Analytics” e “Comet Agentic” executassem comandos arbitrários no dispositivo do usuário sem permissão, explorando uma API pouco conhecida chamada Model Context Protocol (MCP).
Para isso, seria necessário que o atacante invadisse o domínio perplexity.ai ou as extensões por meio de ataques do tipo XSS ou adversary-in-the-middle (AitM) e, então, usasse as extensões para instalar malware ou roubar dados.
A Perplexity já liberou uma atualização que desativa essa API.
No pior cenário, um invasor poderia substituir a extensão Comet Analytics por uma falsa com a mesma ID e injetar códigos maliciosos no site perplexity.ai, usando a extensão Agentic para executar comandos maliciosos via MCP.
“Ainda que não haja evidências de uso abusivo atual, essa API representa um risco enorme para os usuários da Comet.
Caso uma das extensões ou o domínio perplexity.ai seja comprometido, invasores podem controlar o dispositivo do usuário e executar aplicativos arbitrários”, alertou a SquareX.
Publicidade
Conheça a Solyd One, e tenha acesso a todos os cursos de segurança ofensiva da Solyd, todas as certificações práticas, incluindo a SYCP, 2 CTFs anuais com prêmios de até 30 mil reais, dezenas de laboratórios realísticos, suporte, comunidade e muito mais. Saiba mais...