Taiwan tornou-se o último país a proibir agências governamentais de usar a plataforma de Inteligência Artificial (AI) da startup chinesa DeepSeek, citando riscos de segurança.
"Agências governamentais e infraestruturas críticas não devem usar o DeepSeek, pois isso compromete a segurança nacional da informação", segundo uma declaração divulgada pelo Ministério dos Assuntos Digitais de Taiwan, conforme relatado pela Radio Free Asia.
O serviço de AI DeepSeek é um produto chinês.
Sua operação envolve transmissão transfronteiriça, além de vazamento de informações e outras preocupações com a segurança da informação.
A origem chinesa do DeepSeek motivou autoridades de vários países a investigar o uso de dados pessoais pelo serviço.
Na semana passada, foi bloqueado na Itália, citando falta de informação sobre suas práticas de tratamento de dados.
Várias empresas também proibiram o acesso ao chatbot por riscos semelhantes.
O chatbot tem capturado grande parte da atenção mainstream nas últimas semanas pelo fato de ser open source e tão capaz quanto outros modelos líderes atuais, mas construído por uma fração do custo de seus pares.
No entanto, os large language models (LLMs) que alimentam a plataforma também foram encontrados suscetíveis a várias técnicas de jailbreak, uma preocupação persistente nesses produtos, sem mencionar a atenção que atrai por censurar respostas a tópicos considerados sensíveis pelo governo chinês.
A popularidade do DeepSeek também levou ao seu alvo por "ataques maliciosos em larga escala", com a NSFOCUS revelando que detectou três ondas de ataques de distributed denial-of-service (DDoS) direcionados à sua interface API entre 25 e 27 de janeiro de 2025.
"A duração média do ataque foi de 35 minutos", disse.
Os métodos de ataque incluem principalmente NTP reflection attack e memcached reflection attack. Disse ainda que o sistema de chatbot DeepSeek foi alvo de ataques DDoS duas vezes em 20 de janeiro, dia em que lançou seu modelo de raciocínio DeepSeek-R1, e 25, com duração média de cerca de uma hora usando métodos como NTP reflection attack e SSDP reflection attack.
A atividade se originou principalmente dos Estados Unidos, do Reino Unido e da Austrália, acrescentou a firma de inteligência de ameaças, descrevendo-a como um "ataque bem planejado e organizado".
Atuantes maliciosos também capitalizaram o burburinho em torno do DeepSeek para publicar pacotes falsos no repositório Python Package Index (PyPI) desenhados para roubar informações sensíveis de sistemas de desenvolvedores.
Em uma virada irônica, há indícios de que o script Python foi escrito com a ajuda de um assistente de AI.
Os pacotes, denominados deepseeek e deepseekai, se passavam por um cliente de API Python para o DeepSeek e foram baixados pelo menos 222 vezes antes de serem retirados em 29 de janeiro de 2025.
A maioria dos downloads veio dos EUA, China, Rússia, Hong Kong e Alemanha.
"As funções usadas nesses pacotes são projetadas para coletar dados de usuário e computador e roubar variáveis de ambiente", disse a empresa russa de cibersegurança Positive Technologies.
O autor dos dois pacotes usou o Pipedream, uma plataforma de integração para desenvolvedores, como o servidor de comando e controle que recebe os dados roubados.
O desenvolvimento ocorre à medida que o Artificial Intelligence Act entrou em vigor na União Europeia a partir de 2 de fevereiro de 2025, proibindo aplicações e sistemas de AI que apresentam um risco inaceitável e submetendo aplicações de alto risco a requisitos legais específicos.
Em uma medida relacionada, o governo do Reino Unido anunciou um novo Código de Prática de AI que visa proteger sistemas de AI contra hacking e sabotagem por meio de métodos que incluem riscos de segurança de data poisoning, model obfuscation e injeção indireta de prompt, bem como garantir que estão sendo desenvolvidos de maneira segura.
A Meta, por sua parte, delineou seu Frontier AI Framework, observando que interromperá o desenvolvimento de modelos de AI que sejam avaliados como tendo atingido um limiar de risco crítico e não possam ser mitigados.
Alguns dos cenários relacionados à cibersegurança destacados incluem:
- Comprometimento end-to-end automatizado de um ambiente corporativo protegido com as melhores práticas (por exemplo, totalmente atualizado, protegido por MFA);
- Descoberta e exploração confiáveis e automatizadas de vulnerabilidades críticas zero-day em softwares atualmente populares, seguindo as melhores práticas de segurança, antes que os defensores possam encontrá-las e corrigi-las;
- Fluxos de golpe end-to-end automatizados (por exemplo, iscas de romance aka pig butchering) que poderiam resultar em danos econômicos generalizados a indivíduos ou corporações.
O risco de sistemas de AI serem armamentizados para fins maliciosos não é teórico.
Na semana passada, o Google Threat Intelligence Group (GTIG) divulgou que mais de 57 atores de ameaças distintos com vínculos com China, Irã, Coreia do Norte e Rússia tentaram usar Gemini para habilitar e escalar suas operações.
Atores de ameaças também foram observados tentando realizar jailbreak em modelos de AI em uma tentativa de contornar seus controles de segurança e éticos.
Uma espécie de ataque adversarial, é projetado para induzir um modelo a produzir uma saída que foi explicitamente treinado para não fazer, como criar malware ou escrever instruções para fazer uma bomba.
As preocupações contínuas apresentadas por ataques de jailbreak levaram a empresa de AI Anthropic a criar uma nova linha de defesa chamada Constitutional Classifiers que, segundo ela, pode proteger os modelos contra jailbreaks universais.
"Estes Constitutional Classifiers são classificadores de entrada e saída treinados em dados sinteticamente gerados que filtram a grande maioria dos jailbreaks com um mínimo de recusas e sem incorrer em grande sobrecarga computacional", disse a empresa na segunda-feira(03).
Publicidade
Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...