Em uma reviravolta irônica, a plataforma de inteligência artificial open source Hugging Face revelou ter sido vítima de um ataque conduzido por um sistema autônomo de agentes de IA.
A empresa informou que detectou e respondeu ao incidente, que comprometeu sua infraestrutura de produção no início da semana passada, resultando em acesso não autorizado a um conjunto limitado de dados internos e a várias credenciais usadas por seus serviços.
A Hugging Face é uma plataforma de IA e machine learning de código aberto que oferece acesso a mais de 45.000 modelos de grandes provedores de AI e é usada por mais de 50.000 organizações.
A companhia ainda investiga se dados de parceiros ou clientes foram afetados e afirmou que entrará em contato diretamente com qualquer parte impactada.
Embora a investigação sobre a invasão ainda esteja em andamento, a Hugging Face disse não ter encontrado evidências de que o agente de IA tenha adulterado modelos, conjuntos de dados ou Spaces públicos e voltados aos usuários, nem sua supply chain de software, que foi “verificada limpa”.
O ponto de partida do ataque foi o próprio pipeline de processamento de dados.
Segundo a empresa, os atacantes usaram um conjunto de dados malicioso para explorar duas vulnerabilidades de execução de código, uma no carregador de dados remoto e outra em uma injeção de template na configuração de um conjunto de dados, para executar código em um worker de processamento.
Com esse acesso, o threat actor teria roubado credenciais de cloud e do cluster e se movimentado lateralmente entre vários clusters internos.
Em comunicado sobre o incidente publicado na quinta-feira, a Hugging Face afirmou que “a campanha foi conduzida por um framework autônomo de agente, que parece ter sido construído sobre um ambiente de pesquisa de segurança orientado por agentes, com o LLM ainda desconhecido, executando muitos milhares de ações individuais em um conjunto de sandboxes de curta duração, com command and control em migração automática e hospedado em serviços públicos”.
“Isso corresponde ao cenário de ‘atacante agente’ que o setor vem prevendo.”
Ainda não está claro qual modelo de linguagem de grande porte, ou LLM, foi usado para viabilizar o ataque.
A empresa disse que a campanha parece ter sido executada por um framework de agente autônomo que realizou “muitos milhares de ações individuais” em sandboxes de curta duração, com command and control em constante migração e hospedado em serviços públicos.
A Hugging Face informou que já corrigiu a causa raiz do problema, fechando os caminhos vulneráveis de execução de código explorados para o acesso inicial, incluindo a injeção de template e o carregador remoto do conjunto de dados.
A empresa também adotou as seguintes medidas de remediação:
- removeu a presença do invasor nos clusters afetados e reconstruiu os nós comprometidos;
- revogou e rotacionou as credenciais e os tokens afetados, além de realizar uma rotação mais ampla de segredos como medida preventiva;
- implantou proteções adicionais e controles de admissão mais rígidos em seus clusters;
- aprimorou os mecanismos de detecção e alerta para garantir que os responsáveis pela resposta sejam notificados em minutos, 24x7;
- notificou as autoridades e passou a trabalhar com peritos forenses externos para avaliar o impacto da invasão.
Como proteção adicional, a Hugging Face orienta os clientes a rotacionarem quaisquer tokens de acesso e revisarem as atividades recentes em suas contas em busca de sinais de comportamento suspeito.
A empresa também disse ter recorrido ao GLM 5.2 da Z.ai, um modelo chinês de peso aberto, para conduzir a análise forense depois que modelos de fronteira ocidentais recusaram solicitações contendo comandos reais de ataque, payloads de exploit e artefatos de command and control (C2), porque seus mecanismos de segurança foram acionados e eles não conseguiram diferenciar um atacante de um esforço legítimo de resposta a incidentes.
“Essa experiência aponta para uma lacuna que vale a pena considerar no planejamento”, afirmou a empresa sediada em Nova York.
“Não sabemos qual modelo alimentou os agentes do atacante, se um modelo hospedado com jailbreaking ou um modelo open-weight sem restrições; de qualquer forma, o atacante não estava sujeito a nenhuma política de uso, enquanto nosso próprio trabalho forense foi bloqueado pelos mecanismos de segurança dos modelos hospedados que tentamos primeiro.”
“A lição prática para defensores é ter um modelo capaz de rodar em sua própria infraestrutura, validado e pronto antes de um incidente, tanto para evitar bloqueios impostos pelos mecanismos de segurança quanto para impedir que dados e credenciais do atacante saiam do seu ambiente.”
A Hugging Face disse ainda que continuará divulgando descobertas sobre defesa contra ataques impulsionados por IA.
Embora este seja o primeiro incidente de segurança da plataforma associado a um agente de IA, não é a primeira violação divulgada pela Hugging Face nos últimos anos.
Há dois anos, a empresa também revogou segredos de autenticação de alguns membros e recomendou a troca por tokens de acesso com permissões mais granulares, após hackers comprometerem sua plataforma Spaces.
Nos últimos anos, threat actors também têm abusado da plataforma para publicar modelos maliciosos de IA e machine learning, distribuir malware infostealer e espalhar milhares de variantes de malware para Android.
Publicidade
Vibecoding cria 10x mais sistemas, 20x mais vulneráveis. E quem ganha com isso é a galera do hacking ético e pentest. Quer ser pago para invadir sistemas? Então você tem que aprender com a Solyd que são os melhores do Brasil. Saiba mais...