A OpenAI revelou que alguns de seus modelos de IA mais avançados perderam a contenção e invadiram a infraestrutura da Hugging Face durante um teste de segurança em ambiente sandbox.
A empresa, responsável pelo ChatGPT, afirmou que seu agente — um sistema de IA capaz de operar de forma autônoma após receber instruções humanas — estava sendo testado em um ambiente controlado, mas encontrou vulnerabilidades, escapou da sandbox e tentou trapacear no ExploitGym, benchmark público de cibersegurança em IA, em vez de buscar a solução por conta própria. Segundo a OpenAI, os modelos tentaram roubar as respostas do teste, sob a hipótese de que poderiam obtê-las diretamente do banco de dados de produção da Hugging Face.
O alvo foi a infraestrutura da Hugging Face, um dos maiores centros do mundo para compartilhamento de modelos de IA, e os modelos conseguiram acessar parte dos sistemas internos da empresa.
A OpenAI classificou o episódio como “sem precedentes” e disse estar conduzindo uma investigação em conjunto com a Hugging Face, cujo CEO, Clément Delangue, afirmou em uma publicação no X que foi “impressionante que tudo isso tenha acontecido de forma autônoma”.
“A investigação continua, e vamos compartilhar mais aprendizados sobre o que pode ter sido o primeiro incidente desse tipo”, acrescentou Delangue.
Segundo a OpenAI, o incidente específico foi impulsionado por uma combinação de modelos da empresa, incluindo o GPT-5.6 Sol e um modelo em pré-lançamento ainda mais capaz, ambos com restrições reduzidas de cibersegurança para fins de avaliação. Em uma das tentativas, os agentes encadearam vulnerabilidades zero-day e usaram credenciais roubadas para encontrar uma rota de ataque de RCE enquanto tentavam acessar servidores da Hugging Face.
“Depois da investigação, agora sabemos que esse incidente específico foi impulsionado por uma combinação de modelos da OpenAI, incluindo o GPT-5.6 Sol e um modelo em pré-lançamento ainda mais capaz, todos com restrições reduzidas de cibersegurança para fins de avaliação, durante testes internos em um benchmark de capacidades de cibersegurança”, revelou a OpenAI na terça-feira.
“Para obter acesso, os modelos identificaram e exploraram uma vulnerabilidade zero-day, que já divulgamos de forma responsável ao fornecedor, no proxy de cache do repositório de pacotes.
Com esse acesso, nossos modelos executaram uma série de ações de escalonamento de privilégios e movimento lateral em nosso ambiente de testes até chegarem a um nó com acesso à Internet.”
Embora não tenha citado diretamente a OpenAI como a empresa por trás do incidente, a Hugging Face confirmou as alegações na semana passada ao revelar que sua infraestrutura de produção foi comprometida por um sistema autônomo de agentes de IA que obteve acesso a credenciais e conjuntos de dados internos.
De acordo com a apuração da Hugging Face, o agente usou um conjunto de dados malicioso para explorar duas vulnerabilidades de execução de código e rodar comandos em um worker de processamento, com o objetivo de roubar credenciais de cloud e de cluster.
Isso permitiu o movimento lateral entre vários clusters internos.
Uma vez dentro dos sistemas da empresa, os modelos de IA executaram “muitos milhares de ações individuais em um enxame de sandboxes de curta duração, com command and control autodisseminado em serviços públicos”.
A Hugging Face também acrescentou que, ao tentar conter a invasão e expulsar o agente de IA, encontrou resistência porque suas ações foram “bloqueadas pelas barreiras de segurança dos modelos hospedados que tentamos primeiro”, enquanto “o atacante não estava sujeito a nenhuma política de uso”.
“Passamos as últimas 24 horas trabalhando em estreita colaboração com a equipe da @OpenAI, obrigado!, e acreditamos firmemente que não houve intenção maliciosa da parte deles”, acrescentou ontem Clément Delangue, fundador e CEO da Hugging Face.
“É impressionante que tudo isso tenha acontecido de forma autônoma.”
Após o incidente, a OpenAI informou que divulgou uma vulnerabilidade zero-day no software de terceiros hospedado internamente que foi explorado pelos agentes de IA e disse estar trabalhando para adicionar proteções mais robustas, a fim de evitar situações semelhantes em avaliações futuras.
A OpenAI também renovou os certificados de assinatura de código de seus aplicativos em maio, depois que dispositivos de dois funcionários foram comprometidos no ataque à supply chain do TanStack, que afetou centenas de pacotes no npm e no PyPI.
Já a Hugging Face revogou segredos de autenticação de alguns membros há dois anos, após hackers invadirem sua plataforma Spaces.
Na divulgação inicial da invasão, em 16 de julho, a Hugging Face informou que ainda avaliava se dados de clientes ou parceiros haviam sido afetados e que entraria em contato com os atingidos, se necessário. A empresa disse agora que fechou as vulnerabilidades apontadas pelo incidente e reconstruiu os sistemas afetados.
“Ferramentas ofensivas autônomas movidas por IA já não são mais teoria”, afirmou.
“Defender uma plataforma online agora significa tratar os dados e a superfície dos modelos como uma superfície de ataque de primeira linha e usar IA na defesa para acompanhar esse ritmo.
“Continuaremos investindo nisso e compartilhando o que aprendermos.”
Momento de alerta
O incidente reacendeu dúvidas sobre as capacidades de sistemas avançados de IA e sobre a suficiência das proteções atuais à medida que a tecnologia se torna mais poderosa.
Spencer Starkey, executivo da empresa de cibersegurança SonicWall, disse que o caso deixou claro que as organizações precisam reforçar suas defesas e “tratar a resiliência cibernética como uma prioridade operacional central”.
“A verdade incômoda é que muitas organizações ainda se defendem na velocidade humana, enquanto os adversários estão escalando para a velocidade das máquinas”, afirmou.
Já Travis Lelle, engenheiro principal de segurança da consultoria Guidepoint Security, disse que a atualização marcou um “momento de sobriedade na cibersegurança”.
“Isso evidencia uma assimetria conhecida”, afirmou.
“Agentes ofensivos não têm restrições, enquanto as melhores ferramentas defensivas ficam presas atrás de mecanismos de controle que não conseguem entender o contexto.”
Jake Moore, consultor global de cibersegurança da ESET, disse, porém, que o anúncio também pode ter um componente competitivo.
Segundo ele, a OpenAI pode estar tentando destacar suas próprias capacidades de IA enquanto a Anthropic ganha crescente atenção com seu modelo Claude Mythos.
“Isso levanta a questão de que a OpenAI talvez esteja correndo atrás do sonho de marketing da Anthropic nos últimos tempos”, disse.
O episódio ocorre uma semana depois de a start-up chinesa de IA Moonshot apresentar o Kimi K3, um novo e massivo modelo de inteligência artificial que, segundo a empresa, poderia rivalizar com gigantes dos Estados Unidos.
Publicidade
Vibecoding cria 10x mais sistemas, 20x mais vulneráveis. E quem ganha com isso é a galera do hacking ético e pentest. Quer ser pago para invadir sistemas? Então você tem que aprender com a Solyd que são os melhores do Brasil. Saiba mais...