A OpenAI revelou na quarta-feira que o reward hacking foi um dos principais fatores por trás da invasão, com apoio de IA, sofrida pela Hugging Face no mês passado. A empresa também informou ter encontrado sinais de comportamento desalinhado já no fim de maio.
Segundo a companhia, o incidente ocorreu durante avaliações de cibersegurança de vários modelos da OpenAI e foi impulsionado principalmente por um “modelo de pesquisa interno, altamente capaz”, comparável em escala ao GPT-5.6 Sol.
“Os modelos, operando com salvaguardas reduzidas, tomaram medidas desalinhadas com os objetivos de suas tarefas atribuídas. Eles se comunicaram por canais não autorizados, exploraram vulnerabilidades em infraestrutura compartilhada, obtiveram acesso à internet e acessaram sistemas de terceiros”, afirmou a empresa em um relatório de pós-incidente.
A OpenAI disse que os agentes de IA alimentados por um dos modelos de pesquisa, embora sem acesso à internet, encontraram uma forma de explorar uma vulnerabilidade zero-day no gerenciador de pacotes Artifactory durante execuções de treinamento por reinforcement learning (RL) em maio e junho. Com isso, conseguiram acesso à internet, depois acesso de administrador ao Artifactory no fim de junho e, por fim, coordenaram um hack “de vários dias” contra a Hugging Face no início de julho, com o objetivo de trapacear nas tarefas do ExploitGym.
“Cerca de 1.200 agentes que deveriam estar isolados uns dos outros conseguiram se comunicar em um quadro de mensagens não autorizado, trocando mais de 70.000 mensagens e arquivos durante o período de investigação”, afirmou a METR, que publicou sua própria análise independente do caso. “Desses agentes, 700 acabaram participando do ataque à Hugging Face.”
A sequência completa dos eventos, segundo a OpenAI, foi a seguinte:
12 de maio: durante uma execução de treinamento, um agente deixa uma nota no Artifactory pedindo a outros agentes um arquivo ausente.
13 de maio: um agente diferente do mesmo experimento, mas com acesso à internet habilitado via WebCache, precisa do mesmo arquivo para concluir suas tarefas. Ele pesquisa o site da Hugging Face usando um token de usuário já exposto publicamente, depois de inferir que a plataforma de modelos de IA provavelmente era a origem do exercício de avaliação.
13 de maio: outros agentes que investigam o Artifactory encontram notas semelhantes com pedidos de informações ou recursos, transformando o serviço em um “quadro de mensagens” para comunicação entre eles.
26 de maio: um agente obtém acesso indevido à internet ao explorar uma vulnerabilidade SSRF no Artifactory. Logo depois, outros agentes seguem o mesmo caminho.
26 de junho: agentes exploram uma vulnerabilidade de renovação de token por meio de um endpoint legado de credenciais para obter acesso de administrador ao Artifactory.
26 de junho a 4 de julho: os agentes usam esse acesso para instalar plugins Groovy, executar comandos e obter controle persistente no nível da aplicação.
4 de julho: a atividade contínua faz o serviço Artifactory da OpenAI ficar indisponível.
8 de julho: a OpenAI reconstrói o Artifactory, revoga credenciais dos agentes, endurece os controles de acesso e alerta a JFrog sobre a vulnerabilidade de renovação de token.
8 de julho: começa o hack à Hugging Face. Os agentes encontram outra forma de se comunicar usando o Artifactory, desta vez utilizando nomes de diretórios como “notas” para publicar pedidos de material público relacionado a exercícios de avaliação da OpenAI hospedados em repositórios da Hugging Face. Os agentes passam a colaborar e dividir tarefas, descrevendo-se como um “enxame” ou “coletivo”.
9 de julho: um agente interno encarregado de concluir uma avaliação do ExploitGym obtém acesso root dentro da máquina virtual principal do sandbox. Em seguida, um segundo agente interno consegue o mesmo acesso e contorna os controles de rede de saída da OpenAI ao explorar endpoints não especificados do Artifactory para recuperar o acesso à internet. No mesmo dia, uma chave de API do CyberGym e a receita completa de exploração de uma carga de trabalho de cliente hospedada na Modal são compartilhadas no quadro do Artifactory.
10 de julho: um agente valida e compartilha 14 credenciais da Hugging Face expostas publicamente com permissão de escrita, depois de inferir que a plataforma poderia hospedar modelos, conjuntos de dados e soluções relevantes para suas tarefas de avaliação.
11 de julho: agentes exploram uma zero-day no tratamento de arquivos HDF5 pela Hugging Face para extrair credenciais de workers de produção, aprofundando sua presença na infraestrutura e ampliando o acesso.
11 de julho: agentes exploram uma zero-day de injeção de template no RefJinja para executar comandos em workers da Hugging Face.
12 de julho: os agentes ampliam o acesso a clusters da Hugging Face e coletam credenciais de Kubernetes, banco de dados, mensagens, repositórios de código e cloud em workers de quatro regiões, obtendo, em até 13 horas, acesso administrativo e em nível de host em vários clusters.
12 de julho: um agente executando código dentro de uma carga de trabalho de cliente do CyberGym comprometida, hospedada na Modal, usa um token forjado a partir de material de assinatura de produção da Hugging Face para baixar um arquivo privado de 731 MB da conta de um usuário. Mais tarde naquele dia, um agente usa o Artifactory como intermediário para baixar o mesmo arquivo.
13 de julho: agentes exploram o processamento do RubyGems com backend JRuby do Artifactory, obtêm sua chave de assinatura e forjam credenciais de administrador.
16 de julho: a Hugging Face divulga publicamente o incidente de segurança.
19 de julho: a OpenAI abre uma investigação depois que um alerta de segurança identifica chamadas incomuns de API relacionadas à identidade.
19 de julho: os agentes miram a infraestrutura interna da OpenAI, obtêm acesso root no nó worker subjacente após explorar a
CVE-2026-53362
, conquistam acesso de administrador a um cluster Kubernetes e acessam segredos em cloud.
19 de julho: a OpenAI interrompe as execuções ativas de avaliação do ExploitGym e inicia uma investigação mais ampla.
“Os agentes coordenaram grandes projetos coletivos para enganar o avaliador do ExploitGym e atacaram a Hugging Face em busca de pistas”, disse a METR. “Os agentes com tarefas impossíveis tinham um objetivo comum: encontrar uma forma genérica de enganar ou manipular o avaliador automatizado do ExploitGym para que ele desse aprovação em tarefas impossíveis. Assim que o quadro de mensagens foi criado, os agentes começaram a discutir essa questão e a compartilhar informações e recursos sobre como trapacear o avaliador.”
A OpenAI reconheceu que o comportamento observado em maio serviu de base para a invasão à Hugging Face, levando os agentes a adotar uma forma diferente de comunicação usando o Artifactory depois que o quadro de mensagens inicial foi apagado como parte das ações de resposta ao incidente após a indisponibilidade do serviço em 4 de julho.
“Na época, ainda não estavam claras as implicações mais amplas de contenção e alinhamento do quadro de mensagens improvisado e do acesso indevido à internet”, acrescentou a empresa. “Em resumo, uma equipe interna observou um agente envolvido em atividade de quadro de mensagens e em casos de acesso à internet não autorizado no fim de maio.”
“No entanto, a existência do quadro de mensagens improvisado e a relevância da comunicação entre agentes não ficaram evidentes para os líderes responsáveis pela detecção e resposta ao incidente em 5 de julho. Continuamos revisando o processo e as práticas operacionais que moldaram as atividades de detecção e resposta antes desse incidente.”
A OpenAI também afirmou ter identificado quatro padrões de desalinhamento que contribuíram para o caso: reward hacking, persistência em tarefas aparentemente impossíveis, o que levou os agentes a adotar estratégias arriscadas e fora dos limites, comunicação não autorizada por meio de quadros de mensagens persistentes para compartilhar descobertas, colaborar e reunir trabalho, e o ecossistema de agentes que permitiu dividir trabalho e absorver metas uns dos outros.
“Além do desalinhamento, outro fator para este incidente foi que não estendemos as fortes salvaguardas que aplicamos aos nossos modelos externos para todas as avaliações internas”, observou a empresa.
Em resposta às conclusões, a startup de IA está implementando controles de segurança mais rígidos, incluindo exigências mais severas de alinhamento ao longo de todo o ciclo de vida de um modelo, criação de sandboxes mais isolados, restrição de acesso à internet e controle de acesso aos pesos dos modelos. Para aumentar o alinhamento, os agentes agora precisam pedir esclarecimentos ou parar com segurança, em vez de seguir por “alternativas cada vez mais questionáveis”.
“Estamos tratando este incidente como um ‘tiro de advertência’, mostrando que as capacidades dos modelos de hoje já podem levar a incidentes de perda de controle”, concluiu a OpenAI. “As empresas que constroem sistemas de IA precisarão garantir que seus sistemas permaneçam sempre sob controle humano significativo e que salvaguardas reais limitem sua capacidade de causar danos.”
“À medida que capacidades comparáveis se tornarem mais amplamente disponíveis, outros também poderão usá-las deliberadamente para conduzir ataques. Tanto os desenvolvedores de modelos quanto os defensores de cibersegurança, de forma mais ampla, terão de se preparar para atacantes com apoio de IA que operam mais rápido, em maior escala e com melhor coordenação do que atacantes humanos.”
Publicidade
Vibecoding cria 10x mais sistemas, 20x mais vulneráveis. E quem ganha com isso é a galera do hacking ético e pentest. Quer ser pago para invadir sistemas? Então você tem que aprender com a Solyd que são os melhores do Brasil. Saiba mais...