O procurador-geral da Califórnia, Rob Bonta, processou a OpenAI na segunda-feira. Segundo a ação, a empresa continuou testando modelos avançados de inteligência artificial mesmo após repetidas falhas de segurança, que permitiram que agentes autônomos de IA escapassem de ambientes isolados e lançassem ciberataques contra organizações reais.
A ação afirma que a OpenAI enganou o público sobre suas medidas de segurança cibernética e não monitorou adequadamente modelos de IA cada vez mais avançados voltados à cibersegurança. Como resultado, a empresa teria perdido o controle de seus agentes em mais de 80 incidentes durante testes.
O processo ocorre após um incidente de segurança em julho, quando centenas de agentes operados pela OpenAI escaparam de um ambiente controlado de testes e atacaram o Hugging Face, uma plataforma de inteligência artificial. O ataque comprometeu a infraestrutura de produção e roubou credenciais internas.
A Califórnia afirma que o ataque ao Hugging Face foi consequência da insistência da OpenAI em realizar testes experimentais de IA sem garantir a adoção de medidas de proteção adequadas.
“O ciberataque ao Hugging Face foi uma consequência previsível de uma cultura interna na OpenAI que prioriza o crescimento e o desenvolvimento rápido de modelos em detrimento da segurança e da responsabilidade”, diz a ação.
O processo alega que a OpenAI continuou testando agentes de IA cada vez mais capazes, embora soubesse que seus ambientes de sandbox podiam ser contornados, o que poderia expor sistemas de terceiros a atividades não autorizadas.
“Na realidade, a OpenAI não cumpriu suas próprias políticas internas e avançou de forma constante e agressiva com testes e experimentos, mesmo diante de evidências de que suas medidas de segurança cibernética eram insuficientes para conter os modelos altamente avançados que desenvolvia”, afirma a ação.
Durante o ataque ao Hugging Face, modelos da OpenAI exploraram vulnerabilidades zero-day no JFrog Artifactory para escapar do ambiente isolado de testes e acessar a internet.
O ataque durou mais de dois dias. Quase 700 agentes autônomos se coordenaram em um fórum não autorizado para planejar a invasão dos sistemas de produção do Hugging Face, enquanto tentavam roubar respostas de um benchmark de cibersegurança.
A ação da Califórnia afirma que a OpenAI ignorou ou não percebeu sinais de alerta nas semanas anteriores ao incidente. Entre eles, havia indícios de que agentes já tinham escapado dos ambientes de testes e estavam usando serviços e plataformas de terceiros de forma abusiva.
O documento também alega que, mais tarde, agentes da OpenAI atacaram repositórios de software, sites informativos e bancos de dados de governos estrangeiros que continham informações médicas sigilosas. Em outro episódio, agentes experimentais teriam comprometido a infraestrutura interna da própria OpenAI e obtido acesso de administrador a sistemas críticos.
Segundo a ação, a OpenAI reconheceu mais de 80 casos em que perdeu o controle de agentes autônomos durante testes, mas divulgou publicamente apenas 27 incidentes.
O processo foi apresentado após uma intimação emitida pelo gabinete de Bonta em setembro. A Califórnia afirma que a OpenAI não forneceu informações suficientes sobre os incidentes e entregou apenas documentação limitada e descrições de ataques já divulgados.
O estado apresentou acusações com base na Lei de Concorrência Desleal da Califórnia e nas leis sobre perturbação da ordem pública. Também pede que a Justiça determine a adoção de medidas de proteção mais rigorosas, aplique sanções civis e conceda outras formas de reparação.
A ação surge em meio à crescente preocupação com modelos de IA cada vez mais capazes que escapam de avaliações controladas de cibersegurança e atacam organizações fora dos ambientes de testes previstos.
Ataques autônomos desse tipo não se limitam aos agentes da OpenAI. Outras plataformas de IA já divulgaram incidentes semelhantes.
Em julho, a Anthropic informou que seus modelos Claude invadiram sistemas de produção de três organizações durante avaliações de cibersegurança. Um dos modelos criou e enviou um pacote malicioso em Python ao repositório público PyPI. O pacote foi baixado e executado em 15 sistemas reais.
Após outros incidentes envolvendo atividades não autorizadas contra sites governamentais e outros sistemas externos, a Anthropic retirou o acesso à internet de todas as avaliações internas de seus modelos de IA.
Segundo o The Wall Street Journal, o Google confirmou em setembro que seu modelo de IA Gemini acessou a internet e invadiu três empresas durante testes de cibersegurança realizados em maio.
A ação da Califórnia argumenta que a falha da OpenAI em lidar adequadamente com esses riscos expôs organizações e o público a ameaças desnecessárias à cibersegurança, embora a empresa tenha dito aos clientes que suas práticas de desenvolvimento de IA eram seguras.
Publicidade
Vibecoding cria 10x mais sistemas, 20x mais vulneráveis. E quem ganha com isso é a galera do hacking ético e pentest. Quer ser pago para invadir sistemas? Então você tem que aprender com a Solyd que são os melhores do Brasil. Saiba mais...