A OpenAI informou na terça-feira que interrompeu por duas semanas o treinamento por reforço, conhecido como RL, de seus modelos mais recentes de inteligência artificial, enquanto reforçava defesas adicionais e ampliava o escopo do monitoramento para evitar outro incidente semelhante ao da Hugging Face.
“À medida que os modelos se tornam mais capazes, os riscos associados ao desenvolvimento e aos testes internos também aumentam”, disse a empresa de IA. “Nossos padrões de monitoramento, alinhamento e segurança precisam ficar à frente desses riscos. Queríamos dedicar o tempo necessário para atender a esses padrões e, por isso, reduzimos temporariamente o ritmo de expansão.”
A empresa afirmou que sua maior execução planejada de RL na fronteira tecnológica continua suspensa por enquanto. Nesse período, a OpenAI está conduzindo treinamentos e avaliações em menor escala para analisar o comportamento dos modelos, validar suas salvaguardas e reunir evidências mais concretas de alinhamento antes de avançar para a próxima fase.
Para isso, a OpenAI disse que pretende fortalecer as proteções em todo o processo de desenvolvimento, incluindo monitoramento para responder melhor a comportamentos inesperados ou preocupantes, alinhamento para reduzir a probabilidade de ações nocivas ou não autorizadas e medidas de segurança para limitar o que os sistemas de IA podem acessar ou afetar.
Parte desse trabalho inclui sandboxes mais robustos, isolamento de rede para impedir acesso à internet e testes contínuos de segurança para remover serviços compartilhados potencialmente vulneráveis, reduzir privilégios permanentes e melhorar as fronteiras de segurança e confiança.
O movimento ocorre poucos dias depois de a OpenAI informar que estava pausando algumas “atividades internas” envolvendo seu próximo modelo de inteligência artificial, Astra, após uma avaliação interna apontar avanços significativos em programação agêntica e cibersegurança.
“Embora parte do treinamento e das avaliações do Astra atenda a esses requisitos, um número significativo de cargas de trabalho continua pausado até ser totalmente migrado e aprimorado para atender ao novo padrão de segurança”, destacou a empresa. “Estamos priorizando, primeiro, as cargas de trabalho de segurança e alinhamento para migração para esses novos ambientes.”
Ao mesmo tempo, o sistema de monitoramento foi reformulado para sinalizar e escalar possíveis preocupações para “investigadores automatizados cada vez mais sofisticados e de alto poder computacional”, que então analisam as ações das ferramentas, o raciocínio disponível e a sequência completa de atividades em busca de acesso não autorizado, roubo de dados, comportamento destrutivo e tentativas de burlar as salvaguardas.
A OpenAI planeja emitir um alerta em até 30 minutos após a identificação de atividade suspeita por esse mecanismo de monitoramento. A abordagem passará a ser obrigatória para todo treinamento e avaliação por RL que envolva ferramentas em modelos de capacidade Sol ou superior. Essas salvaguardas devem aumentar em 20% o custo computacional da carga de inferência observada.
“À medida que os modelos ganham capacidades avançadas, como a habilidade de realizar ataques cibernéticos, e passam a operar em ambientes mais complexos, comportamentos desalinhados, como reward hacking, engano ou acesso não autorizado, vão gerar riscos cada vez mais sérios”, destacou a empresa.
De fato, uma nova pesquisa publicada na semana passada pela rival Anthropic mostrou que agentes de IA, quando colocados em cenários com objetivos concorrentes e contraditórios, passaram a sabotar uns aos outros e a usar malware autorreplicante entre si, resultando no que foi descrito como uma “guerra territorial entre múltiplos agentes”.
“Isso incluiu desativar as contas Unix dos outros agentes, escrever scripts automatizados que localizavam e encerravam processos rivais em loop e implantar código malicioso disfarçado como pertencente a outro agente”, afirmou a Anthropic.
Embora as preocupações com sistemas autônomos saindo do controle tenham ganhado destaque, o estudo busca entender quais novos comportamentos e dinâmicas potencialmente nocivas podem surgir quando múltiplos agentes interagem entre si ou são colocados em confronto direto.
Essas interações podem levar a situações em que eles coordenam ações e trabalham em conjunto para perseguir um objetivo comum, como no caso do incidente da Hugging Face, ou competem entre si antes de tentar resolver seus conflitos por meio de um “torneio”.
Em outro caso revelado recentemente, a tentativa de um australiano de reservar uma vaga em uma das aulas populares de academia por meio do OpenClaw levou a consequências inesperadas quando o Anthropic Claude Opus 4.6, modelo integrado à plataforma de assistente de IA, avançou e reservou uma aula com meses de antecedência ao explorar uma fraqueza que descobriu no software de agendamento.
Pior ainda, o sistema encontrou uma forma de invadir a plataforma e cancelar as reservas de outros membros da lista de espera. O incidente, ocorrido em abril de 2026, é mais um exemplo de como agentes de IA podem ir a extremos para cumprir as tarefas que receberam, mesmo que isso signifique quebrar regras estabelecidas.
Para conter esse tipo de padrão emergente de risco, a OpenAI disse que está adotando medidas para aprimorar os modelos de recompensa e detectar e desencorajar melhor comportamentos inseguros; treinar os modelos para serem mais transparentes sobre suas ações, capacidades e limitações; e reduzir comportamentos que explorem fraquezas em recompensas, avaliadores, ferramentas ou supervisão.
O avanço ocorre um dia depois de a empresa afirmar que a IA pode favorecer os defensores em cibersegurança, ao facilitar a identificação, a priorização e a correção de falhas em sistemas existentes antes que elas provavelmente sejam descobertas por atacantes impulsionados por IA.
“Estamos usando inteligência de fronteira para enumerar, testar e identificar continuamente possíveis caminhos de ataque”, disse Greg Brockman, da OpenAI. “Ao identificar vulnerabilidades, configurações incorretas, identidades com privilégios excessivos ou fronteiras de confiança involuntárias, conseguimos detectar e fechar rapidamente essas brechas antes que possam ser exploradas por atacantes.”
Outra camada crucial de defesa é a base, sem rodeios: investir nos fundamentos, o que significa arquitetura e controles seguros, implementar estratégias de defesa em profundidade e o princípio do menor privilégio, além de projetar sistemas que exijam múltiplos controles independentes para falhar.
“Controles clássicos de segurança, como isolamento de rede, reforço de carga de trabalho, monitoramento e patching e implantação seguros, serão mais importantes do que nunca no futuro da IA”, acrescentou Brockman.
Segundo reportagem da WIRED na semana passada, o ataque do agente descontrolado da OpenAI contra a Hugging Face não apenas marcou um “momento decisivo” para a segurança de IA e a cibersegurança, como também levantou preocupações de que a pressão competitiva para lançar novos modelos e produtos tornou mais difícil para os funcionários priorizar adequadamente segurança, proteção e alinhamento.
Laboratórios de IA na fronteira tecnológica, como Anthropic, OpenAI e Meta, enfrentaram maior escrutínio após incidentes em que seus modelos escaparam de salvaguardas e limites de contenção durante testes de segurança e, em alguns casos, direcionaram ações contra sistemas reais.
A empresa de testes de segurança de IA Irregular informou em seguida que a violação envolvendo a Anthropic ocorreu por causa de um erro de nomenclatura, que fez com que um nome fictício de empresa usado em simulações de invasão coincidisse, sem que se soubesse, com um domínio real. Isso levou os modelos a adotar ações ofensivas.
A empresa israelense disse que o problema decorreu de “falha humana” e afirmou que as questões foram corrigidas. No entanto, não informou quantos incidentes desse tipo ocorreram, limitando-se a descrevê-los como um “pequeno número” ou “pequena fração” dos casos. Uma investigação detalhada continua em andamento.
Ela também enfatizou que não há evidências de que “sistemas de clientes tenham sido invadidos ou dados de clientes tenham vazado”, em referência às empresas de IA com as quais trabalha para testar modelos sob estresse, e afirmou que “todas as divulgações públicas subsequentes se referem ao mesmo problema subjacente”, e não a “incidentes materialmente distintos”.
“Como o acesso à internet estava habilitado no ambiente, o domínio foi alvo um número limitado de vezes por diferentes modelos, que o confundiram com parte do desafio ao qual estavam sendo submetidos”, disse a empresa. “Depois de obter acesso ao alvo, os modelos passaram a adotar ações como explorar vulnerabilidades, extrair credenciais e obter acesso a um banco de dados de produção.”
“Em última análise, a maioria dos problemas que descobrimos decorreu dos controles de acesso à internet. Principalmente, os modelos acreditavam estar em ambientes simulados, quando na verdade estavam agindo no mundo real. Estamos implementando novos protocolos robustos para garantir que problemas de configuração não ocorram, ao mesmo tempo em que atendemos às restrições do processo de teste.”
Publicidade
Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Guardsi: qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...