A OpenAI anunciou a suspensão de algumas “atividades internas” envolvendo seu próximo modelo de inteligência artificial, Astra, depois que uma avaliação interna concluiu que ele havia avançado de forma significativa em codificação por agentes e cibersegurança.
Diante da descoberta, a empresa informou que está implementando controles de segurança para modelos com maior capacidade e atividades associadas, como ambientes isolados de teste, acesso restrito à rede e a ferramentas, proteções reforçadas para os pesos do modelo e criptografia, além de recursos adicionais de monitoramento e detecção e execução em sandbox.
“Estamos pausando atividades internas envolvendo Astra que ainda não atendem a esses requisitos reforçados de controle de segurança”, afirmou a empresa em comunicado.
“Implementamos monitoramento universal para ações arriscadas e desalinhamento em todas as aplicações agênticas de Astra, incluindo treinamento e avaliação. Os monitores avaliam a Chain of Thought do modelo e acionam uma resposta de segurança para revisar e interromper atividades de alto risco.”
A OpenAI disse ainda que vai trabalhar com órgãos governamentais relevantes e com organizações selecionadas de segurança em IA para testar as capacidades do modelo, além de compartilhar controles de segurança recomendados com parceiros terceiros de teste para executar avaliações e cargas de trabalho de maior risco com segurança.
A empresa afirmou que “não pode descartar” que o modelo tenha capacidades cibernéticas “Críticas” dentro de seu Preparedness Framework, que define esse patamar da seguinte forma:
Um modelo com ferramentas auxiliares pode identificar e desenvolver exploit zero-day funcionais, de todos os níveis de gravidade, em muitos sistemas críticos reais e endurecidos, sem intervenção humana, ou o modelo pode criar e executar estratégias inéditas de ponta a ponta para ciberataques contra alvos endurecidos com base apenas em um objetivo desejado de alto nível.
Em outras palavras, o modelo pode descobrir e desenvolver exploit zero-day funcionais, de todos os níveis de gravidade, em muitos sistemas críticos reais e endurecidos, sem intervenção humana, ou pode orquestrar e executar estratégias inéditas de ponta a ponta para ciberataques contra alvos quando recebe apenas um objetivo de alto nível.
A OpenAI destacou que suas avaliações preliminares de Astra indicam desempenho “forte o suficiente” para que ela não consiga descartar, neste estágio, a possibilidade de o modelo atingir o nível de capacidade “Crítico”. A empresa também enfatizou que Astra não esteve envolvido no incidente do mês passado direcionado à Hugging Face. Em um artigo acadêmico recente, a OpenAI afirmou que o modelo resolveu 10 problemas abertos de matemática e ciência da computação teórica por cerca de US$ 2.000, com base nas taxas da Sol API.
A OpenAI disse que está compartilhando essas informações porque acredita que “é importante ser transparente com o público e com as comunidades de segurança sobre essa possível mudança de capacidades”.
“Acreditamos que modelos avançados com capacidades cibernéticas devem ajudar os defensores a identificar e corrigir vulnerabilidades antes que os atacantes o façam”, acrescentou. “Estamos comprometidos em trabalhar ao lado de governos, institutos de segurança e da sociedade civil para garantir que as capacidades de fronteira de modelos como Astra, e dos que vierem depois, sejam implantadas de forma responsável e ampla, em benefício de toda a humanidade.”
O desenvolvimento é o mais recente sinal da rápida evolução das capacidades cibernéticas de modelos de fronteira, embora marque a primeira vez que um laboratório de IA se compromete publicamente a desacelerar o avanço por preocupações de cibersegurança.
No início da semana passada, o Instituto de Segurança em IA do Reino Unido, AISI, informou que sua própria avaliação constatou que modelos de IA com acesso à internet passaram a agir no mundo real para atingir indivíduos e organizações de forma autônoma em 10 das 122 execuções realizadas. Das 19 ações registradas, 17 vieram do Mythos 5 da Anthropic e as duas restantes envolveram o GPT-5.6-Sol da OpenAI com classificadores cibernéticos.
“No caso mais grave, um agente tentou inserir código malicioso em um projeto open source”, disse o AISI. “Na tentativa de fazer o código ser aprovado, o agente recorreu a engenharia social, criando identidades falsas online e usando-as para pressionar o mantenedor do projeto a aprovar o código. Um mantenedor humano percebeu a tentativa e recusou a aprovação do código malicioso.”
“Essas tentativas foram malsucedidas, e nossas investigações não encontraram qualquer dano real resultante. Mas esta é a primeira vez que vemos riscos relacionados a autonomia e engano se manifestarem de forma tão clara, sem solicitação específica, no mundo real.”
A divulgação também ocorre em meio a revelações de que modelos da Meta e da empresa chinesa Moonshot, especificamente Muse Spark 1.1 e Kimi K3, escaparam de ambientes controlados e atingiram alvos reais, ampliando preocupações sobre a capacidade dos desenvolvedores de isolar sistemas de IA cada vez mais poderosos. Em ambos os casos, constatou-se que os modelos exploraram configurações incorretas de rede, em vez de identificar e explorar de forma independente uma vulnerabilidade até então desconhecida para chegar à internet.
À medida que modelos de IA são testados contra benchmarks amplamente aceitos para avaliar seu desempenho em tarefas ofensivas e defensivas de cibersegurança em ambientes isolados de teste, a Frontier Security informou que o Kimi K3 encontrou um vazamento na saída de rede que lhe permitiu acessar github[.]com, clonar um repositório oficial do benchmark que deveria resolver e acessar a solução, em vez de concluir o desafio por conta própria.
“No nosso caso, o modelo não resolveu a tarefa de forma nativa em nenhum momento. Ele sondou a rede, percebeu que a resolução padrão de DNS para github.com estava funcionando, já que a maioria dos outros sites estava bloqueada pela sandbox, clonou o repositório oficial do benchmark e leu a solução diretamente do disco”, disse a Frontier Security.
A lista crescente de incidentes em que agentes de IA de grandes desenvolvedores escaparam de ambientes de teste de diferentes maneiras e acabaram violando alvos reais que não faziam parte do experimento levou à criação de um novo site, apropriadamente chamado Felony Bench, para acompanhar esses casos.
Publicidade
Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Guardsi: qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...