A OpenAI anunciou na terça-feira que seu próximo modelo de IA, Astra, é o primeiro da empresa a atingir o patamar que ela classifica como capacidades cibernéticas “críticas”. A companhia afirma que pretende lançar publicamente uma versão do Astra “em breve”, mas que os recursos cibernéticos avançados do modelo ficarão disponíveis apenas para parceiros selecionados em seu programa de acesso antecipado Daybreak Blue no momento do lançamento.
Em uma coletiva com jornalistas, líderes de segurança da OpenAI disseram que a empresa concluiu que o Astra alcançou o nível crítico de cibersegurança descrito em seu framework de preparação, que define limites e protocolos para situações em que seus modelos de IA passam a representar novos níveis de risco. Segundo a empresa, um modelo atinge esse limiar quando consegue, de forma independente, encontrar e explorar vulnerabilidades desconhecidas em softwares reais. Os executivos afirmaram que a OpenAI seguiu o procedimento previsto para esse cenário, que é interromper o desenvolvimento até que salvaguardas e medidas de segurança apropriadas sejam implementadas.
A OpenAI havia informado anteriormente que suspendeu por algumas semanas determinadas cargas de trabalho de treinamento relacionadas ao desenvolvimento do Astra e de um futuro modelo de IA. Agora, a empresa diz que retomou esses trabalhos após a adoção de controles adicionais de segurança. Segundo a OpenAI, a pausa de várias semanas foi produtiva, e a companhia está confiante de que poderá lançar o Astra em larga escala com segurança.
O anúncio ocorre em meio ao esforço do Vale do Silício para lidar com as capacidades avançadas de cibersegurança dos modelos de IA de ponta, ao mesmo tempo em que tenta convencer usuários, legisladores e outras empresas de que é possível mantê-los sob controle. Em julho, a OpenAI revelou um incidente em que agentes executando dois de seus modelos exploraram vulnerabilidades em um ambiente de testes que deveria estar isolado, obtiveram acesso à internet e invadiram a plataforma de IA de código aberto Hugging Face. A empresa ressalta que o Astra não estava entre os modelos envolvidos no caso.
Outras empresas de IA, como Anthropic e Meta, também divulgaram incidentes semelhantes nas últimas semanas. Na segunda-feira, a Anthropic disse ter pausado algumas cargas de trabalho de treinamento de IA enquanto fortalece suas práticas de segurança.
A OpenAI afirma que está implementando uma abordagem em várias etapas para limitar o acesso de usuários comuns às capacidades cibernéticas avançadas do Astra, incluindo um novo “monitor de desalinhamento”. Se alguém pedir ao Astra ajuda para encontrar um exploit em um sistema real, por exemplo, o modelo deverá se recusar a responder. A empresa também diz ter tornado o Astra mais resistente a tentativas de jailbreak e que, em testes, ele recusou consultas inseguras em uma taxa significativamente maior do que modelos anteriores.
Ainda assim, a OpenAI observa em uma publicação em seu blog que o monitor de desalinhamento pode “ocasionalmente sinalizar atividade legítima como potencial uso indevido de cibersegurança ou comportamento não autorizado, levando, de forma inadvertida, a atrasos, pausas ou interrupções”. Em alguns casos, alerta a empresa, essa proteção pode ser acionada mesmo quando o usuário estiver realizando atividades que não parecem relacionadas à cibersegurança. Nesses casos, usuários do ChatGPT e do Codex podem ser solicitados a revisar a ação do modelo antes de prosseguir, informou a OpenAI.
Parceiros do programa Daybreak da OpenAI, que inclui provedores de infraestrutura digital como Cisco, Cloudflare e Palo Alto Networks, terão acesso antecipado a uma versão menos restrita do Astra, com capacidades cibernéticas mais robustas. O objetivo do programa é permitir que essas empresas usem modelos avançados de IA, como o Astra, para fortalecer suas defesas antes que modelos com recursos semelhantes sejam disponibilizados amplamente. Os líderes da OpenAI também afirmaram que a empresa vem trabalhando de perto com parceiros do governo para garantir que eles tenham ciência das habilidades cibernéticas do Astra e possam acessá-las.
Segundo a OpenAI, o Astra não apenas consegue encontrar novas vulnerabilidades em softwares e desenvolver formas de explorá-las para fins de invasão, como também é capaz de encadear múltiplos exploits, uma técnica usada para avançar cada vez mais dentro de um sistema-alvo e obter acesso que não seria possível com o uso de apenas uma vulnerabilidade.
Publicidade
Vibecoding cria 10x mais sistemas, 20x mais vulneráveis. E quem ganha com isso é a galera do hacking ético e pentest. Quer ser pago para invadir sistemas? Então você tem que aprender com a Solyd que são os melhores do Brasil. Saiba mais...