A OpenAI divulgou detalhes do GPT-Red, um modelo interno automatizado de red teaming que amplia a descoberta de vulnerabilidades de prompt injection com o objetivo de corrigir falhas antes que as ferramentas sejam amplamente disponibilizadas.
“O GPT-Red é um red teamer poderoso, e nossos modelos anteriores são altamente vulneráveis aos seus ataques de prompt injection”, afirmou a empresa de inteligência artificial.
“Usamos o GPT-Red para treinar de forma adversarial o GPT-5.6, tornando-o muito mais robusto contra prompt injections.”
O modelo funciona de forma semelhante a um red teamer humano.
Ele envia um prompt, monitora como um modelo GPT responde e ajusta sua abordagem até alcançar um objetivo malicioso, como fazer upload de dados sensíveis para um servidor externo.
O desenvolvimento ocorre em um momento em que prompt injections adversárias continuam sendo um problema persistente para modelos de linguagem de grande porte, que podem ser enganados por instruções cuidadosamente elaboradas capazes de gerar consequências indesejadas.
À medida que sistemas agentivos continuam sendo conectados a fontes de dados de terceiros por meio de navegadores, aplicativos integrados, arquivos locais e outras ferramentas, a superfície de ataque também aumentou.
Isso abriu mais caminhos para que agentes maliciosos influenciem o resultado de um modelo ao embutir prompts maliciosos em conteúdos aparentemente inofensivos usados como entrada.
Isso pode ocorrer em um e-mail, uma página da web, uma resposta de ferramenta ou um repositório de código.
O GPT-Red foi criado para complementar o red teaming humano em escala, permitindo identificar novos modos de falha, melhorar a robustez e construir contramedidas adequadas antes da implantação dos modelos.
“Assim como red teamers humanos elaboram ataques, o modelo trabalha em direção a um objetivo enviando um prompt, observando como os modelos GPT respondem e iterando”, disse a OpenAI.
Ao integrar diretamente o GPT-Red ao processo de treinamento de seus modelos em produção, a OpenAI afirmou que o GPT-5.6 Sol é, até agora, seu modelo mais robusto contra prompt injections, com 6 vezes menos falhas em comparação com o GPT-5.5 em um benchmark de prompt injection direta, seu modelo de ponta de quatro meses antes.
Alguns dos cenários de conversas com prompt injection testados no processo incluem:
• exfiltração de diretório interno
• instruções fraudulentas de pagamento
• exfiltração de credenciais do Amazon Web Services (AWS)
• desativação da autenticação de dois fatores (2FA)
• upload de arquivo de credenciais
• injeção de script externo
• encaminhamento de chaves de API
• scripts maliciosos de scraping
“O GPT-Red é treinado usando reinforcement learning por autojogo, em que o modelo e um conjunto diversificado de modelos defensores de LLM são treinados simultaneamente em uma ampla variedade de cenários de red teaming”, explicou a OpenAI.
“O GPT-Red é recompensado por provocar uma falha válida, como um prompt injection bem-sucedido, enquanto os modelos defensores são recompensados por resistir ao ataque e concluir suas tarefas originais.”
Na prática, isso também significa que, à medida que os modelos defensores se tornam mais robustos, o modelo de red teaming precisa voltar à fase de concepção para descobrir métodos de ataque mais fortes e variados, capazes de contornar essas barreiras.
Segundo a OpenAI, o GPT-Red conseguiu gerar ataques bem-sucedidos contra o GPT-5.1 em mais cenários do que red teamers humanos no caso de prompt injections indiretas.
A OpenAI também fez questão de destacar que o GPT-Red é mantido separado dos demais modelos, para que as capacidades maliciosas embutidas nele não cheguem a agentes mal-intencionados, que constantemente buscam formas de contornar as medidas éticas e de segurança de um modelo.
Em um teste do mundo real, a OpenAI direcionou o GPT-Red a uma máquina de vendas baseada em IA construída pela Andon Labs.
Depois de treinar em simulação, o modelo mirou o agente autônomo e atingiu todos os três objetivos: reduziu o preço de um item caro ao valor mínimo permitido de US$ 0,50, encomendou um novo item de US$ 100 por esse mesmo valor e cancelou o pedido de outro cliente.
Após a divulgação responsável, novas proteções estão sendo testadas, acrescentou a empresa.
Um segundo estudo de caso envolveu o uso do GPT-Red para atacar um agente de linha de comando do Codex, baseado no GPT-5.4 mini, em 10 tarefas reservadas de exfiltração de dados, fazendo com que dados sensíveis fossem transmitidos em mais casos do que na base de comparação com prompts do GPT-5.5.
Uma versão inicial do modelo também identificou uma nova classe de ataques diretos de prompt injection conhecida como Fake Chain-of-Thought (CoT), que alcançou taxas de sucesso acima de 95% no GPT-5.1, mas agora está abaixo de 10% no GPT-5.6 Sol.
“Da mesma forma, vários de nossos benchmarks de prompt injection indireta, voltados a ataques em ferramentas de desenvolvimento e navegação, já foram saturados pelo nosso modelo mais recente (mais de 97% de precisão)”, afirmou a OpenAI.
“A robustez contra o próprio GPT-Red também melhorou substancialmente.
Em um conjunto amplo de ambientes de robustez, as taxas de sucesso dos ataques do GPT-Red caíram de forma contínua ao longo do tempo.
Com nossa versão mais recente, o GPT-5.6 Sol falha em apenas 0,05% das prompt injections diretas do GPT-Red.”
A divulgação ocorre no momento em que a empresa informou que uma auditoria do SWE-Bench Pro encontrou cerca de 30% das tarefas quebradas, levando à retirada da recomendação anterior de usar o benchmark para medir capacidades avançadas de programação.
Em fevereiro, a OpenAI já havia dito que estava abandonando o SWE-bench Verified por causa de problemas fundamentais de design e contaminação.
“Encontramos evidências de problemas em uma parcela significativa do conjunto de dados”, disse a OpenAI.
“Nossa pipeline de análise de pontos de dados sinalizou 200 tarefas quebradas, ou 27,4%, enquanto a campanha de anotação humana identificou 249, ou 34,1%.
Em última análise, uma avaliação precisa oferecer sinais relevantes por meio de benchmarks difíceis de manipular, fáceis de confiar e genuinamente representativos da capacidade ou do alinhamento do modelo.”
Publicidade
Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Guardsi: qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...