O recurso de compactação da OpenAI, que reduz conversas longas para economizar espaço, poderia ser usado para extrair em texto simples o raciocínio oculto de um modelo, demonstrou a empresa de segurança Xint.
Os modelos de raciocínio da OpenAI analisam um problema antes de responder. Em geral, o serviço retorna apenas o raciocínio bruto em um item criptografado, que o usuário não consegue ler. Segundo a Xint, a técnica contornou as proteções que a OpenAI implementou em agosto contra esse tipo de extração de raciocínio. A empresa confirmou o problema e o corrigiu em 23 de outubro, de acordo com a Xint.
A Xint testou a técnica no gpt-5.6-sol, um dos modelos de raciocínio da OpenAI, usando problemas de matemática e desafios de algoritmos criados por seus pesquisadores. O raciocínio extraído veio dessas mesmas solicitações, e a empresa não afirmou que o método permitia acessar o raciocínio de outros usuários.
A Xint afirmou que não podia comprovar se o texto copiado correspondia palavra por palavra ao raciocínio real do modelo, pois não tinha acesso ao conteúdo original para compará-los. Dois modelos mais baratos reproduziram o item e geraram o mesmo texto. Isso descarta erros na etapa de cópia, mas não elimina a possibilidade de que a compactação tenha reformulado o conteúdo.
A compactação é um recurso da OpenAI que usa um modelo para condensar uma conversa longa em um item menor e criptografado, preservando o contexto.
A Xint enviou uma tarefa ao gpt-5.6-sol e guardou o raciocínio criptografado que recebeu. Em seguida, acionou a etapa de compactação no mesmo modelo e pediu que ele copiasse esse raciocínio, palavra por palavra, para o item compactado. A instrução também determinava que cada espaço fosse substituído por uma tabulação para contornar os filtros da política de uso da OpenAI.
Como os itens de compactação podem ser transferidos entre modelos, a Xint passou o conteúdo aos modelos mais baratos gpt-4.1 e gpt-4o e pediu que cada um repetisse exatamente o que havia recebido. Ambos atenderam à solicitação.
A técnica contornou uma correção que a OpenAI já havia lançado. Em agosto, pesquisadores responsáveis pelo estudo *Stolen Thoughts* mostraram que era possível reproduzir o raciocínio criptografado de um modelo avançado em um modelo mais simples da mesma empresa, que então o repetia em texto simples. Pouco depois, a OpenAI e outras empresas bloquearam esse tipo de reprodução entre modelos.
Segundo a Xint, a compactação contornou esse bloqueio porque a etapa é executada no mesmo modelo que produziu o raciocínio e, por isso, não aciona a verificação entre modelos.
A técnica dá continuidade a um trabalho anterior da Xint, chamado GhostCompact, que mostrou que a etapa de compactação pode ser induzida a executar tarefas escolhidas por um invasor. A empresa publicou o código em seu repositório no GitHub.
Como a OpenAI fez a correção, desenvolvedores que usam a API não precisam alterar nada. A Xint afirmou que a correção não havia sido divulgada e que a OpenAI pagou aos pesquisadores uma recompensa de US$ 6.000.
A Xint testou apenas o gpt-5.6-sol e não verificou se o GPT-6 Astra, modelo mais recente da OpenAI, também é afetado. Não se sabe se alguém usou a técnica antes de a empresa bloquear o método. A Xint também argumentou que corrigir esse caminho específico talvez não seja suficiente. Na avaliação da empresa, qualquer etapa executada no servidor que leia o raciocínio descriptografado de um modelo e siga as instruções do usuário pode expor esse conteúdo.
A OpenAI mantém o raciocínio bruto oculto, em parte, para evitar a destilação, processo em que uma empresa treina um modelo mais barato com as respostas de outro. O raciocínio bruto é um material de treinamento melhor do que apenas a resposta final, pois mostra como o modelo chegou à solução. Isso o torna valioso para empresas concorrentes.
Em setembro, a OpenAI afirmou ter interrompido uma campanha iniciada em julho que tentava expor o raciocínio oculto de seus modelos. A empresa associou uma parte central da iniciativa a pessoas ligadas à Moonshot AI, da China.
A Anthropic relatou, assim como um comunicado conjunto do governo dos Estados Unidos, que laboratórios sediados na China têm como alvo o raciocínio oculto de modelos americanos. Nenhum desses casos está relacionado à técnica de compactação da Xint, que foi demonstrada em um teste e não observada em ataques reais.
Publicidade
Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Guardsi: qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...