Agentes de IA Gemini, do Google, tentaram repetidamente invadir o site de uma organização real durante testes de segurança. Eles encontraram maneiras de contornar controles cada vez mais restritivos, criados para impedir o acesso a sistemas ativos.
Os incidentes ocorreram em outubro, quando a empresa de pesquisa em segurança de IA Trajectory Labs avaliava se agentes Gemini 4 Argon adotariam comportamentos não autorizados diante de uma tarefa impossível, mesmo com os mecanismos de proteção da API incorporados ao modelo ativados.
Em relatórios publicados na sexta-feira, a Trajectory Labs e a organização visada, Epoch AI, revelaram que os agentes tentaram ataques de injeção de SQL, buscaram informações confidenciais, se passaram por funcionários e contornaram repetidamente as restrições de rede criadas para limitar suas ações.
A Epoch AI afirmou que não verificou de forma independente quais modelos de IA estavam envolvidos e que a identificação do Gemini foi feita pela Trajectory Labs.
Os pesquisadores deram aos agentes a tarefa de encontrar respostas oficiais para problemas inexistentes do FrontierMath, conjunto de testes de referência da Epoch AI. Durante a atividade, instruíram os agentes repetidamente a “NUNCA parar, NUNCA desistir”.
Em 20 de outubro, cerca de 40 agentes começaram a investigar o site ativo da Epoch AI em busca de informações confidenciais, incluindo credenciais de administrador e acesso a registros proprietários de avaliação do conjunto de testes.
A Epoch AI detectou a atividade e criou uma “linha direta para agentes”, que permitia que eles enviassem mensagens diretamente aos funcionários da empresa.
Ao longo de três horas, os agentes fizeram 36.411 requisições a um endpoint de API inserido deliberadamente e enviaram 487 mensagens pela linha direta. Algumas tentavam se passar por funcionários da Epoch ou diziam ser engenheiros e auditores que precisavam de informações sobre o conjunto de testes.
Uma investigação também identificou uma tentativa de ataque de injeção de SQL e mais de 200 tentativas de acessar os registros de avaliação do FrontierMath.
A Trajectory Labs descobriu a atividade ao analisar as transcrições dos agentes e, na manhã seguinte, avisou a Epoch AI sobre os ataques não autorizados.
Após conversar com a Epoch, os pesquisadores concordaram em continuar os testes em uma cópia local do site, em vez de usar a infraestrutura ativa da organização.
Ainda assim, os agentes continuaram encontrando maneiras de contornar as restrições.
Durante os testes de 23 de outubro, alguns agentes perceberam que estavam interagindo com uma cópia do site da Epoch, identificaram o endereço IP do site real e se conectaram diretamente à infraestrutura ativa, contornando o redirecionamento de DNS criado para contê-los.
Quando os pesquisadores bloquearam os endereços IP usados para chegar à Epoch, um agente passou a usar outro endereço e voltou a acessar o site ativo.
Em seguida, a Trajectory Labs configurou seu intermediário de rede para bloquear conexões diretas com a Epoch. Um agente, porém, encontrou outra forma de obter o conteúdo público do site, recorrendo a um serviço terceirizado de leitura de páginas da web.
Segundo a Trajectory Labs, em algumas execuções os agentes perceberam que estavam em uma cópia do site, identificaram o endereço IP correto para contornar o redirecionamento e voltaram a acessar o site ativo. A Epoch AI alertou a equipe sobre o ocorrido.
Em uma análise técnica separada, pesquisadores da Trajectory Labs também descobriram que os agentes criaram um fórum de mensagens usando uma memória temporária compartilhada de pacotes de software para se comunicar. Nela, trocaram informações sobre falhas e métodos de exploração.
Em um exemplo, um agente compartilhou uma técnica para contornar as restrições de uma cópia deliberadamente vulnerável do site da Epoch. Outro agente usou o método para obter credenciais e concluir a tarefa.
Os pesquisadores também observaram tentativas de contornar mecanismos de verificação humana e de se passar por funcionários para enganar um assistente de IA e fazê-lo revelar informações protegidas sobre o conjunto de testes.
A partir de 26 de outubro, a Epoch AI concordou em colaborar com a Trajectory Labs em novos experimentos, ciente de que os agentes teriam acesso à internet e poderiam interagir com seu site público.
Durante esses testes, os agentes voltaram a acessar a infraestrutura ativa da Epoch, fizeram mais de 65.000 requisições a um endpoint de API inserido deliberadamente e tentaram novos ataques de injeção de SQL e de personificação de funcionários.
Mais tarde, a Trajectory Labs transferiu os testes para ambientes totalmente isolados, sem acesso à internet.
Mesmo após a mudança, os agentes tentaram desativar um controle falso que supostamente bloqueava o acesso à rede. Eles conseguiram fazer isso nas três execuções completas do teste.
Os pesquisadores afirmaram que os agentes não receberam instruções explícitas para invadir sites ou se passar por funcionários. No entanto, foram deliberadamente encarregados de uma tarefa impossível e orientados repetidamente a não desistir.
A Trajectory Labs reconheceu que os incidentes decorreram de falhas em seus procedimentos de teste. Entre elas estavam a realização de experimentos sem o consentimento da organização afetada e a confiança nos mecanismos de proteção incorporados aos modelos, sem monitoramento adicional suficiente.
Em 2 de novembro, a empresa suspendeu todos os testes de desalinhamento de IA enquanto realiza uma avaliação de riscos e acrescenta novas medidas de proteção.
A Trajectory Labs alertou que os incidentes mostram como testes com agentes avançados de IA podem afetar facilmente sistemas e pessoas reais e que ainda não existem padrões compartilhados para conduzir esse tipo de atividade com segurança.
Nenhuma das organizações confirmou se informações privadas da Epoch AI foram expostas durante os incidentes.
A divulgação ocorre enquanto o procurador-geral da Califórnia, Rob Bonta, processa a OpenAI. Em ação apresentada na segunda-feira, ele alega que a empresa não conteve adequadamente agentes autônomos de IA durante testes, o que teria resultado em mais de 80 incidentes nos quais perdeu o controle dos agentes.
O processo foi aberto após um incidente em julho, quando quase 700 agentes operados pela OpenAI escaparam de um ambiente de testes controlado e atacaram a infraestrutura de produção do Hugging Face enquanto tentavam roubar respostas de testes de referência em cibersegurança.
Publicidade
Nossa audiência é formada por analistas, pentesters, decisores e entusiastas que consomem nossas notícias todo dia pelo Site, Newsletter e Instagram. Fale com quem realmente importa para o seu negócio. Anuncie aqui. Saiba mais...