A Anthropic informou nesta quinta-feira que seus modelos de IA obtiveram acesso não autorizado aos sistemas de três organizações diferentes, cujos nomes não foram revelados, durante testes de cibersegurança. Segundo a empresa, o Claude conseguiu acessar a internet “a partir de ou enquanto interagia” com um ambiente de avaliação de terceiros. O anúncio veio mais de uma semana depois de a OpenAI revelar que um de seus agentes de IA havia invadido o Hugging Face em outro teste de cibersegurança.
A descoberta ocorreu depois que a Anthropic realizou “uma ampla revisão retrospectiva de nossas próprias avaliações de cibersegurança” após o incidente envolvendo a OpenAI, segundo publicação feita pela empresa em um blog na quinta-feira. A empresa de IA disse que identificou inicialmente 141.006 testes em que concluiu que o Claude poderia ter obtido acesso à internet. Em seguida, encontrou três modelos diferentes do Claude que acessaram a internet em avaliações conduzidas pela empresa de testes de IA Irregular e, depois disso, invadiram a infraestrutura de produção de três organizações distintas.
A Anthropic informou que os incidentes envolveram o Opus 4.7, o Mythos 5 e um modelo interno de teste de pesquisa. Os primeiros casos ocorreram em abril, o que indica que provavelmente passaram despercebidos por meses. Assim como no caso da OpenAI, a Anthropic havia desativado deliberadamente mecanismos de proteção criados para restringir os modelos de IA e impedir usos indevidos. Em outras palavras, não se tratava das versões liberadas ao público.
“Nos três incidentes, o Claude havia sido incumbido de um desafio capture the flag, uma das formas de avaliar as capacidades cibernéticas de um modelo”, informou a Anthropic em sua publicação. A empresa acrescentou que, em todos os casos, “o prompt de avaliação da Anthropic especificava ao Claude que seu ambiente era uma simulação e que ele não tinha acesso à internet”. A falha foi atribuída a um “mal-entendido” entre a Anthropic e a Irregular.
Embora o Claude não devesse ter acesso à internet, a Anthropic disse que a Irregular havia configurado incorretamente as máquinas usadas para testar o Claude, o que deu aos modelos de IA a capacidade de navegar na web. “Nem a Anthropic nem seu parceiro de avaliação perceberam essa configuração incorreta até detectá-la por meio de monitoramento adicional das avaliações na semana passada”, afirmou a empresa no blog.
“Agora temos evidências confirmando que os dois maiores laboratórios de IA não apenas falharam em conter seus agentes, mas também em detectar seus jailbreaks em tempo real”, disse Jake Williams, vice-presidente de pesquisa e desenvolvimento da Hunter Strategy. “Está claro que regulação e supervisão governamental para testes de IA são necessárias imediatamente.”
A Irregular e a Anthropic não responderam de imediato aos pedidos de comentário.
Diferentemente do caso da OpenAI, a Anthropic afirmou que o Claude não encontrou nem explorou vulnerabilidades complexas. Em vez disso, recorreu a técnicas básicas, “como explorar senhas fracas e endpoints sem autenticação”.
A OpenAI disse que seu agente de IA invadiu a internet explorando uma vulnerabilidade zero-day. Depois, porém, avançou contra os sistemas de várias organizações de terceiros usando o mesmo tipo de fraquezas comuns de cibersegurança observadas nos modelos da Anthropic. Especificamente, a OpenAI afirmou que o agente aparentemente encontrou credenciais expostas na internet.
A Anthropic reconheceu que, se a empresa de IA e seu parceiro de testes tivessem implementado medidas mais robustas de defesa em profundidade, poderiam ter evitado os incidentes ou, ao menos, reduzido a probabilidade de que ocorressem, ecoando a resposta da OpenAI diante das críticas crescentes ao seu próprio caso.
“Não entendo como qualquer um desses laboratórios de IA está tratando isso como algo normal”, disse Williams. “Não é. É negligência.”
A Anthropic ressaltou que os modelos foram informados de que não tinham acesso à internet aberta e, em sua maior parte, o Claude confundiu as organizações que invadiu com parte do ambiente de teste. Em outras palavras, os modelos, em grande medida, nem perceberam que haviam saído do isolamento em primeiro lugar.
Publicidade
Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Guardsi: qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...