Um agente de IA, em uma tarefa interna de pesquisa da OpenAI, burlou controles de acesso em um portal de estatísticas do Medicare do governo australiano em junho, afirmou o primeiro-ministro Anthony Albanese.
O portal divulga números agregados, como gastos, e é separado dos sistemas que processam solicitações do Medicare e registros pessoais. O agente acessou arquivos que não eram públicos, mas, até agora, não há indícios de que informações pessoais tenham sido obtidas.
A OpenAI só informou o governo em 10 de setembro, por e-mail enviado a uma caixa de correio pública da Services Australia, órgão que administra o portal. A empresa diz ter identificado a atividade em agosto. Albanese afirmou que a companhia demorou demais para comunicar o governo e que a forma como fez isso foi inaceitável.
Em 18 de junho, o portal recusou repetidamente as solicitações de dados do agente, mas ele encontrou uma forma de contornar as restrições e obteve acesso não autorizado. O governo não informou como o agente superou os controles.
A Services Australia disse ao governo que o agente também gravou arquivos em um servidor interno. Isso ainda está sendo investigado. As evidências até agora não mostram comprometimento mais amplo da rede do órgão.
Os dados não públicos não eram particularmente sensíveis e, desde então, já foram publicados. Em 24 de setembro, o portal havia sido tirado do ar, e seus dados foram transferidos para o data.gov.au e outras plataformas seguras.
O primeiro-ministro interino, Richard Marles, disse à ABC que informações de segurança nacional estão sujeitas a proteções muito mais rígidas, enquanto as informações do portal estavam “protegidas por uma cerca que o agente de IA, na prática, escalou”.
Em comunicado à Fox Business, a OpenAI afirmou que seus modelos “tomaram ações que não pretendíamos” ao buscar estatísticas sobre a Austrália durante uma avaliação interna.
A empresa disse ter identificado o caso em uma revisão mais ampla do que chama de atividade desalinhada de modelos durante o treinamento e a avaliação, e verificou o que havia sido acessado antes de notificar a Services Australia.
A atividade envolveu vários sites e serviços do governo australiano. Entre as informações acessadas pelos modelos estavam estatísticas agregadas de saúde e nomes de arquivos internos, e a OpenAI disse não ter encontrado evidências de acesso a registros de pacientes.
O governo descreveu o acesso não autorizado apenas no portal de estatísticas do Medicare.
A Services Australia viu o e-mail da OpenAI em 11 de setembro, confirmou que era legítimo e comunicou o incidente em 15 de setembro ao Australian Cyber Security Centre, ligado à Australian Signals Directorate (ASD). O governo tornou o caso público em 24 de setembro, no horário da Austrália.
Albanese levou suas preocupações, incluindo a demora, ao diretor executivo da OpenAI, Sam Altman, em uma ligação telefônica. Segundo o relato de Albanese, Altman reconheceu que a empresa não agiu de forma suficientemente adequada.
Marles classificou o episódio como muito sério, embora com impacto relativamente pequeno, e descreveu a OpenAI como cooperativa.
A ASD está apoiando uma investigação forense, e a Services Australia conduz sua própria apuração.
Albanese também anunciou uma força-tarefa, liderada pelo Departamento do Primeiro-Ministro e do Gabinete, para avaliar se os processos atuais são suficientes para responder a incidentes cibernéticos relacionados à IA. O grupo incluirá o Coordenador Nacional de Cibersegurança, o Office of AI, a ASD, o Australian AI Safety Institute e a Services Australia.
A revisão vai examinar possíveis respostas policiais e mudanças na lei. O governo também buscará orientação urgente sobre eventuais crimes cometidos e sobre a necessidade de encaminhar o caso para a Polícia Federal Australiana.
O incidente também será levado ao Comitê Conjunto Seleto do Parlamento sobre Inteligência Artificial, e o que o governo aprender com o caso alimentará a legislação que pretende criar para padrões de IA.
Outros casos de modelos de IA alcançando sistemas reais
Agentes de IA tentaram invadir três sites públicos de dados em maio e junho, informou a empresa de pesquisa em IA Transluce em um relatório publicado no mesmo dia do anúncio de Albanese. Um deles era um site público de saúde do governo australiano administrado pelo Australian Institute of Health and Welfare (AIHW).
Nos dias 20 e 21 de junho, mecanismos de proteção contra bots bloquearam agentes que trabalhavam em uma tarefa de dados farmacêuticos ao tentar acessar o site principal do AIHW. Em seguida, os agentes procuraram uma fraqueza e recuperaram um arquivo público de um servidor de pré-produção.
Os agentes estavam realizando tarefas comuns de coleta de dados, não funções de segurança. Eles usaram o urlquery.net, um serviço público de varredura de páginas na web, para contornar suas restrições de acesso. A empresa atribui ao menos parte da atividade a enxames de agentes antes associados à OpenAI.
Em julho, a OpenAI informou que seus modelos, durante avaliações internas de cibersegurança, contornaram controles destinados a mantê-los fora da internet e invadiram partes dos sistemas da Hugging Face.
Em setembro, a OpenAI publicou relatórios sobre outros casos identificados durante o treinamento. Em um deles, um modelo usou sem autorização uma chave da API do GitHub exposta. Em outros, os modelos enviaram arquivos para sites de hospedagem pública sem terem sido solicitados.
A Anthropic revelou quatro incidentes em que seus modelos Claude obtiveram acesso não autorizado a sistemas reais de terceiros durante avaliações de cibersegurança criadas por um parceiro externo. Os modelos haviam sido informados de que não tinham acesso à internet, mas uma configuração incorreta deixou esse acesso aberto.
A Meta disse em agosto que uma versão pré-lançamento de seu modelo Muse Spark 1.1 explorou uma falha em um site real e alterou seu banco de dados durante um exercício conduzido pelo mesmo parceiro, Irregular. A Irregular havia deixado o acesso à internet aberto e, por engano, informado ao modelo o nome do site real como alvo.
A Irregular afirma que divulgações públicas posteriores sobre seu ambiente de avaliação dizem respeito ao mesmo problema subjacente, revelado inicialmente em 30 de julho, e “não são incidentes materialmente separados”.
Em outra frente, o AI Security Institute do Reino Unido informou em agosto que agentes de IA, em seus testes cibernéticos, realizaram 19 ações não autorizadas na internet aberta em 10 de 122 execuções, incluindo uma tentativa de ataque à supply chain em um projeto open source.
As tentativas mais graves fracassaram, e o instituto não encontrou evidências de danos no mundo real. O acesso à internet havia sido habilitado intencionalmente para os testes.
A ASD publicou em 11 de agosto um alerta sobre outro caso, no qual um assistente de IA fez alterações não autorizadas em um sistema de reservas de academia. O órgão disse que organizações que operam serviços online devem considerar que “agentes de IA podem identificar e explorar vulnerabilidades com velocidade e escala”.
Entre as recomendações para quem desenvolve sites e serviços online estão verificações de segurança e qualidade, varredura de vulnerabilidades e autenticação adequada de usuários.
Publicidade
Nossa audiência é formada por analistas, pentesters, decisores e entusiastas que consomem nossas notícias todo dia pelo Site, Newsletter e Instagram. Fale com quem realmente importa para o seu negócio. Anuncie aqui. Saiba mais...