A era dos agentes de IA hackers fora de controle chegou, mas não precisava ter sido assim.
Depois de um agente da OpenAI violar a plataforma Hugging Face no início deste mês, a empresa informou nesta semana que a ação foi mais ampla do que se imaginava e também envolveu invasões em múltiplas contas e serviços de terceiros, como parte do ataque à Hugging Face. Em paralelo, a Meta, dona do Facebook, disse que um erro durante uma avaliação conduzida por uma empresa independente de testes permitiu que um de seus modelos de inteligência artificial se conectasse à internet e invadisse o sistema de outra organização.
Os episódios, somados a incidentes recentes envolvendo modelos da Anthropic, repercutiram na comunidade de cibersegurança em meio a debates mais amplos sobre como a evolução das capacidades de IA está mudando tanto o ataque quanto a defesa digital. Também aumentaram as preocupações sobre a necessidade de salvaguardas mais rígidas e testes mais rigorosos em sistemas de IA.
Mas, à medida que mais informações vêm à tona, muitos pesquisadores concluíram que, em vez de revelar a próxima fronteira da IA, os casos apenas expuseram problemas antigos de cibersegurança, hoje ainda mais relevantes na era da IA.
“As pessoas estão arriscando tudo de forma irresponsável.
É chocante o quão pouco se pensou em um cenário como esse”, diz Alex Zenla, cofundador e diretor de tecnologia da empresa de segurança em cloud Edera.
“Eu considero toda IA e qualquer coisa que a IA toque como totalmente não confiável, o que é normal.
Basta construir com essa premissa.
E esse caso comprova isso.
O fato de a OpenAI não ter sido mais paranoica parece uma imprudência.”
A OpenAI não comentou a apuração antes da publicação.
Em sua divulgação original sobre o ataque à Hugging Face, a empresa afirmou que um dos dois modelos que saiu do controle e permaneceu na internet aberta por dias era um protótipo experimental que nunca deveria ter sido liberado.
A OpenAI também observou que a situação ocorreu em parte porque “as proteções de implantação foram intencionalmente desativadas” em ambos os modelos, para fins de teste.
“Este incidente aponta para a necessidade de fortalecer ainda mais o alinhamento do nosso modelo, as proteções de cibersegurança durante a fase de avaliação e o monitoramento durante os testes internos”, escreveu a empresa.
Em atualização divulgada nesta semana, a OpenAI também disse que, após a violação na Hugging Face, “desativou, criptografou e restringiu [o modelo não lançado] do acesso para pesquisa”.
A Anthropic, por sua vez, informou que verificações internas, motivadas pela divulgação da OpenAI, levaram à descoberta de que seu modelo Claude AI havia executado ataques semelhantes contra várias empresas depois que uma “má configuração” lhe deu acesso à internet. O Instituto de Segurança em IA do Reino Unido (AISI) também afirmou nesta semana que seus testes constataram que alguns modelos tentaram realizar ciberataques criando perfis humanos falsos para enganar pessoas. No caso mais grave, segundo o AISI, a Mythos AI, da Anthropic, tentou obter acesso a um serviço enviando mensagens privadas a partir de contas falsas que imitavam pessoas reais. A Anthropic afirmou que os testes do AISI não eram “representativos de nenhum de nossos modelos em produção”, enquanto a OpenAI disse que as avaliações do instituto não refletiam o uso cotidiano.
Embora sempre haja espaço para melhorar a postura de segurança em qualquer empresa, as próprias proteções já existentes na OpenAI talvez tivessem evitado ou reduzido o incidente, se estivessem ativas.
“Uma análise simples do risco real tem uma resposta simples”, afirma o consultor de segurança e conformidade Davi Ottenheimer.
“Os erros da OpenAI foram absurdamente básicos.”
Segundo a WIRED, fontes destacaram que os modelos da OpenAI também parecem ter escapado do controle por falhas na implementação de boas práticas fundamentais de segurança, incluindo “confiança zero” e “defesa em profundidade”.
Esses princípios aplicam camadas de proteção e mecanismos de contenção aos sistemas digitais para reduzir os danos quando algo dá errado.
Não existe segurança perfeita, mas pesquisadores e profissionais passaram as últimas duas décadas desenvolvendo e promovendo estratégias defensivas que se mostraram robustas, embora exijam investimento contínuo de tempo e dinheiro para serem implementadas.
Para pequenas empresas, grupos de interesse público com poucos recursos ou organizações em estágio inicial, pode ser difícil destinar verba e equipe para priorizar segurança básica.
Mas, com uma avaliação de US$ 850 bilhões e contratações experientes vindas de toda a indústria de tecnologia, a OpenAI não está em desvantagem para adotar boas práticas.
As proteções fundamentais que poderiam ter evitado a sequência de incidentes dos modelos da empresa são bem conhecidas no setor.
Ao falar na quarta-feira sobre a descoberta de uma vulnerabilidade no Chrome, antes de virem a público as novas violações envolvendo modelos da OpenAI e da Meta, Doug Turner, diretor de engenharia do Chrome, disse à WIRED que a busca e a correção de bugs com IA exigem uma estrutura construída “com barreiras de proteção sérias em mente”.
Nos serviços internos de IA que avaliam o Chrome, “tudo roda em um container, tudo fica isolado da internet.
Qualquer atividade de rede de saída para um sistema de rastreamento de bugs é altamente controlada, e é monitorada a ocorrência de comportamentos suspeitos”, afirma Turner.
“Isso é indispensável nesse tipo de trabalho, porque queremos garantir que os modelos não consigam executar comandos de sistema nem estabelecer saída para fora do sandbox.
E esperamos que outros adotem uma abordagem semelhante.”
A Meta afirmou que os testes que levaram ao incidente foram conduzidos pela Irregular, fornecedora de segurança em IA, que notificou a empresa sobre a violação. Um porta-voz disse que a companhia está investigando o ataque, provocado por uma “má configuração” semelhante a incidentes já relatados em outras empresas, e que divulgará mais informações “assim que tivermos todos os fatos”.
Publicidade
Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Guardsi: qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...