Pesquisadores de cibersegurança revelaram duas falhas de segurança na plataforma de Machine Learning (ML) da Google, Vertex, que, se exploradas com sucesso, poderiam permitir que atores maliciosos escalassem privilégios e exfiltrasse modelos da nuvem.
"Explorando permissões de jobs personalizados, conseguimos escalar nossos privilégios e obter acesso não autorizado a todos os serviços de dados no projeto", disseram os pesquisadores da Unit 42 da Palo Alto Networks, Ofir Balassiano e Ofir Shaty, em uma análise publicada no início desta semana.
"mplantando um modelo envenenado no Vertex AI, levou à exfiltração de todos os outros modelos ajustados, representando um sério risco de ataque de exfiltração de dados proprietários e sensíveis.
O Vertex AI é a plataforma de ML da Google para treinar e implantar modelos de ML personalizados e aplicações de inteligência artificial (AI) em escala.
Foi introduzida pela primeira vez em maio de 2021.
Crucial para alavancar a falha de escalonamento de privilégios é um recurso chamado Vertex AI Pipelines, que permite aos usuários automatizar e monitorar workflows de MLOps para treinar e ajustar modelos de ML usando jobs personalizados.
A pesquisa da Unit 42 descobriu que, manipulando o pipeline de jobs personalizados, é possível escalar privilégios para ganhar acesso a recursos de outra forma restritos.
Isso é alcançado criando um job personalizado que executa uma imagem especialmente elaborada projetada para lançar um shell reverso, concedendo acesso "backdoor" ao ambiente.
O job personalizado, segundo o fornecedor de segurança, é executado em um projeto de inquilino com uma conta de agente de serviço que tem extensas permissões para listar todas as contas de serviço, gerenciar storage buckets e acessar tabelas do BigQuery, que poderiam então ser abusadas para acessar repositórios internos do Google Cloud e baixar imagens.
A segunda vulnerabilidade, por outro lado, envolve a implantação de um modelo envenenado em um projeto de inquilino de tal forma que ele cria um shell reverso quando implantado em um endpoint, e depois abusar das permissões somente-leitura da conta de serviço "custom-online-prediction" para enumerar Kubernetes clusters e buscar suas credenciais para executar comandos kubectl arbitrários.
"Este passo nos permitiu passar do reino do GCP para o Kubernetes," disseram os pesquisadores.
Este movimento lateral foi possível porque as permissões entre o GCP e o GKE estavam vinculadas através do IAM Workload Identity Federation.
A análise encontrou ainda que é possível fazer uso desse acesso para visualizar a nova imagem criada dentro do Kubernetes cluster e obter o digest da imagem – que identifica de forma única uma imagem de contêiner – usando-o para extrair a imagem fora do contêiner usando crictl com o token de autenticação associado à conta de serviço "custom-online-prediction".
Além disso, o modelo malicioso também poderia ser armado para visualizar e exportar todos os modelos de linguagem de grande porte (LLMs) e seus adaptadores ajustados de maneira similar.
Isso poderia ter consequências graves quando um desenvolvedor, sem saber, implantasse um modelo trojanizado carregado em um repositório público, permitindo assim que o ator de ameaça exfiltrasse todos os MLs e LLMs ajustados.
Seguindo a divulgação responsável, ambas as deficiências foram abordadas pelo Google.
"Esta pesquisa destaca como um único deployment de modelo malicioso poderia comprometer todo um ambiente de IA," disseram os pesquisadores.
Um atacante poderia usar até mesmo um modelo não verificado implantado em um sistema de produção para exfiltrar dados sensíveis, levando a graves ataques de exfiltração de modelo.
Recomenda-se que as organizações implementem controles rígidos nos deployments de modelos e auditores de permissões necessárias para implantar um modelo em projetos de inquilinos.
O desenvolvimento ocorre quando a rede de investigação 0Day da Mozilla (0Din) revelou ser possível interagir com o ambiente sandbox subjacente do ChatGPT da OpenAI ("/home/sandbox/.openai_internal/") por meio de prompts, concedendo a capacidade de fazer upload e executar scripts Python, mover arquivos e até mesmo baixar o playbook do LLM.
Dito isto, vale notar que a OpenAI considera tais interações como comportamento intencional ou esperado, dado que a execução do código ocorre dentro dos limites do sandbox e é improvável que se espalhe para fora.
"Para quem estiver ansioso para explorar o sandbox do ChatGPT da OpenAI, é crucial entender que a maioria das atividades dentro desse ambiente contêinerizado são recursos intencionais em vez de lacunas de segurança," disse o pesquisador de segurança Marco Figueroa.
Extrair conhecimento, fazer upload de arquivos, executar comandos bash ou código Python dentro do sandbox são todos jogos justos, contanto que não ultrapassem as linhas invisíveis do contêiner.
Publicidade
Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...