Pesquisadores de cibersegurança descobriram quase duas dezenas de falhas de segurança que abrangem 15 diferentes projetos open-source relacionados a machine learning (ML).
Essas vulnerabilidades incluem falhas descobertas tanto em servidor quanto em cliente, afirmou a empresa de segurança da cadeia de suprimentos de software JFrog em uma análise publicada na semana passada.
As fraquezas do lado do servidor “permitem que atacantes sequestrêm servidores importantes na organização como registros de modelos de ML, bancos de dados de ML e pipelines de ML,” disse ela.
As vulnerabilidades, descobertas em Weave, ZenML, Deep Lake, Vanna.AI e Mage AI, foram divididas em subcategorias mais amplas que permitem o sequestro remoto de registros de modelos, frameworks de bancos de dados de ML e a tomada de controle dos pipelines de ML.
Uma breve descrição das falhas identificadas está abaixo:
CVE-2024-7340
(score CVSS: 8.8) - Uma vulnerabilidade de traversal de diretório no toolkit de ML Weave que permite a leitura de arquivos em todo o sistema de arquivos, permitindo efetivamente que um usuário autenticado com privilégios baixos eleve seus privilégios a um papel de admin lendo um arquivo chamado "api_keys.ibd" (endereçado na versão 0.50.8) Uma vulnerabilidade de controle de acesso inadequado no framework MLOps ZenML que permite que um usuário com acesso a um servidor ZenML gerenciado eleve seus privilégios de visualizador para privilégios completos de admin, concedendo ao atacante a habilidade de modificar ou ler o Secret Store (Sem identificador CVE)
CVE-2024-6507
(score CVSS: 8.1) - Uma vulnerabilidade de injeção de comando no banco de dados orientado a AI Deep Lake que permite aos atacantes injetar comandos de sistema ao fazer o upload de um dataset remoto do Kaggle devido à falta de sanitização de entrada adequada (endereçado na versão 3.9.11)
CVE-2024-5565
(score CVSS: 8.1).
-Uma vulnerabilidade de injeção de prompt na biblioteca Vanna.AI que pode ser explorada para alcançar execução remota de código no host subjacente
CVE-2024-45187
(score CVSS: 7.1)
- Uma vulnerabilidade de atribuição de privilégio incorreta que permite que usuários convidados no framework Mage AI executem código arbitrário remotamente através do servidor terminal Mage AI devido ao fato de eles terem sido atribuídos altos privilégios e permanecem ativos por um período padrão de 30 dias apesar da exclusão
CVE-2024-45188
,
CVE-2024-45189
e
CVE-2024-45190
(scores CVSS: 6.5)
- Múltiplas vulnerabilidades de traversal de caminho em Mage AI que permitem a usuários remotos com o papel de "Visualizador" ler arquivos de texto arbitrários do servidor Mage via solicitações de "Conteúdo de Arquivo", "Conteúdo Git" e "Interação de Pipeline", respectivamente
“Como pipelines MLOps podem ter acesso a Datasets de ML da organização, Treinamento de Modelos de ML e Publicação de Modelos de ML, explorar um pipeline de ML pode levar a uma violação extremamente grave,” disse a JFrog.
Cada um dos ataques mencionados nesse blog (backdooring de Modelo de ML, envenenamento de dados de ML, etc.) pode ser realizado pelo atacante, dependendo do acesso do pipeline MLOps a esses recursos.
A divulgação ocorre mais de dois meses após a empresa descobrir mais de 20 vulnerabilidades que poderiam ser exploradas para visar plataformas MLOps.
Isso também segue o lançamento de um framework defensivo com o codinome Mantis que aproveita a injeção de prompt como uma forma de contrariar ataques cibernéticos com eficácia de mais de 95%.
“Ao detectar um ataque cibernético automatizado, Mantis planta entradas cuidadosamente elaboradas nas respostas do sistema, levando o LLM do atacante a interromper suas próprias operações (defesa passiva) ou até mesmo comprometer a máquina do atacante (defesa ativa),” disse um grupo de acadêmicos da George Mason University.
Deployando serviços isca propositalmente vulneráveis para atrair o atacante e utilizando injeções de prompt dinâmicas para o LLM do atacante, Mantis pode contra-atacar o atacante de forma autônoma.
Publicidade
Em 14 de janeiro a Solyd irá revolucionar a forma como pentest e hacking deve ser ensinado. Se inscreva para ser o primeiro a saber das novidades. Saiba mais...