Pesquisadores de cibersegurança descobriram que é possível comprometer o serviço de conversão Safetensors da Hugging Face para, em última análise, sequestrar os modelos enviados pelos usuários e resultar em ataques à cadeia de suprimentos.
"É possível enviar solicitações pull maliciosas com dados controlados pelo invasor do serviço Hugging Face para qualquer repositório na plataforma, bem como sequestrar quaisquer modelos que sejam enviados através do serviço de conversão", disse HiddenLayer em um relatório publicado na semana passada.
Isso, por sua vez, pode ser realizado usando um modelo sequestrado que deveria ser convertido pelo serviço, permitindo assim que atores maliciosos solicitem alterações em qualquer repositório da plataforma se passando pelo bot de conversão.
Hugging Face é uma popular plataforma de colaboração que ajuda os usuários a hospedar modelos de aprendizado de máquina pré-treinados e conjuntos de dados, bem como construir, implantar e treiná-los.
Safetensors é um formato criado pela empresa para armazenar tensores mantendo a segurança em mente, ao contrário dos pickles, que provavelmente foram usados por atores de ameaças para executar código arbitrário e implantar Cobalt Strike, Mythic e Metasploit stagers.
Ele também vem com um serviço de conversão que permite aos usuários converter qualquer modelo PyTorch (ou seja, pickle) para o seu equivalente Safetensor por meio de uma solicitação pull.
A análise do HiddenLayer deste módulo descobriu que é hipoteticamente possível para um invasor sequestrar o serviço de conversão hospedado usando um binário PyTorch malicioso e comprometer o sistema que o hospeda.
Além disso, o token associado ao SFConvertbot - um bot oficial projetado para gerar a solicitação pull - poderia ser exfiltrado para enviar uma solicitação pull maliciosa a qualquer repositório no site, levando a um cenário em que um ator de ameaça poderia adulterar o modelo e implantar backdoors neurais.
"Um invasor poderia executar qualquer código arbitrário cada vez que alguém tentasse converter seu modelo", observaram os pesquisadores Eoin Wickens e Kasimir Schulz.
"Sem qualquer indicação para o próprio usuário, seus modelos poderiam ser sequestrados na conversão."
Se um usuário tentasse converter seu próprio repositório privado, o ataque poderia abrir caminho para o roubo de seu token Hugging Face, acessar modelos e conjuntos de dados internos e até mesmo envenená-los.
Para complicar ainda mais as coisas, um adversário poderia aproveitar o fato de que qualquer usuário pode enviar uma solicitação de conversão para um repositório público para sequestrar ou alterar um modelo amplamente usado, resultando potencialmente em um risco considerável para a cadeia de suprimentos.
"Apesar das melhores intenções de proteger os modelos de aprendizado de máquina no ecossistema Hugging Face, o serviço de conversão provou ser vulnerável e teve o potencial de causar um ataque generalizado à cadeia de suprimentos por meio do serviço oficial Hugging Face", disseram os pesquisadores.
"Um invasor poderia ganhar um ponto de apoio no contêiner executando o serviço e comprometer qualquer modelo convertido pelo serviço."
O desenvolvimento ocorre pouco mais de um mês depois que a Trail of Bits divulgou o LeftoverLocals (
CVE-2023-4969
, pontuação CVSS: 6.5), uma vulnerabilidade que permite a recuperação de dados da Apple, Qualcomm, AMD e unidades de processamento gráfico de propósito geral da Imagination (GPGPUs).
A falha de vazamento de memória, que decorre de uma falha em isolar adequadamente a memória do processo, permite que um invasor local leia a memória de outros processos, incluindo a sessão interativa de outro usuário com um grande modelo de linguagem (LLM).
"Este vazamento de dados pode ter graves consequências de segurança, especialmente dado o aumento dos sistemas de ML, onde a memória local é usada para armazenar entradas, saídas e pesos do modelo", disseram os pesquisadores de segurança Tyler Sorensen e Heidy Khlaaf.
Publicidade
Imagine voltar ao tempo dos e-zines e poder desfrutar de uma boa revista contendo as últimas novidades, mas na pegada hacking old school.
Acesse gratuitamente o Cyberpunk Guide e fique por dentro dos mais modernos dispositivos usados pelos hackers.
Saiba mais...