Pesquisadores da Microsoft demonstraram que é possível inserir uma backdoor oculta em um modelo de IA alterando menos de 10 neurônios pouco utilizados, sem retreinar o modelo.
Quando um gatilho específico aparece, o modelo produz um comando escolhido pelo atacante. Um agente que use esse modelo pode então executar o comando com as próprias permissões. Para isso, o atacante precisa conseguir alterar os pesos do modelo.
A equipe testou o método em três modelos de pesos abertos. A pesquisa foi publicada nesta semana. A Microsoft afirma não ter observado threat actors usando a técnica e também divulgou orientações para se defender dela.
Os neurônios alterados raramente são ativados e quase não afetam as respostas do modelo. Eles foram configurados para disparar apenas quando uma sequência específica de texto aparece, seja na solicitação do usuário, seja posteriormente na saída de uma ferramenta.
Os pesquisadores chamaram o método de Lazarus. Cada neurônio alterado força a inclusão de um token do comando na saída do modelo. Por isso, um comando requer aproximadamente um neurônio por token.
As novas configurações dos neurônios são calculadas diretamente e podem ser ajustadas com algumas centenas de etapas de treinamento apenas nesses neurônios. Nenhum outro elemento do arquivo do modelo ou do código que o executa é modificado.
Em uma demonstração publicada no X, um modelo Nemotron-Terminal-8B com uma backdoor e 10 neurônios alterados recebeu a tarefa de corrigir um servidor Node.js. Durante três interações, funcionou normalmente.
Quando o servidor retornou um erro de conexão, o modelo produziu um comando para baixar e executar um script remoto. O script foi executado com privilégios de superusuário dentro do container de teste e exibiu um banner com o nome da demonstração.
Como esse tipo de comando pode baixar qualquer script, o impacto depende das permissões concedidas ao agente, e não da quantidade de alterações no modelo, afirmam os pesquisadores.
No artigo, as taxas de sucesso apresentadas a seguir se baseiam em testes com um comando curto e inofensivo, que apenas exibe um marcador.
No Nemotron-Terminal-8B, a equipe alterou e ajustou sete dos mais de 12.000 neurônios da última camada feed-forward do modelo, usando apenas 23 sessões de exemplo. O modelo modificado produziu o comando em pelo menos 98,8% das sessões de teste que continham o gatilho e em nenhuma das sessões verificadas sem ele.
Com a versão ajustada da alteração, as taxas de sucesso no Qwen3.6-27B e no Gemma-4-31B-IT variaram de 51% a 99,5%, conforme a configuração. O modelo Qwen usou seis neurônios.
Quando gerou texto livremente, em vez de ser avaliado em sessões registradas, o Nemotron-Terminal-8B produziu o comando em cerca de 99% das sessões com o gatilho. Em uma configuração, o comando também apareceu em 0,14% das sessões sem o gatilho.
Segundo os pesquisadores, os modelos alterados continuam sendo aprovados em testes comuns. As duas versões do Qwen com backdoor mantiveram a maior parte de suas pontuações em matemática no AIME. Já a taxa de aprovação no Terminal-Bench, teste de tarefas para agentes, caiu de 46,59% para 42,05%.
Essas taxas medem a frequência com que o modelo produz o comando, não a frequência com que um ataque completo é bem-sucedido. O artigo afirma que testes nos quais os modelos acionados atuassem livremente durante todo o ataque ajudariam a verificar se os resultados se mantêm.
Qualquer pessoa capaz de alterar o arquivo que armazena os pesos do modelo antes da implantação pode inserir a backdoor. Isso inclui alguém de dentro da organização, um atacante com uma conta roubada ou acesso ao processo de compilação, além de quem publica um modelo modificado em um repositório público, dizem os pesquisadores.
A inserção da backdoor não exige o poder computacional necessário para treinar um modelo inteiro. Os pesquisadores também atribuem a Claude Code, executado com o modelo Opus 4.5, a descoberta da ideia central. Segundo eles, agentes de programação podem facilitar a criação de ataques desse tipo.
Backdoors inseridas nos pesos de modelos usados por agentes já haviam sido demonstradas. Em uma prova de conceito publicada em 6 de outubro, pesquisadores da ProjectDiscovery fizeram o ajuste fino de um modelo aberto Qwen para que reagisse a uma frase-gatilho. Quando a frase aparecia, o Codex CLI, da OpenAI, executava um script que enviava credenciais fictícias a um servidor controlado pelos pesquisadores.
O Lazarus se diferencia por alterar diretamente alguns neurônios. Na demonstração anterior, o modelo foi ajustado com exemplos de treinamento contaminados.
Segundo um resumo da pesquisa, uma detecção confiável exige comparar o arquivo de pesos com a versão original, sem modificações. Ajustes finos legítimos e versões quantizadas alteram os pesos de forma ampla, enquanto as mudanças feitas nos neurônios afetam poucos vetores de pesos, mas com grande intensidade.
No artigo, um detector treinado com exemplos das alterações do método identificou 91,4% dos arquivos de pesos de teste modificados, mesmo sem uma cópia original para comparação. Também classificou incorretamente como alterados 9,7% dos arquivos sem backdoor. O conjunto de teste era pequeno, com 35 arquivos modificados e 31 sem alterações, e o detector não foi avaliado contra outros tipos de backdoor.
Pedir a modelos de IA que inspecionassem diretamente um arquivo de pesos teve resultados piores. O Claude Opus 5.5 classificou 41% dos arquivos modificados como limpos, enquanto o GPT-6 Astra não conseguiu chegar a uma conclusão sobre quase todos os arquivos sem alterações.
Nenhuma varredura pode comprovar, sem margem de dúvida, que um modelo é seguro, afirmam os pesquisadores.
**O que as equipes que usam agentes podem fazer**
As orientações de mitigação da Microsoft incluem as seguintes medidas:
• Comparar cada arquivo de pesos com o modelo-base declarado antes da implantação e após cada atualização. Modelos cuja origem não possa ser verificada devem ser rejeitados.
• Baixar arquivos de pesos apenas do publicador original, conferir os hashes dos arquivos e tratar ajustes finos de terceiros, modelos mesclados, versões quantizadas e adaptadores como não confiáveis até que passem por uma auditoria.
• Manter os modelos aprovados em um repositório privado e impedir que agentes baixem modelos diretamente de repositórios públicos.
• Conceder a cada agente apenas os acessos necessários, executar o código gerado por agentes somente em sandboxes isoladas e limitar as conexões de saída para a internet.
• Exigir a aprovação de uma pessoa para ações de alto impacto, como executar comandos ou enviar dados para fora da rede.
• Acrescentar à comparação dos pesos a varredura comportamental de backdoors, como a descrita em uma pesquisa anterior da empresa.
O Microsoft Defender for Cloud pode verificar modelos no Azure Machine Learning em busca de malware, operadores inseguros e segredos expostos. A empresa afirma que esse recurso cobre riscos no código, mas não substitui uma auditoria dos pesos.
O Microsoft Foundry já associa cada modelo de pesos abertos disponibilizado à empresa que o publicou originalmente e verifica os containers em que os modelos são executados. Segundo a Microsoft, isso protege clientes que usam modelos de laboratórios confiáveis, embora um fornecedor confiável comprometido ainda represente um risco.
A empresa também está desenvolvendo uma ferramenta de testes de segurança ofensivos baseada em métodos de detecção e estudando a varredura de pesos de modelos de código aberto para adicionar ao Foundry. A Microsoft planeja assinar os modelos para que os clientes possam verificar sua procedência.
Publicidade
Nossa audiência é formada por analistas, pentesters, decisores e entusiastas que consomem nossas notícias todo dia pelo Site, Newsletter e Instagram. Fale com quem realmente importa para o seu negócio. Anuncie aqui. Saiba mais...