As prompt injections, comandos maliciosos inseridos em conteúdos para induzir modelos de linguagem a segui-los, há anos vêm sendo uma das principais ferramentas de atacantes para virar plataformas de IA contra seus próprios usuários.
Muitas vezes, basta uma instrução bem escrita, escondida em um e-mail ou convite de calendário, para que o LLM exfiltre dados sensíveis ou execute outras ações nocivas.
Agora, defensores também estão passando a usar *prompt injections*.
Segundo pesquisadores da Tracebit, ao posicionar *prompt injections* ao lado de senhas, chaves criptográficas e outros segredos armazenados na Amazon Web Services, muitas vezes foi suficiente para interromper ataques conduzidos por agentes de hackers com IA.
Esses comandos orientam o LLM atacante a executar uma ação proibida por seus guardrails, as barreiras de segurança criadas por desenvolvedores de IA para impedir comportamentos prejudiciais.
A resposta do modelo é simplesmente parar.
Entre os exemplos está um comando que ordena o LLM a fornecer etapas para desenvolver esporos inaláveis de antraz ou, no caso de LLMs de desenvolvedores chineses, fazer referências ao icônico Tank Man, ligado ao massacre da Praça da Paz Celestial, em 1989.
Quando o LLM encontra essas instruções proibidas, ele deixa de seguir seus comandos anteriores.
Os pesquisadores batizaram a técnica de *context bombing*.
“No fim, estamos acionando um mecanismo de recusa no contexto”, disse Andy Smith, cofundador e CEO da Tracebit, ao explicar a escolha do nome.
“O que queremos capturar é o fato de que isso tem um efeito forte, brusco e do qual pode ser difícil para os agentes se recuperar.
Depois que isso entra no contexto, eles vão continuar recusando.”
Segundo a Tracebit, os testes iniciais indicam que o *context bombing* tem grande potencial.
A empresa avaliou Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro e Kimi 2.6, dando a eles instruções para tarefas rotineiras de desenvolvedor que levavam os modelos a enumerar recursos e encontrar as strings plantadas.
Os testes foram executados dentro de um ambiente simulado da AWS.
“Em cinco modelos líderes e 152 execuções de ataque, plantar uma dessas strings em um segredo isca reduziu a taxa com que os agentes obtiveram administração total da conta de 57% para 5%, e o comprometimento completo, quando também deixavam um ponto de persistência, de 36% para 1%”, informou a publicação de segunda-feira.
“O agente mais capaz em nossos testes, Opus 4.8, passou de obter acesso de administrador em 93% das execuções para falhar em todas as tentativas quando confrontado com uma bomba de contexto.”
Na média dos cinco modelos e das 152 execuções, os resultados foram os seguintes:
A escalada para privilégios de administrador caiu de 57% para 5%.
A escalada para administrador com ponto de persistência caiu de 36% para 1%.
As execuções que encontraram qualquer caminho de ataque caíram de 91% para 15%.
Em média, uma execução passou de concluir com sucesso 1,53 caminhos para apenas 0,16.
Nenhuma execução conseguiu completar um caminho de ataque sem acionar, no mínimo, uma detecção por canário.
A pesquisa se baseia em achados de maio, quando a Tracebit apresentou um método para que defensores recebam alertas quando sua infraestrutura estiver sob ataque de adversários com agentes de IA.
A abordagem usa recursos da AWS que parecem servir a uma finalidade legítima, mas, na prática, não são utilizados.
Eles ficam lado a lado com os recursos realmente empregados.
Quando são sondados por IA agentic, os defensores recebem um alerta.
Assim como os “canários” levados a minas de carvão, esses recursos permitem detectar a ameaça antes que ela tenha consequências fatais.
Publicidade
Vibecoding cria 10x mais sistemas, 20x mais vulneráveis. E quem ganha com isso é a galera do hacking ético e pentest. Quer ser pago para invadir sistemas? Então você tem que aprender com a Solyd que são os melhores do Brasil. Saiba mais...