O Google Gemini para Workspace pode ser explorado para gerar resumos de e-mails que parecem legítimos, mas incluem instruções maliciosas ou avisos que direcionam usuários para sites de phishing sem utilizar anexos ou links diretos.
Tal ataque aproveita injeções de prompts indiretos que são ocultadas dentro de um e-mail e obedecidas pelo Gemini ao gerar o resumo da mensagem.
Apesar de ataques semelhantes de prompt terem sido reportados desde 2024 e salvaguardas implementadas para bloquear respostas enganosas, a técnica ainda se mostra eficaz.
Um ataque de injeção de prompt no modelo Gemini do Google foi divulgado por meio do 0din, o programa de recompensa por bugs da Mozilla para ferramentas de IA generativa, pelo pesquisador Marco Figueroa, Gerente dos Programas de Bug Bounty de GenAI na Mozilla.
O processo envolve criar um e-mail com uma diretriz invisível para o Gemini.
Um atacante pode esconder a instrução maliciosa no texto do corpo da mensagem no final da mensagem usando HTML e CSS que define o tamanho da fonte para zero e sua cor para branco.
A instrução maliciosa não será renderizada no Gmail, e como não há anexos ou links presentes, a mensagem tem alta probabilidade de chegar à caixa de entrada do alvo potencial.
Se o destinatário abrir o e-mail e pedir ao Gemini para gerar um resumo do e-mail, a ferramenta de IA do Google vai analisar a diretriz invisível e obedecê-la.
Um exemplo fornecido por Figueroa mostra o Gemini seguindo a instrução oculta e inclui um alerta de segurança sobre a senha do Gmail do usuário estar comprometida, junto com um número de suporte telefônico.
Como muitos usuários provavelmente confiarão na saída do Gemini como parte da funcionalidade do Google Workspace, as chances são altas de que este alerta seja considerado um aviso legítimo em vez de uma injeção maliciosa.
Figueroa oferece alguns métodos de detecção e mitigação que as equipes de segurança podem aplicar para prevenir tais ataques.
Uma maneira é remover, neutralizar ou ignorar conteúdo que é estilizado para ser oculto no texto do corpo.
Outra abordagem é implementar um filtro de pós-processamento que verifica a saída do Gemini em busca de mensagens urgentes, URLs ou números de telefone, marcando a mensagem para revisão adicional.
Os usuários também devem estar cientes de que os resumos do Gemini não devem ser considerados autoritativos quando se trata de alertas de segurança.
"Estamos constantemente fortalecendo nossas defesas já robustas por meio de exercícios de red-team que treinam nossos modelos para se defenderem contra esse tipo de ataque adversário," um porta-voz do Google disse ao site BleepingComputer.
O representante da empresa esclareceu que algumas das mitigations estão no processo de ser implementadas ou estão prestes a ser implantadas.
O Google não viu evidências de incidentes manipulando o Gemini da maneira demonstrada no relatório de Figueroa, disse o porta-voz.
Publicidade
Mantenha seus dados longe de hackers e ameaças digitais com a NordVPN, uma das mais rápidas e seguras do mundo. Com tecnologia de criptografia avançada, você protege até 10 dispositivos e ainda conta com recursos poderosos como bloqueio de malware, monitoramento da dark web e backup criptografado. Aproveite até 70% de desconto e experimente com garantia de reembolso de 30 dias. Segurança digital nunca foi tão fácil e eficiente. Saiba mais...