Em dezembro de 2024, a popular biblioteca de IA Ultralytics foi comprometida com a inserção de código malicioso que utilizava os recursos dos sistemas para mineração de criptomoedas.
Em agosto de 2025, pacotes maliciosos Nx vazaram 2.349 credenciais de GitHub, cloud e IA.
Ao longo de 2024, vulnerabilidades no ChatGPT permitiram a extração não autorizada de dados diretamente da memória da IA.
O resultado foi alarmante: 23,77 milhões de segredos vazados via sistemas de IA somente em 2024, um aumento de 25% em relação ao ano anterior.
O que esses incidentes têm em comum? As organizações afetadas tinham programas de segurança robustos, passavam por auditorias e cumpriam normas de compliance.
No entanto, seus frameworks de segurança não estavam preparados para as ameaças específicas da IA.
Limites dos frameworks tradicionais diante das ameaças de IA
Frameworks amplamente adotados, como o NIST Cybersecurity Framework, ISO 27001 e CIS Controls, foram desenvolvidos em um cenário de ameaças muito diferente.
A versão 2.0 do NIST CSF, lançada em 2024, ainda foca na proteção de ativos tradicionais.
A ISO 27001:2022 aborda segurança da informação de forma geral, sem contemplar vulnerabilidades específicas da IA.
Já o CIS Controls v8 cobre segurança de endpoints e controle de acesso, mas nenhum desses frameworks oferece orientações específicas para vetores de ataque relacionados à IA.
Não se trata de frameworks inadequados, mas sim dos limites frente a novos vetores de ataque que não se encaixam nas categorias tradicionais de controle.
Exemplos práticos da lacuna
Um exemplo claro são os controles de access control, presentes em todos os grandes frameworks.
Eles definem quem pode acessar os sistemas e quais ações podem ser realizadas, mas não consideram ataques de prompt injection — em que a IA é manipulada por comandos naturais maliciosos, burlando a autenticação.
Controles de integridade de sistemas e informações detectam malware e bloqueiam execuções não autorizadas, mas não identificam model poisoning, que ocorre durante processos autorizados de treinamento.
Nesse caso, dados de treino são contaminados para inserir comportamentos maliciosos no modelo.
Controles de configuração garantem ajustes corretos e controle de mudanças, mas são insuficientes para impedir ataques adversariais que exploram propriedades matemáticas dos modelos de machine learning.
Esses ataques usam entradas aparentemente normais para humanos e ferramentas tradicionais, mas fazem a IA gerar respostas incorretas.
Prompt Injection
Prompt injection desafia as abordagens tradicionais porque utiliza linguagem natural válida, sem padrões sintáticos ou caracteres especiais que os controles tradicionais de validação, como o SI-10 do NIST SP 800-53, possam detectar.
Aqui, o ataque é semântico: o invasor faz a IA agir contra sua função, usando comandos linguísticos que parecem legítimos.
Model Poisoning
Model poisoning ocorre durante o fluxo legítimo de treinamento, quando cientistas de dados alimentam modelos com dados possivelmente comprometidos.
Por ser uma atividade autorizada, os controles de integridade do sistema não sinalizam essa ameaça.
Cadeia de suprimentos em IA
Ataques à cadeia de suprimentos de IA revelam outra deficiência dos controles tradicionais.
Embora o NIST SP 800-53 contenha controles para avaliar fornecedores e componentes, eles não abrangem a validação da integridade dos pesos dos modelos pré-treinados, a detecção de backdoors em modelos ou o envenenamento de datasets — problemas críticos na inteligência artificial.
Assim, organizações que cumprem rigorosamente auditorias e normas continuam vulneráveis a essa nova classe de ameaças.
Consequências reais
Os ataques recentes mostram que o problema não está nas falhas tradicionais, como patches atrasados ou senhas fracas, mas nas especificidades do ambiente IA.
No caso da Ultralytics, código malicioso foi inserido na pipeline de desenvolvimento — área não coberta por controles tradicionais da cadeia de software.
No ChatGPT, falhas permitiram que comandos sofisticados extraíssem informações sensíveis, mesmo em ambientes com segurança rigorosa de rede e endpoint.
Os pacotes maliciosos Nx, em 2025, usaram assistentes de IA para enumerar e exfiltrar segredos, explorando funcionalidades legítimas não previstas pelos controles tradicionais.
A dimensão do problema
Segundo o relatório Cost of a Data Breach, da IBM, de 2025, as organizações levam em média 276 dias para detectar uma violação e mais 73 para contê-la.
Para ataques específicos em IA, esse tempo pode ser ainda maior, devido à falta de padrões e indicadores de comprometimento dedicados.
Além disso, a adoção de pacotes AI/ML em workloads de cloud cresceu 500% em 2024, ampliando a superfície de ataque muito além das defesas atuais.
O que as organizações precisam fazer
Superar essa lacuna exige mais do que cumprir normas.
É urgente desenvolver habilidades específicas para segurança em IA.
Validação e monitoramento de prompts devem identificar conteúdo malicioso sem depender apenas de padrões estruturados.
A verificação da integridade dos modelos precisa detectar envenenamento e os testes de robustez devem incluir red teaming focado em vetores de IA.
Ferramentas tradicionais de prevenção contra perda de dados (DLP) precisam evoluir para identificar informações sensíveis em linguagem natural — um desafio diante do volume de dados não estruturados.
A cadeia de suprimentos de IA requer métodos para validar modelos pré-treinados e datasets, além de detectar manipulações ocultas.
Por fim, é fundamental capacitar equipes de segurança para entender as ameaças específicas da IA, integrando esses conhecimentos ao programa existente, e não em áreas isoladas.
O desafio regulatório e do conhecimento
Organizações que investirem nessa atualização ganharão vantagem competitiva.
A pressão regulatória aumenta, com o AI Act da União Europeia em vigor desde 2025, prevendo multas de até € 35 milhões ou 7% do faturamento global em casos graves.
O NIST oferece um framework de gestão de risco para IA, mas ele ainda não está incorporado nos principais frameworks de segurança.
Quem esperar por essas atualizações reagirá apenas após sofrer violações.
O momento para agir é agora
Os frameworks tradicionais não estão errados, mas são incompletos diante da nova realidade da segurança em IA.
Cumprir seus controles não garante proteção contra ataques modernos.
Equipes de segurança devem agir proativamente, implementar controles específicos para IA, ampliar seus conhecimentos e pressionar pela evolução das normas.
Quem tratar a segurança em IA como uma continuidade natural dos seus programas terá sucesso.
Quem esperar verá apenas relatos de violações.
Publicidade
Conheça a Solyd One, e tenha acesso a todos os cursos de segurança ofensiva da Solyd, todas as certificações práticas, incluindo a SYCP, 2 CTFs anuais com prêmios de até 30 mil reais, dezenas de laboratórios realísticos, suporte, comunidade e muito mais. Saiba mais...