O Google anunciou que está expandindo seu Programa de Recompensas por Vulnerabilidades (VRP) para recompensar pesquisadores que encontram cenários de ataques adaptados a sistemas de inteligência artificial (IA) generativa, em um esforço para reforçar a segurança da IA.
"A IA generativa gera novas e diferentes preocupações do que a segurança digital tradicional, como o potencial para viés injusto, manipulação de modelos ou interpretações errôneas de dados (alucinações)", disseram Laurie Richardson e Royal Hansen do Google.
Algumas das categorias que estão no escopo incluem injeções de prompt, vazamento de dados sensíveis a partir de conjuntos de dados de treinamento, manipulação de modelos, ataques de perturbação adversária que acionam a classificação incorreta e roubo de modelo.
Vale a pena notar que o Google, em julho deste ano, instituiu uma Equipe Vermelha de IA para ajudar a lidar com as ameaças aos sistemas de IA como parte de seu Framework de IA Segura (SAIF).
Também foram anunciados, como parte de seu compromisso em garantir a IA, esforços para fortalecer a cadeia de suprimentos de IA por meio de iniciativas de segurança de código aberto existentes como os Níveis de Cadeia de Suprimentos para Artefatos de Software (SLSA) e Sigstore.
"Assinaturas digitais, como as da Sigstore, que permitem aos usuários verificar se o software não foi adulterado ou substituído", disse o Google.
"Os metadados como a procedência do SLSA nos dizem o que há no software e como ele foi construído, permitindo aos consumidores garantir a compatibilidade da licença, identificar vulnerabilidades conhecidas e detectar ameaças mais avançadas."
O desenvolvimento acontece enquanto a OpenAI revelou uma nova equipe interna de Preparação para "rastrear, avaliar, prever e proteger" contra riscos catastróficos para a IA generativa abrangendo ameaças de cibersegurança, química, biológica, radiológica e nuclear (CBRN).
As duas empresas, juntamente com a Anthropic e a Microsoft, também anunciaram a criação de um Fundo de Segurança de IA de $10 milhões, focado em promover pesquisas no campo de segurança da IA.
Publicidade
Tenha acesso aos melhores hackers éticos do mercado através de um serviço personalizado, especializado e adaptado para o seu negócio. Qualidade, confiança e especialidade em segurança ofensiva de quem já protegeu centenas de empresas. Saiba mais...