Cloudflare acusou a Perplexity de usar “rastreadores furtivos” para ignorar o protocolo robots.txt e coletar dados de websites sem a devida autorização.
A Perplexity já enfrenta outras críticas, incluindo desrespeito à propriedade intelectual e acusações de plágio no seu modelo de IA.
Em resposta, a Cloudflare excluiu a Perplexity de sua lista de “bots verificados” e implementou novas regras de firewall para impedir o acesso não autorizado.
Após ser investigada pela Amazon, a startup de busca com IA, Perplexity, agora enfrenta uma nova denúncia.
Na segunda-feira (04/08), a Cloudflare acusou a startup de usar “rastreadores furtivos” para extrair dados de sites.
Segundo a empresa de cybersecurity, a Perplexity ignora as orientações do arquivo robots.txt, que deveria permitir aos donos dos sites proibir a raspagem de dados por bots.
Essa ação viola um padrão que existe há mais de 30 anos, representando uma tentativa de coletar dados para alimentar seu serviço de IA contra a vontade dos criadores do conteúdo.
O que a Cloudflare descobriu?
As acusações vieram à tona depois que a Cloudflare recebeu reclamações de clientes que tinham configurado seus sites para bloquear a coleta de dados pelos rastreadores da Perplexity, seja através do arquivo robots.txt ou de firewalls.
Contudo, o conteúdo desses sites ainda era acessado.
Diante das queixas, pesquisadores iniciaram uma investigação e identificaram um padrão de comportamento: quando os rastreadores se deparavam com um bloqueio, a Perplexity ativava um bot furtivo, não declarado, que usava várias táticas para esconder sua identidade e atividades.
Esse rastreador operava de múltiplos endereços IP, alternando entre eles para evitar restrições.
“Essa atividade foi observada em dezenas de milhares de domínios e milhões de solicitações por dia”, relataram os pesquisadores.
A Cloudflare detalhou a técnica com um diagrama, explicando que o bloqueio do rastreador oficial atuava como um gatilho para a ativação do rastreador não declarado, que então conseguia acessar e extrair conteúdo dos sites.
O que é o protocolo robots.txt?
É um arquivo de texto simples localizado no diretório raiz de um website, que permite aos administradores indicar aos bots (como rastreadores) quais partes de um site não devem ser acessadas ou manuseadas.
Funciona como uma espécie de sinalização de “Acesso Restrito” num estabelecimento.
Quando um bot de um mecanismo de busca (como o Googlebot) visita um site, a primeira coisa que faz é procurar pelo arquivo robots.txt.
Depois, ele lê e segue as regras contidas no arquivo antes de iniciar o rastreamento do restante do site.
O protocolo robots.txt, ou Protocolo de Exclusão de Robôs, foi proposto em 1994 pelo engenheiro Martijn Koster e tornou-se um padrão da Força-Tarefa de Engenharia da Internet (IETF) em 2022, sendo amplamente aceito por operadores de bots e mecanismos de busca.
Perplexity enfrenta outras acusações
Não é a primeira vez que a Perplexity enfrenta denúncias de práticas agressivas de coleta de dados e desrespeito à propriedade intelectual.
A empresa já foi criticada por plágio presumido de conteúdo.
A Forbes acusou a empresa de fraude por publicar um artigo “extremamente semelhante a uma reportagem de sua propriedade”, lançada um dia antes.
A Wired relatou padrões de tráfego suspeitos de endereços IP, provavelmente vinculados à Perplexity.
As críticas também atingem outras grandes empresas de tecnologia.
No ano passado, o CEO do Reddit, Steve Huffman, expressou a dificuldade em bloquear a coleta de dados por empresas de IA.
“Tivemos a Microsoft, Anthropic e Perplexity agindo como se todo o conteúdo da internet fosse de uso livre para elas. Essa parece ser a real posição delas”, declarou ao The Verge.
As novas alegações da Cloudflare oferecem evidências técnicas que reforçam essas críticas.
Como resposta às descobertas, a empresa de segurança anunciou que removeu a Perplexity de sua lista de “bots verificados” e estabeleceu novas regras de firewall para bloquear o rastreamento furtivo.
Publicidade
Conheça a Solyd One, e tenha acesso a todos os cursos de segurança ofensiva da Solyd, todas as certificações práticas, incluindo a SYCP, 2 CTFs anuais com prêmios de até 30 mil reais, dezenas de laboratórios realísticos, suporte, comunidade e muito mais. Saiba mais...