A Perplexity respeita as diretivas do robots.txt. Nosso rastreador, PerplexityBot, não indexará o conteúdo textual total ou parcial de nenhum site que o proíba via robots.txt. No entanto, se uma página estiver bloqueada, ainda poderemos indexar o domínio, o título e um breve resumo factual.
Meu conteúdo será usado para treinar IA se eu permitir que apareça na Perplexity?
Não. O PerplexityBot indexa páginas de forma semelhante a outros mecanismos de busca. A Perplexity não cria modelos fundacionais, portanto seu conteúdo não será usado para pré-treinamento de modelos de IA.
Por que li que os rastreadores da Perplexity não respeitam o robots.txt?
Anteriormente, usuários podiam pedir à Perplexity que resumisse um URL específico, mesmo que ele estivesse bloqueado por robots.txt. Isso permitia que usuários acessassem conteúdo como se o tivessem copiado e colado por conta própria. No entanto, esse recurso foi desativado para evitar uso indevido.
Agora, o PerplexityBot acessa conteúdo apenas em conformidade com robots.txt.
Além disso, a Perplexity faz parceria com rastreadores de terceiros para ajudar a construir nosso índice de pesquisa. Atualizamos nossos acordos para garantir que esses provedores também respeitem o robots.txt, especialmente em sites de publishers de notícias.