Perplexity rispetta le direttive robots.txt. Il nostro crawler, PerplexityBot, non indicizzerà il contenuto testuale completo o parziale di alcun sito che lo vieta tramite robots.txt. Tuttavia, se una pagina è bloccata, potremmo comunque indicizzare il dominio, il titolo e un breve riepilogo fattuale.
Il mio contenuto verrà utilizzato per l’addestramento dell’IA se autorizzo la sua comparsa in Perplexity?
No, PerplexityBot indicizza le pagine in modo simile ad altri motori di ricerca. Perplexity non sviluppa modelli di base, quindi i tuoi contenuti non verranno utilizzati per il pre-addestramento del modello di AI.
Perché ho letto che i crawler di Perplexity non rispettano robots.txt?
In precedenza, gli utenti potevano chiedere a Perplexity di riassumere un URL specifico, anche se era bloccato da robots.txt. Questo consentiva agli utenti di accedere ai contenuti come se li avessero copiati e incollati personalmente. Tuttavia, questa funzionalità è stata disattivata per prevenire un uso improprio.
Ora PerplexityBot esegue la scansione dei contenuti solo nel rispetto di robots.txt.
Inoltre, Perplexity collabora con crawler di terze parti per contribuire a costruire il nostro indice di ricerca. Abbiamo aggiornato i nostri accordi per garantire che anche questi provider rispettino robots.txt, in particolare per i siti degli editori di notizie.