Perplexity respektiert robots.txt-Anweisungen. Unser Crawler, PerplexityBot, wird den vollständigen oder teilweisen Textinhalt einer Website nicht indexieren, wenn dies über robots.txt untersagt ist. Wenn eine Seite jedoch blockiert ist, können wir dennoch die Domain, die Überschrift und eine kurze sachliche Zusammenfassung indexieren.
Wird mein Inhalt für das KI-Training verwendet, wenn ich zulasse, dass er in Perplexity angezeigt wird?
Nein, PerplexityBot indexiert Seiten ähnlich wie andere Suchmaschinen. Perplexity entwickelt keine Foundation Models, daher werden Ihre Inhalte nicht für das Vortraining von KI-Modellen verwendet.
Warum habe ich gelesen, dass die Crawler von Perplexity die robots.txt nicht respektieren?
Bisher konnten Nutzer Perplexity auffordern, eine bestimmte URL zusammenzufassen, selbst wenn sie durch robots.txt blockiert war. Dadurch konnten Nutzer auf Inhalte zugreifen, als hätten sie sie selbst kopiert und eingefügt. Diese Funktion wurde jedoch deaktiviert, um Missbrauch zu verhindern.
Jetzt durchsucht PerplexityBot Inhalte nur noch in Übereinstimmung mit robots.txt.
Darüber hinaus arbeitet Perplexity mit Crawlern von Drittanbietern zusammen, um unseren Suchindex aufzubauen. Wir haben unsere Vereinbarungen aktualisiert, um sicherzustellen, dass auch diese Anbieter robots.txt respektieren, insbesondere auf den Websites von Nachrichtennachverlagen.