Perplexity 遵守 robots.txt 指令。我们的爬虫 PerplexityBot 不会索引任何通过 robots.txt 禁止抓取的站点的全文或部分文本内容。不过，如果某个页面被阻止，我们仍可能索引该域名、标题以及简短的事实性摘要。
如果我允许内容出现在 Perplexity 中，我的内容会被用于 AI 训练吗？
不，PerplexityBot 会像其他搜索引擎一样为网页建立索引。Perplexity 不会构建基础模型，因此您的内容不会被用于 AI 模型预训练。
为什么我读到 Perplexity 的爬虫不遵守 robots.txt？
此前，即使某个特定 URL 被 robots.txt 屏蔽，用户仍可提示 Perplexity 对其进行摘要。这使用户能够像自己复制并粘贴内容一样访问这些内容。不过，为防止滥用，此功能已被禁用。
现在，PerplexityBot 仅会根据 robots.txt 抓取内容。
此外，Perplexity 还与第三方爬虫合作，帮助构建我们的搜索索引。我们已更新相关协议，以确保这些提供商也遵守 robots.txt，尤其是新闻出版商网站。