外媒指责 AI 工具 Perplexity 在禁止情况下继续抓取自家内容

美国《连线》杂志通过调查和分析发现，AI 工具 Perplexity 似乎忽略了「机器人排除协议」，悄悄从一些不想被机器人访问的网站上抓取内容，包括《连线》杂志本身。

《连线》杂志表示，他们在 robots.txt 文件（网络爬虫的标准说明文档）中屏蔽了 Perplexity，但 Perplexity 依然在设法访问他们的内容。他们发现，Perplexity 在相关新闻标题下生成的文字，与《连线》所撰写的新闻文章存在高度相似的部份。

该媒体还建立了一个新网站来监控服务器日志，然后在 Perplexity 中提示机器人总结网站内容，网站服务器立即记录了一个可疑的秘密 IP 地址访问了该网站。

《连线》杂志不是唯一一家发现 Perplexity 在偷偷抓取自己内容的媒体，著名杂志《福布斯》也表示 Perplexity 抄袭了自己的内容。

文章来源：爱范儿     作者：苏伟鸿