GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Bytespider:主流AI爬虫全解析
我们接触过一个非常可惜的客户:技术部门出于数据安全考虑,在robots.txt里一刀切屏蔽了所有不认识的爬虫,包括所有AI爬虫,结果市场部门花了30多万做内容、做品牌推广,在Perplexity、ChatGPT、豆包这些AI平台搜品牌相关问题,完全找不到他们的任何信息,所有流量都被竞品拿走了。后来发现问题改了robots.txt配置,花了三个多月才慢慢恢复收录,白白损失了三个多月的AI流量窗口。