技术抓取

robots.txt怎么配置放行AI爬虫？GEO技术抓取第一步

我见过最冤的一种GEO失败案例：内容团队勤勤恳恳写了三个月文章，结构优化了、FAQ加了、多平台发了，结果半年过去没有任何一个AI平台引用过他们。排查到最后发现，技术同事之前为了防止爬虫消耗服务器资源，在robots.txt里加了一行`Disallow: /`，把所有爬虫（包括AI爬虫）全挡在门外了。