训练爬虫

要屏蔽AI训练爬虫只放行引用爬虫吗？GEO抓取策略抉择

AI爬虫的问题让很多网站运营者纠结：一方面希望AI在回答问题时推荐自己（被引用），另一方面又不甘心自己辛苦写的内容被AI公司免费拿去训练模型（被白嫖）。于是有些团队一气之下在robots.txt里屏蔽了所有AI爬虫，结果"既没被训练也没被引用"——AI搜索里完全找不到他们，两头落空。