开源项目：收集各大公司的 AI 爬虫名称并将其屏蔽，这些爬虫主要都是用来抓取数据进行 AI 训练的，屏蔽后几乎不会对网站产生负面影响。当然允许它们抓取你的数据训练 AI 模型也不会给你的网站带来什么正面反馈，所以各位站长可以综合考虑内容、服务器压力和带宽问题选择是否屏蔽。
项目地址：https://github.com/ai-robots-txt/ai.robots.txt
收集各种AI爬虫名称并将其屏蔽 避免AI抓取你的数据训练模型
https://www.landiannews.com/archives/106538.html
已复制到剪贴板
评论 0 条
暂无评论，来种下第一颗种子。