热点
全部
评论
标签
搜索
自动夜间模式
日间模式
夜间模式
登录
侧栏
登录
主题：
自动夜间模式
日间模式
夜间模式
收起
0
收集各种AI爬虫名称并将其屏蔽 避免AI抓取你的数据训练模型
技术
landiannews.com
意外富翁
46天前
|
去评论
|
12点击
|
0收藏
阅读原文：
https://www.landiannews.com/archives/106538.html
开源项目：收集各大公司的 AI 爬虫名称并将其屏蔽，这些爬虫主要都是用来抓取数据进行 AI 训练的，屏蔽后几乎不会对网站产生负面影响。当然允许它们抓取你的数据训练 AI 模型也不会给你的网站带来什么正面反馈，所以各位站长可以综合考虑内容、服务器压力和带宽问题选择是否屏蔽。 项目地址：https://github.com/ai-robots-txt/ai.robots.txt
▲ 赞同(0)
★ 收藏(0)
去登录发表评论
