6小时前
|
|
|
111
Cloudflare 宣布推出名为"Pay per Crawl"的实验性市场平台，允许网站所有者对 AI 爬虫的每次抓取收取微额费用。该平台目前处于内测阶段，网站所有者可选择按设定费率向 AI 爬虫收费、免费开放或完全屏蔽。该公司还宣布，使用 Cloudflare 搭建的新网站将默认屏蔽所有 AI 爬虫。
Cloudflare 数据显示，AI 时代网站获得的回报远低于搜索引擎时代。谷歌爬虫每抓取 14 次会带来 1 次流量推荐，而 OpenAI 爬虫抓取 17000 次才产生 1 次推荐，Anthropic 的比例更是高达 73000:1。该平台旨在为出版商创建可持续的商业模式，应对 AI 聊天机器人兴起带来的流量下降挑战。
