Cloudflare将在明年推出新市场 允许AI模型开发商付费获取网站内容的抓取权限

有着赛博菩萨称号的 Cloudflare 日前宣布了一则重磅消息，该平台计划在明年推出一个新市场，叫做市场是因为这个新平台将帮助内容创作者与 AI 开发商进行交易。

按照 Cloudflare 的描述，网站管理员可以将自己的网站放在市场中，如果有 AI 开发商愿意付费购买内容，则可以抓取网站的内容用于 AI 模型的训练。

该公司称如果 AI 开发商不以某种方式补偿内容创作者，那么内容创作者就会停止创作，这是必须解决的问题。Cloudflare 还提到该公司听到的都是内容创作者沮丧的声音，因为现在各种 AI 公司都在无偿抓取内容，创作者感觉自己的内容被盗了。

目前 Cloudflare 还提供了防止被盗的功能：网站管理员可以一键屏蔽各大 AI 公司的已知爬虫，直接从 CDN 或防火墙层面拦截这些爬虫，阻止这些爬虫继续抓取网站内容。

今年早些时候知名人工智能搜索初创公司 Perplexity 就被发现无视网站的 robots.txt 协议，即便网站管理员已经明确禁止其爬虫抓取内容，但 Perplexity 仍然会继续抓取内容。

一些网站所有者也对这种情况深感无力，一方面自己的内容被人工智能公司无偿抓取，另一方面这些爬虫还会高频次抓取类似 DDoS 攻击，这导致网站要付出更高的服务器和带宽成本。

Cloudflare 新推出的一键屏蔽功能则可以在一定程度上解决问题，因为 Cloudflare 直接屏蔽访问不需要 robots.txt 文件，该公司称新功能让网站所有者实现只有 Reddit 和 Quora 等大型网站才能做到的事情。

此前 Reddit 和 Quora 也开始禁止 AI 爬虫抓取内容用于模型训练，这些大公司有庞大的团队，通过各种机制拦截未经授权的爬虫，对小型网站来说使用 Cloudflare 的一键拦截确实会更加方便。