2024年生成式人工智能的流行使得用于训练模型或运行推理的内容需求猛增，各大AI公司纷纷开发爬虫在互联网上抓取用户发布的内容，部分网站用户可能并不希望 AI 机器人访问他们的网站数据，Cloudflare为此提供选择：新增一键阻止所有爬虫的功能，面向所有用户可用
用户根据自身需要也可以自行配置防火墙规则：在网站部分页面、域名中对爬虫访问部分放行
Declare your AIndependence: block AI bots, scrapers and crawlers with a single click
