Cloudflare 与 OpenAI 试点：让 AI 更高效地发现网页
AI 能否提供有用的答案，不只取决于模型能力，也取决于它能否找到准确、及时且足够具体的网页。例如，某个型号的维修手册、最新的办事费用，或一家餐厅当天的营业时间，都可能比泛泛的介绍更有价值，即使这些页面很少被其他网站引用。
Cloudflare 与 OpenAI 于 2026 年 7 月启动研究试点，探索利用 Cloudflare 网络中的信号，帮助 OpenAI 的搜索爬虫更高效地发现内容。
试点做了什么
试点覆盖的参与群体约占 Cloudflare 整体网络的 1%，已帮助 OpenAI 发现并索引数亿个此前未被其索引的网页。这是试点披露的初步进展，并不意味着新增页面都能获得展示或访问。
双方的分工是：
- Cloudflare 提供网络信号，辅助发现可能有用的页面。
- OpenAI 独立评估和排序，根据相关性与实用性决定页面如何出现在搜索结果中。
因此，发现网页、纳入索引与获得展示，是不同的环节。
为什么不能只靠增加抓取次数
找到一个网址，并不代表找到了有价值的内容。自动化访问会制造不少干扰：
- 机器人反复请求不存在的文件，让无效地址看起来很活跃。
- 部分网站将几乎所有地址重定向至首页。
- 多个地址可能对应同一份内容。
识别这些模式，可以在爬虫下载页面之前过滤部分无效请求，减少重复工作和网站负载。
对于已经收录的页面，试点还在测试变化信号：判断页面何时值得再次访问，而不是一味提高所有页面的抓取频率。
发现新页面可能在初期增加抓取量。 减少无效请求，并不等于网站的总抓取量一定立即下降。试点的目标是在扩大覆盖、保持信息更新与控制抓取成本之间取得平衡。
风险识别细化到单个页面
试点也在测试用于标记潜在有害页面的信号。例如，一个正常网站可能只有某个页面遭到入侵，被植入伪造登录表单。
如果能够识别并标记具体页面，就有机会避免将整个域名一并排除。初步结果显示，这类信号有助于识别不宜进入索引的页面，但其识别准确率和误判情况尚未给出具体数据。
对网站经营者意味着什么
这项试点有几个需要区分的边界：
- 被发现不等于获得流量。 新增索引能否转化为访问、交易或其他业务成果，仍需后续测量。
- 发现信号不等于访问许可。 关于页面的信号，并不授予 AI 系统访问该页面的权限，域名所有者的访问选择仍然重要。
- 搜索发现不等于模型训练。 此项研究使用网页元数据支持搜索与发现，而非共享页面内容用于模型训练。
下一阶段将继续改进页面筛选，测试更快、更可靠的变化信号，并评估内容被发现之后的实际效果。目前能够确认的进展主要集中在索引覆盖与抓取效率，尚不能据此判断网站经营者能获得多少业务回报。