据 The Verge 2026 年 10 月 30 日报道，OpenAI、Google、Microsoft 和 Anthropic 表示，将采用一项新的标准，让网站发布者可以更方便地拒绝 AI 爬虫抓取其内容。该机制的核心是一个共享的“policy token”信号，发布者可将它写入网站的 robots.txt 文件，从而向多家 AI 公司同时表达自身对 AI 训练和抓取的偏好。
这一变化较早由 Search Engine Roundtable 报道。过去，网站如果希望限制 AI 公司抓取，往往需要分别适配不同厂商的爬虫规则。新的统一信号如果落地，将把这种分散的沟通方式压缩为一次声明，降低发布者的管理成本，也让 AI 爬虫的访问边界更容易被识别。
一个信号写入 robots.txt，发布者无需逐家设置
这项共享“policy token”信号由 Anthropic 标准方向技术负责人 Kevin Kelley 在 Internet Engineering Task Force（IETF）框架下提出。它计划存放在网站的 robots.txt 文件中。robots.txt 长期被用于告诉爬虫哪些内容可以抓取、哪些内容不应访问，常见场景包括搜索索引、网页归档以及 AI 训练。
目前，网站通常需要分别向每家 AI 公司发出自己的 AI 训练偏好。按照报道，OpenAI、Google、Microsoft 和 Anthropic 表示，如果其 AI 爬虫遇到这一共享信号，将限制对相关网站的访问。Meta 传播负责人 Andy Stone 也对这一设置表达了支持态度，但没有明确说明 Meta 是否会遵守该信号。Stone 表示，创建一个能够同时向多家服务商传达此类偏好的共同信号是重要一步，Meta 期待与其他 AI 公司合作，推动相关标准及行业实施。
各家公司的落地节奏并不一致。Anthropic 已经采用该信号；Google 和 Microsoft 计划在明年提供支持；OpenAI 则表示将在“未来几个月”内实施。
从拦截到声明：AI 爬虫治理开始寻找共同规则
这一标准出现的背景，是发布者正持续面对大量 AI 爬虫访问其网站，并将内容用于模型训练。此前，部分公司和组织已经尝试通过技术或规则手段应对未经授权的抓取。例如，Really Simple Licensing（RSL）标准允许发布者对访问其网站的爬虫提出收费要求；Cloudflare 也推出了默认拦截 AI 爬虫的做法。
与直接拦截相比，新的 policy token 更像是一种前置声明机制。它并不要求每个网站单独识别不同 AI 公司的爬虫，也不需要发布者在多个后台或规则文件中重复配置，而是通过一个共同信号，将“是否允许 AI 训练使用”这一偏好传递给多个 AI 服务商。
微软还表示，将提供更细粒度的控制选项，允许发布者选择退出 AI 训练，或退出 AI grounding。后者指将 AI 模型指向经过验证的信息来源，以减少幻觉。微软同时说明，无论发布者如何设置，网站仍会出现在 Bing 搜索结果中。Google 此前也推出了类似控制，允许网站决定其内容是否出现在 AI 搜索功能中，或是否用于 AI 训练，并且不影响其在普通搜索中的可见性。
- robots.txt：传统爬虫规则文件，新信号将写入其中。
- policy token：用于向多家 AI 公司传递统一训练偏好。
- 细粒度控制：微软区分 AI 训练与 AI grounding。
- 搜索可见性：微软和 Google 均表示相关偏好不影响普通搜索结果展示。
对训练数据合规与内容生态的影响
这项标准的直接意义，是让发布者表达“不希望被 AI 抓取”的方式更集中。过去，AI 爬虫数量增多、来源分散，网站需要逐个识别和配置；统一信号若被广泛采纳，发布者可以用更接近标准化协议的方式管理自身内容边界。
对大模型厂商而言，这也可能推动训练数据获取流程进一步透明化。模型训练依赖大量公开网页内容，但内容方是否有权拒绝、如何有效拒绝，一直是行业争论点。新的 policy token 本身并不解决全部授权问题，也不等同于版权许可机制，但它提供了一个更易执行的技术入口：当发布者明确表达偏好后，AI 厂商是否遵守、如何验证、是否留下审计记录，将成为衡量其合规态度的重要指标。
从内容生态看，该标准可能促使网站重新评估内容与 AI 平台的关系。一部分发布者可能选择完全退出 AI 训练，另一部分则可能保留搜索展示、AI 检索引用或商业授权等不同层级。微软和 Google 对“训练”与“搜索/引用”的区分，也显示 AI 时代的内容访问权限正在被拆得更细。
不过，该机制的最终效果仍取决于覆盖范围。目前，OpenAI、Google、Microsoft 和 Anthropic 已表示支持，Meta 表达认可但未明确是否遵守；各家实施时间也不一致。若未来更多 AI 服务商加入，并建立清晰的执行与反馈机制，这一信号有机会成为 AI 爬虫治理的基础设施之一。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/wang-zhan-ju-jue-ai-zhua-qu-jiang-shao-yi-dao-men-kan
