AI 抓取

OpenAI、Google、Microsoft、Anthropic 表示将采用一项新的统一信号，让网站发布者可以通过 robots.txt 表达拒绝 AI 抓取的偏好。该机制由 Anthropic 在 IETF 框架下提出，若被广泛采纳，发布者将不必逐家配置 AI 训练选项。文章梳理了该标准的提出背景、各厂商落地节奏，以及其对大模型训练数据合规、版权表达和内容生态可能带来的影响。