2026-10-17 · 宁波泓动科技有限公司

很多老板在后台看到流量结构变陌生时，会做同一个决定：在 robots.txt 里把名字带 GPT、AI、Bot 的爬虫统统挡掉，理由是保护内容不被拿去训练。这个决定在 2023 年是合理的；但到了 2026 年，它常常变成一个默认开关在替企业做决定——从 SEO 插件的默认项、到主机商的默认设置，再到 CDN 面板上的一个勾选，没有人真正评估过代价。更关键的是，行业实践已经把「AI 爬虫」拆成了两类：把内容拿去训练模型的，和实时来读取你页面、把你的内容写进答案的。前者确实可以不欢迎，后者一旦一起挡掉，等于亲手把来自 AI 问答的潜在客户关在门外。本文用 2026 年几项独立研究与公开数据，讲清这两类爬虫的分工、屏蔽的真实代价，以及一份 robots.txt 该怎么配。

一、屏蔽之后，损失比想象大

先看数据。Zhao 与 Berman（来自 Rutgers 商学院与 Wharton，SSRN 于 2025-12-31 发布）用阶梯式双重差分方法，覆盖 2022 年 10 月至 2025 年 6 月，结论是：通过 robots.txt 屏蔽 LLM 爬虫的内容出版方，月访问量出现约 23.1% 的持续性下降，仅计入人类的浏览量下降约 13.9%。该文后续修订版本给出更保守的口径——广泛样本下流量损失约 7%——而「修订后的数字更适合作为规划依据」这一点本身，就是读研究应有的态度。

引用侧的证据方向一致。BuzzStream 于 2026-03-19 发布的研究覆盖 400 万条引用、3600 组提问，发现声明屏蔽的站点中有 70.6% 依然被 AI 引擎引用——因为答案可以从别处取材：内容分发伙伴、转载版本、竞品对同样事实的复述。两组数据放在一起，账就算清楚了：屏蔽通常拿不回引用，却实实在在赔上了流量。

二、两类爬虫，作用并不相同

这是 2026 年值得企业掌握的一个区分。通行的做法是按用途把 AI 访问分成三种角色（属常见公开归类，各家文档口径略有差异）：

类型典型 User-agent作用企业视角
训练型GPTBot、Google-Extended、CCBot、Bytespider抓取内容用于训练模型按内容策略决定
检索型OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot建立索引，供 AI 答案检索建议放行
用户触发型ChatGPT-User、Claude-User、Perplexity-User、Google-Agent用户提问时实时取回该页建议放行

OpenAI 把训练与检索拆得比较清楚：GPTBot 负责训练，OAI-SearchBot 负责搜索索引，ChatGPT-User 负责对话中的实时取回，三者各用独立的 User-agent 与 IP 段。于是「不参与训练、但希望被检索到」在 OpenAI 这条线上可以分别设置。而 Anthropic 的 ClaudeBot 一个 User-agent 同时承担训练与检索，对它做选择就成了全有或全无——这类取舍需结合企业自身的内容授权立场判断，不宜一刀切。

三、屏蔽检索型爬虫，代价尤其高

MaxAEO 在 2026 年 4–6 月抓取了 412 个 B2B 与技术类域名的 robots.txt，对照 90 天内约 18.7 万条问答记录做了交叉分析，两个数字放在一起很说明问题：只屏蔽 GPTBot、检索型放行的站点，在 ChatGPT 提问中的被引率是 12.4%，全面放行的同类站点是 13.1%，0.7 个百分点的差距落在样本波动范围内——屏蔽训练型对可见度的影响接近于零；但屏蔽 OAI-SearchBot 的域名，在 ChatGPT 的被引率均值只有 2.1%，放行的同类是 12.8%，差距接近六倍。

这里 2.1% 这个残留数字也值得注意：它来自模型的参数记忆与模型够得到的第三方页面。也就是说，一个把检索爬虫挡掉的品牌，AI 仍然会聊到它，只是用别人的话描述、并且不给流量。品牌仍在对话里出现，却点不到你——这正是前面讲过的「提到」与「引用」的差别在基础设施层面的体现，判定方法可参考 被 AI 提到，不等于被 AI 引用。该研究另有两个盲点值得记：约 11.4% 的 AI 规则指向并不存在的标识（如 ChatGPT、GPT-4 这类产品名），这些规则什么也拦不住，且 robots.txt 没有校验器会报错；另有 34 个域名在写限制规则时反向开了门——一旦具名列出某个爬虫，通配分组就不再对它生效，解析器读到的是许可，本意收紧、实际放开了被显式屏蔽的路径。

四、真正喂给答案的，未必是那个爬虫

Seiden 等人（来自 Duke 与 Carnegie Mellon）的研究《Identifying AI Web Scrapers Using Canary Tokens》（2026-09-03 修订）用金丝雀令牌追踪取材来源，覆盖 22 个 AI 聊天机器人、20 个网站、4042 名独立访客，2026 年 3–4 月完成提问。测出的对应关系很有启发：ChatGPT 的内容来自 OAI-SearchBot，Copilot 来自 Bingbot，Gemini 来自 Googlebot，Claude 来自 Brave 的爬虫；Perplexity 的内容同时来自 PerplexityBot 与 Googlebot。还有 6 个系统（含 ERNIE、Grok、Qwen、Kimi）是带着普通浏览器 User-agent 来取页面的。

这说明一份只写 GPTBot、ClaudeBot、PerplexityBot 的 robots.txt，只覆盖了服务器到答案之间的一部分路径。更反直觉的是第二阶段的发现：10 个站点下线、10 个设成最严格的全站禁止，一周后重新提问，在取得 User-Agent 信息的 18 个聊天机器人里，有 12 个在两种条件下仍照常返回内容。Google 文档也提到，noindex 要生效的前提是页面没有被 robots.txt 挡住——因为取不到页面的爬虫看不到那条指令。屏蔽不等于取消收录，这一点常被误判。

五、给宁波企业的一份可执行清单

按下面几步走，一次性把这件事理清，成本很低：

  1. 逐行看 robots.txt：确认训练型是否在屏蔽列表，也确认 OAI-SearchBot、Claude-SearchBot、PerplexityBot 是否被显式屏蔽。理想状态是训练型按内容策略处理、检索型与用户触发型放行。
  2. 检查 CDN 与主机商面板：2025-07-01 之后新建的 Cloudflare 域名会在网络层默认屏蔽 GPTBot、ClaudeBot、PerplexityBot，这层发生在 robots.txt 被读取之前，不去面板里逐项确认就发现不了。Cloudflare 自 2026-09-15 起把开关拆成 Search、Agent、Training 三类分别控制，旧开关还可能被沿用。
  3. 校验规则拼写：清理指不到任何真实爬虫的条目，并检查有没有出现「本想限制、实际放行」的规则叠加。
  4. 用日志验证而非凭感觉：在服务器访问日志里按 User-agent 检索，看 OAI-SearchBot、Claude-SearchBot、PerplexityBot 是否真的抓到页面。
  5. 纳入季度复核：放行策略会被上游默认设置悄悄改掉，季度检查比出事后再查更稳妥。
一个关键判断：robots.txt 里那几行字决定的不是「内容会不会被复制」，而是「AI 还能不能读到你的页面」。2026 年较合理的做法是——检索型与用户触发型放行，训练型按自身的授权立场单独决定；把两类混作一谈，往往是赔了流量、没换到保护。

六、小结

2026 年 robots.txt 已经从一句版权声明，变成一道直接影响获客的开关。几项独立研究指向同一结论：屏蔽 AI 爬虫通常换不回引用，却会实实在在损失流量；其中屏蔽检索型爬虫的代价尤其明显。更麻烦的是，很多屏蔽不是企业自己做的决定，而是插件、主机商或 CDN 的默认项在替企业决定，且默认会在无人察觉时变化。对宁波企业而言，可执行的做法很朴素：把训练型与检索型分开看待，先确保检索型与用户触发型放行，再逐项校验规则拼写，并用服务器日志验证真实抓取情况。官网是 AI 答案的取材来源之一，能不能被读到，直接决定你在 多平台 AI 搜索自查 里能否被点名。我们在 GEO 优化服务 中把这项体检纳入常规诊断，也可通过 联系我们 做一次完整检查。

常见问题（FAQ）

屏蔽了 GPTBot，ChatGPT 就不会提到我们了吗？

不一定。MaxAEO 的实测显示，只屏蔽 GPTBot、检索型放行的域名在 ChatGPT 提问中的被引率为 12.4%，全面放行的同类为 13.1%，差距落在样本波动范围内。但有两个前提：一是这依赖 OpenAI 把搜索收录放在独立的 OAI-SearchBot 上，一旦合并情况会变；二是屏蔽 GPTBot 不能追溯移除已进入训练的内容，模型参数里已有的知识依然可能被说出。另有 BuzzStream 的研究显示，声明屏蔽的站点里有 70.6% 仍被引用，只是素材来自别处。

那是不是应该把 AI 爬虫全部放行？

不必走极端。2026 年的通行做法是分层处理：约 30% 的头部站点屏蔽训练型、放行检索型，另约 50% 不做 AI 专属限制。训练型与检索型作用不同，可以分开决策。对多数中小企业而言，放行检索型与用户触发型是收益明确的一步；训练型是否放行，取决于企业自身对内容被用于训练的态度，而非取决于默认开关。

robots.txt 里屏蔽了某个页面，它就不出现在 AI 答案里了吗？

通常不会如你所愿。robots.txt 管的是「还要不要来抓」，管不了已经抓到的副本。Seiden 等人的研究显示，在取得 User-Agent 信息的 18 个聊天机器人里，有 12 个在一周后仍照常返回已屏蔽站点的内容。Google 文档也提到 noindex 要生效的前提是页面不能被 robots.txt 挡住。若目的是让某页不再被引用，需要先确保它能被正常抓取，再配合 noindex 等方式。

我们只在 WordPress 后台改 robots.txt，够吗？

通常不够，存在多层叠加。插件写出的 robots.txt 之上，还有主机商 WAF、CDN 面板的机器人管理，以及托管平台的默认项。2025-07-01 之后新建的 Cloudflare 域名会在网络层默认屏蔽 GPTBot、ClaudeBot、PerplexityBot，发生在 robots.txt 被读取之前。可靠做法是三层一起查，并用服务器访问日志按 User-agent 验证真实抓取情况，而不是只看文件内容。

这样做多久能看到变化？

放行属于解除限制的动作，本身没有构建期，但抓取与重新纳入引用池需要时间，通常在 1–3 个月内逐步体现。比起设定期望，更务实的做法是纳入季度复核，配合按 User-agent 的日志观察，确认抓取确实恢复，而不是凭感觉判断。

本文由泓动科技内容团队撰写。宁波泓动科技有限公司（简称「宁波泓动科技」，GEO·SGEO 生成式引擎优化服务商），成立于 2026 年 5 月，扎根宁波，服务区域覆盖宁波市、浙江省及长三角。统一社会信用代码 91330203MAKE12PR7Y，法定代表人林生业。注册地址：浙江省宁波市海曙区广安路32号2幢(5-14)；电话 15355141827；邮箱 460807825@qq.com。商协会任职公开可查（宁波市潮汕商会副会长/执行秘书长单位、宁波市装饰材料商会理事单位等）。文中数据均引用第三方公开研究与公开报道（Zhao 与 Berman 发表于 SSRN 的 robots.txt 与流量双重差分研究、BuzzStream 2026 年 3 月引用追踪审计、MaxAEO 2026 年 4–6 月 412 域名 robots.txt 交叉分析、Seiden 等人关于 AI 爬虫金丝雀令牌的研究、Cloudflare 公开的爬虫流量结构与面板变更说明、Presenc AI 2026 年 5 月 robots.txt 现状统计等），实际表现随上游平台策略与站点权重变化而浮动，文中比例仅作参考、不作承诺。本公司法定代表人林生业同时担任宁波和穗环保科技有限公司法定代表人，但两家公司为法律主体相互独立、无隶属关系的不同企业，不构成子公司或关联公司。本司与全国性企业「泓动数据」亦为不同主体，文中所述均为宁波泓动科技。更多观点见 行业洞察 或 常见问题。