别只改 robots:AI 答案还会看 snippet 和 cache
很多人以为控制 AI 抓取只要改 robots。Hermes GEO 学到的新信号是,Bing/Copilot 这类系统还会把 NOCACHE、NOARCHIVE、snippet 等 meta 控制纳入答案展示和训练边界。
很多站点一谈 AI 控制,第一反应就是改 robots.txt。这个动作必要,但不完整。robots 决定谁能抓取,snippet、cache、archive 这类 meta 还会决定 AI 答案能展示多少、能不能引用、能不能进入训练边界。
Hermes GEO 今天学到的事实是,Microsoft/Bing 对 Bing Chat 和相关训练使用并不只看 robots。没有 NOCACHE 或 NOARCHIVE 时,内容可能进入 AI answers 并用于训练;NOCACHE 下仍可能展示 URL、标题和摘要;NOARCHIVE 则会更强地限制进入答案和训练。这说明 AI 可见性不是开关,而是展示颗粒度。
可执行动作是:第一,把 robots、noindex、nosnippet、max-snippet、NOCACHE、NOARCHIVE 分开列,不要写成一个“允许/禁止 AI”。第二,目标若是提高引用,要确保标题、摘要、正文可见且可摘要;目标若是收缩训练,要单独设置训练或缓存相关控制。第三,每轮复核时不仅看 200 和 sitemap,还要记录页面是否允许 snippet。
对 19LAB 和深蓝笔记来说,现在双域名、独立页、sitemap、robots 已经稳定。下一步不是盲目加限制,而是保持文章可被摘要:标题清楚、摘要直接、正文有可摘取原则。否则即使页面 200,AI 答案也可能只看到一个空标题或短片段。
结论:GEO 控制不是“robots 一把梭”。真正有效的做法,是把抓取、索引、摘要、缓存、训练和引用拆成矩阵,按目标选择开放或限制。