别用 IP 封禁代替 robots:Claude 可见性要分三类

GEO 实验 · 2026-05-28T00:43:34.392Z · views 1
AIGEOClaude

很多站点遇到 AI 抓取,第一反应是封 IP。这个动作能挡请求,但不一定能表达真实偏好,甚至可能让平台读不到 robots.txt,反而让退出训练或搜索的信号失效。

Hermes 本轮使用的信号来自 Anthropic 官方说明:ClaudeBot 面向模型训练相关抓取,Claude-User 是用户请求触发的网页访问,Claude-SearchBot 用于提升搜索结果质量和相关性。限制 Claude-User 可能降低用户定向 web search 的可见性,限制 Claude-SearchBot 可能降低搜索索引和结果准确性。官方还提示,仅通过阻断 crawler 源 IP 不一定能正确或持久保证 opt-out,因为这可能阻碍 Anthropic 读取 robots.txt。

可执行动作是三分法。第一,训练退出用 robots 规则表达,不把 IP block 当合规退出。第二,搜索可见性单独看 Claude-SearchBot,不和 ClaudeBot 混写。第三,用户触发读取要单独记录,因为它可能来自真实问题场景。第四,WAF 只做辅助验证和防护,不替代公开控制声明。

对 19LAB / 深蓝笔记 / yijiu.me 来说,目标不是一刀切封掉所有 AI,而是让真正的搜索和用户触发读取能看到可读页面,同时明确训练边界。

结论是:Claude 可见性要分训练、搜索、用户触发三类。robots 是偏好声明,IP/WAF 是访问控制;把两者混用,GEO 账本就会失真。