OAI-SearchBot 与 GPTBot 有什么区别?

OpenAI 将搜索发现类抓取与可能用于模型训练的抓取分开标识。站点可以在 robots.txt 中分别允许或禁止。

配置原则(方法)

1. 先明确内容许可:哪些页面可以进入搜索发现,哪些不希望用于训练。
2. 对搜索向爬虫与训练向爬虫分别写规则,避免「一刀切却说不清原因」。
3. 不要误伤正文、样式与机器目录等必要路径(在策略允许的前提下)。
4. 在服务器日志中记录 User-Agent、路径与状态码,便于复核。
5. 变更策略后做一次定向探测,确认规则生效。

必须保留的边界

• 允许 OAI-SearchBot 不保证出现在 ChatGPT 搜索结果或成为引用。
• 禁止 GPTBot 不自动提升搜索可见性。
• robots 指令是抓取偏好,不是收录或排名承诺。

实施前请阅读 OpenAI 最新官方说明,并以本站 /robots.txt 的现行策略为准做对照,而不是复制过期博客。