# OAI-SearchBot 与 GPTBot 有什么区别?

OpenAI 将**搜索发现类抓取**与**可能用于模型训练的抓取**分开标识。站点可以在 `robots.txt` 中分别允许或禁止。

## 配置原则(方法)

1. 先明确内容许可:哪些页面可以进入搜索发现,哪些不希望用于训练。  
2. 对搜索向爬虫与训练向爬虫分别写规则,避免「一刀切却说不清原因」。  
3. 不要误伤正文、样式与机器目录等必要路径(在策略允许的前提下)。  
4. 在服务器日志中记录 User-Agent、路径与状态码,便于复核。  
5. 变更策略后做一次定向探测,确认规则生效。

## 必须保留的边界

- 允许 OAI-SearchBot **不保证**出现在 ChatGPT 搜索结果或成为引用。  
- 禁止 GPTBot **不自动**提升搜索可见性。  
- robots 指令是抓取偏好,不是收录或排名承诺。

实施前请阅读 OpenAI 最新官方说明,并以本站 [`/robots.txt`](https://knowledgemesh.geokeji.com/robots.txt) 的现行策略为准做对照,而不是复制过期博客。