{"aliases":["ChatGPT 搜索爬虫是什么","要不要允许 GPTBot","OpenAI 爬虫怎么配置","OAI-SearchBot 是做什么的"],"applicableScope":"适用于公开知识站的爬虫策略设计。","canonicalQuestion":"OAI-SearchBot 与 GPTBot 有什么区别?robots.txt 应如何配置?","category":"信息发现机制","contentHash":"19098074ca4c57ceb4f43d6cae0d9b513ab8396c45a6cd483dda540291ac5ba8","freshness":"审核通过时有效","id":"b26134a9-c134-4e48-af7c-eb4683b5da85","language":"zh-CN","limitations":"平台政策与爬虫标识可能变化,须按复核日期重查官方文档;本站当前 robots 策略以线上文件为准。","markdown":"# OAI-SearchBot 与 GPTBot 有什么区别?\n\nOpenAI 将**搜索发现类抓取**与**可能用于模型训练的抓取**分开标识。站点可以在 `robots.txt` 中分别允许或禁止。\n\n## 配置原则(方法)\n\n1. 先明确内容许可:哪些页面可以进入搜索发现,哪些不希望用于训练。  \n2. 对搜索向爬虫与训练向爬虫分别写规则,避免「一刀切却说不清原因」。  \n3. 不要误伤正文、样式与机器目录等必要路径(在策略允许的前提下)。  \n4. 在服务器日志中记录 User-Agent、路径与状态码,便于复核。  \n5. 变更策略后做一次定向探测,确认规则生效。\n\n## 必须保留的边界\n\n- 允许 OAI-SearchBot **不保证**出现在 ChatGPT 搜索结果或成为引用。  \n- 禁止 GPTBot **不自动**提升搜索可见性。  \n- robots 指令是抓取偏好,不是收录或排名承诺。\n\n实施前请阅读 OpenAI 最新官方说明,并以本站 [`/robots.txt`](https://knowledgemesh.geokeji.com/robots.txt) 的现行策略为准做对照,而不是复制过期博客。","nextReviewAt":"2026-11-08T07:43:17.388Z","relatedUnitIds":[],"reviewer":"移山内容签发","slug":"oai-searchbot-vs-gptbot","sources":[{"claim":"面向发布者的爬虫与搜索相关说明。","tier":"supporting","title":"OpenAI publishers and developers FAQ","url":"https://help.openai.com/en/articles/12627856-publishers-and-developers-faq"},{"claim":"爬虫标识与 robots 控制说明。","tier":"supporting","title":"OpenAI bot documentation","url":"https://platform.openai.com/docs/bots"},{"claim":"移山可信知识站现行抓取策略。","tier":"supporting","title":"本站 robots.txt","url":"https://knowledgemesh.geokeji.com/robots.txt"}],"summary":"按 OpenAI 公开说明,OAI-SearchBot 用于搜索场景中的发现与链接展示相关抓取,GPTBot 用于可能参与模型训练的抓取;站点可分别配置。允许抓取不等于保证收录或引用。","verifiedAt":"2026-08-10T07:43:17.388Z","version":1,"status":"published"}