OpenAI 的 GPTBot 是用于抓取网页数据训练 AI 模型的爬虫，可通过 robots.txt 控制其访问。
能用它做什么
- →通过 robots.txt 控制 GPTBot 抓取网站内容
- →区分 GPTBot 和 OAI SearchBot 的访问目的
大家怎么说
群里讨论到 GPTBot 与 OAI SearchBot 的区别：GPTBot 是 OpenAI 用于训练模型的爬虫，而 OAI SearchBot 才是用于建立搜索索引的爬虫。有群友观察到自己的网站被 GPTBot 访问，但只来了一次，且来的是训练用的 GPTBot。
由 AI 根据群里 2 条讨论整理，仅供参考
群里的讨论
加载中…
话题与问答由 AI 根据群聊整理，点「看原文」可以看当时大家具体怎么说