Какие краулеры бывают

  • OpenAI: GPTBot (сбор данных для обучения), OAI-SearchBot (поиск в ChatGPT), ChatGPT-User (заходит по запросу пользователя).
  • Anthropic: ClaudeBot, а также агенты для поиска и запросов пользователя, например Claude-User.
  • Perplexity: PerplexityBot.
  • Google: Googlebot для поиска, Google-Extended — отдельный токен для разрешения использовать контент в Gemini.
  • Common Crawl: CCBot, из его архива берут данные многие модели.

Как разрешить

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://example.com/sitemap.xml

Как запретить часть

Хочешь, чтобы сайт находили в поиске, но не использовали для обучения моделей? Запрети отдельные краулеры обучения (Disallow: /), оставив краулеры поиска разрешёнными. Это твой выбор, он зависит от целей сайта.

Что важно помнить

  • robots.txt — это просьба, а не защита: добросовестные краулеры её соблюдают, остальные могут нет.
  • Названия и поведение краулеров меняются. Сверяйся с документацией компаний.
  • Не забудь добавить строку Sitemap — она помогает всем краулерам.

Это часть общего подхода к GEO.

Частые вопросы

Нужно ли разрешать GPTBot, если я хочу попасть в ответы ChatGPT?

Для поиска в ChatGPT используется отдельный краулер OAI-SearchBot. Если хочешь быть в ответах, разреши его. GPTBot относится к обучению моделей: решение за тобой.