Как создать и настроить robots.txt: пошаговая инструкция

Создать robots.txt — это создать обычный текстовый файл и положить в корень сайта. Минимальный рабочий файл занимает 4 строки. Для популярных CMS файл уже создан автоматически и достаточно его настроить. После любых изменений обязательно проверьте: ошибка в robots.txt может закрыть весь сайт от индексации.

Способ 1 — Вручную (для самописных сайтов)

1. Создайте текстовый файл с именем robots.txt (важно: без .doc или .docx — только .txt).
2. Откройте его в Блокноте или любом редакторе кода.
3. Вставьте базовый шаблон (см. ниже).
4. Сохраните в кодировке UTF-8.
5. Загрузите в корень сайта через FTP или хостинг-панель.
6. Проверьте: откройте вашсайт.ru/robots.txt — должен отдавать ваш файл.

Минимальный шаблон

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /search/
Disallow: /*?utm_
Allow: /

Sitemap: https://вашсайт.ru/sitemap.xml

Способ 2 — Через CMS

• WordPress: плагины Rank Math или Yoast SEO имеют встроенный редактор robots.txt в меню «Инструменты».
• Tilda: файл генерируется автоматически. Настройки → SEO → Robots.txt. Редактирование ограничено.
• 1С-Битрикс: Маркетинг → Поисковая оптимизация → Настройка robots.txt.
• Modx: создайте файл в корне через файловый менеджер.
• OpenCart: готовый robots.txt в корне, редактируется через FTP.

Правила синтаксиса

Директива	Что делает
User-agent: *	Правила для всех ботов.
User-agent: Googlebot	Правила только для Google.
User-agent: Yandex	Правила только для Яндекса.
Disallow: /admin/	Запрет на обход папки /admin/.
Disallow: /*.pdf$	Запрет на все PDF-файлы.
Allow: /admin/public/	Разрешение внутри запрещённой папки.
Sitemap: URL	Указание на карту сайта.
Crawl-delay: 10	Задержка между запросами (Yandex/Bing, Google игнорирует).

Блокировка AI-ботов (с 2024)

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: PerplexityBot
Disallow: /

⚠️ Если хотите попасть в AI Overview и Perplexity — НЕ блокируйте этих ботов.

5 типичных ошибок

1. Disallow: / — закрывает весь сайт. Самая дорогая ошибка.
2. Запрет CSS/JS — Google не видит, как рендерится страница.
3. Опечатка в названии папки — правило не сработает.
4. BOM в начале файла — некоторые боты не читают.
5. Робот.txt вместо robots.txt — файл не найден.

После создания обязательно проверьте: как проверить robots.txt.