Как проверить robots.txt сайта: способы найти и протестировать

Проверить robots.txt любого сайта можно просто открыв URL вашсайт.ru/robots.txt в браузере — файл всегда в открытом доступе. Для глубокой проверки (синтаксис, какие правила применятся к конкретному URL) используйте инструменты Google и Яндекса.

Способ 1 — Прямой просмотр в браузере

1. Откройте в адресной строке: https://вашсайт.ru/robots.txt
2. Если видите текст с директивами User-agent/Disallow — файл есть.
3. Если 404 — файла нет, нужно создать.
4. Если 5xx — проблема на сервере.

Способ 2 — Google Search Console

1. Откройте Search Console для вашего сайта.
2. В новом интерфейсе — «Настройки → Инструмент проверки файла robots.txt».
3. Внизу страницы есть поле — вставьте URL для проверки.
4. Инструмент покажет: «Разрешено» или «Заблокировано», и какое правило сработало.

Способ 3 — Яндекс.Вебмастер

1. Откройте Вебмастер → ваш сайт.
2. «Инструменты → Анализ robots.txt».
3. Введите URL в нижнее поле «Разрешены ли URL».
4. Получите статус и сработавшее правило.

Способ 4 — Онлайн-валидаторы

• technicalseo.com/tools/robots-txt/ — быстрая проверка синтаксиса.
• en.ryte.com/free-tools/robots-txt/ — детальный разбор.
• tame.dev/robots-txt-checker — проверка с подсветкой ошибок.

Способ 5 — Через Screaming Frog

В Screaming Frog → Configuration → Robots.txt → Custom. Можно загрузить ваш robots.txt и сразу увидеть, какие URL заблокированы при обходе сайта.

Что проверять в robots.txt

• Нет ли Disallow: / — это закрывает весь сайт.
• Не заблокированы ли CSS, JS, изображения.
• Указан ли путь к sitemap.xml.
• Правильные ли пути в Disallow (без опечаток).
• Нет ли BOM в начале файла (открыть в редакторе типа Notepad++ → Кодировки).
• Все ли важные разделы открыты для обхода.

Как найти robots.txt чужого сайта (для анализа конкурентов)

Точно так же — конкурент.ru/robots.txt. Полезно посмотреть, что конкуренты блокируют и как настраивают для разных User-agent.

Не уверены в настройке? Включается в технический аудит от Adaptive Lab.