Что такое robots.txt и зачем он нужен?

Robots.txt — это текстовый файл в корне сайта (вашсайт.ru/robots.txt), который говорит поисковым роботам, какие страницы можно сканировать, а какие нет. Важный нюанс: robots.txt не блокирует индексацию напрямую — он только ограничивает обход. Если страница закрыта в robots.txt, но на неё ведут ссылки — Google может её всё равно проиндексировать (но без контента). Для блокировки индексации нужен мета-тег noindex.

Зачем нужен robots.txt

• Экономия краулингового бюджета. Бот не тратит время на «корзина», «личный кабинет», «фильтры товаров».
• Защита от мусорной индексации. Технические URL не попадают в выдачу.
• Указание sitemap. В robots.txt прописывается путь к sitemap.xml.
• Управление разными ботами. Можно по-разному настроить для Google, Яндекса, Bing, GPTBot.
• Блокировка AI-краулеров. С 2024 можно запретить GPTBot, ClaudeBot, PerplexityBot обучаться на вашем контенте.

Базовая структура файла

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search/
Allow: /

Sitemap: https://вашсайт.ru/sitemap.xml

Где находится robots.txt

Строго в корне домена: вашсайт.ru/robots.txt. Не в подпапке, не на поддомене. Каждый поддомен должен иметь свой отдельный robots.txt.

Файл robots.txt — это то же самое?

Да, «файл robots.txt» и «robots.txt» — синонимы. Это всегда обычный текстовый файл (.txt), без HTML-разметки.

Что закрывать обязательно

• Личный кабинет, профили пользователей.
• Корзина, оформление заказа.
• Внутренний поиск по сайту.
• Фасеточные фильтры (если они генерируют тысячи URL).
• Технические страницы (RSS, JSON-фиды, печатные версии).
• UTM-параметры и трекинг-метки.

Что НЕ закрывать (типичные ошибки)

• CSS и JS — Google должен видеть, как страница рендерится.
• Изображения, если хотите трафик из Google Images.
• Каталог товаров и категории.

Дальше: как создать правильный robots.txt и как его проверить.