robots.txt

robots.txt — текстовый файл в корне сайта (https://example.com/robots.txt), который указывает поисковым роботам какие разделы можно сканировать, а какие нет.

Базовый синтаксис

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /*?sort=

Sitemap: https://example.com/sitemap.xml

Топ-3 ошибки

1. `Disallow: /` — закрывает ВЕСЬ сайт от индексации. Часто остаётся после dev-режима. 2. Блокировка CSS/JS через Disallow — Google не может корректно отрисовать страницу, занижает позиции. 3. Конфликт с noindex — если страница закрыта в robots.txt, Google не может прочитать noindex и продолжает её показывать в выдаче.

Что НЕ делает robots.txt

robots.txt — это рекомендация, не запрет. Файл не защищает от индексации страницы, на которую ведут внешние ссылки. Для надёжной защиты от выдачи — используйте `<meta name="robots" content="noindex">` или HTTP-заголовок `X-Robots-Tag`.

Проверка

Google Search Console → «robots.txt Tester» (legacy). Альтернативно: введите URL в «Проверка URL» в GSC — покажет заблокирован ли он robots.txt.