Что такое индексация сайта простыми словами?

Индексация сайта — это процесс, когда поисковик (Google, Яндекс) обходит страницы сайта, читает их и добавляет в свою базу данных (индекс). Только страницы в индексе могут показываться в выдаче — если страницы нет в индексе, она «не существует» для пользователей поиска. Это первый и обязательный шаг любого SEO: бесполезно оптимизировать страницу, которая поисковику недоступна.

Как происходит индексация

1. Обнаружение. Бот находит ваш URL — через sitemap.xml, внешние ссылки или Search Console.
2. Краулинг (обход). Робот скачивает HTML, CSS, JS страницы.
3. Рендеринг. Для современных сайтов на JS — рендерит как браузер.
4. Анализ. Извлекает текст, заголовки, ссылки, разметку.
5. Добавление в индекс. Страница попадает в базу данных и может ранжироваться.

Веб-индексация vs индексация в Google/Яндекс

«Веб-индексация» — общий термин для процесса каталогизации страниц веб-пространства. На практике это всегда индексация конкретным поисковиком: у Google свой индекс, у Яндекса свой, у Bing третий. Страница может быть в индексе Google, но отсутствовать в Яндексе — это нормально.

Что мешает индексации

• Запрет в robots.txt.
• Мета-тег noindex.
• HTTP-ошибки 4xx, 5xx.
• Дубли и неправильный canonical.
• JS-сайт без серверного рендеринга — бот видит пустоту.
• Молодой домен — Google ждёт 1–4 недели.

Проверьте индексацию: введите в Google site:вашсайт.ru. 0 страниц = сайт не индексируется, нужен технический аудит.