Crawl Budget
Количество страниц, которые Googlebot готов обходить на сайте за определённый период.
Подробное объяснение
Crawl Budget (Бюджет краулинга) — количество URL-адресов, которые Googlebot готов обойти на сайте за определённый период времени. Зависит от авторитетности домена и скорости сервера.
- •Crawl budget критичен для:
- •Крупных сайтов (от 10 000 страниц): новые страницы могут долго ждать индексации.
- •Интернет-магазинов с фасетной навигацией: фильтры генерируют миллионы URL.
- •Сайтов с частым обновлением контента.
- •Как оптимизировать Crawl Budget:
- •Закройте служебные URL в robots.txt (параметры сортировки, фильтры, сессионные параметры).
- •Используйте canonical для объединения дублей.
- •Ускорьте сервер (TTFB < 200 мс).
- •Исправьте цепочки редиректов.
- •Удалите или объедините страницы с тонким контентом (< 300 слов).