На больших сайтах проблема индексации часто выглядит нелогично: важные категории или новые посадочные неделями ждут нормального обхода, а робот при этом регулярно посещает фильтры, параметры, сортировки и другие URL, которые вообще не хотелось бы видеть в поиске.
Обычно это называют проблемой краулингового бюджета. Термин удобный, хотя важно не превращать его в магию. У Яндекса нет кнопки, где вебмастеру показывают число вроде «вам выделено 12 500 URL в сутки». Робот сам определяет, какие страницы и как часто обходить, а также сколько документов взять с конкретного сайта. На это влияет структура сайта и набор URL, которые поисковик уже знает.
Поэтому задача SEO-специалиста не в том, чтобы «увеличить бюджет» любой ценой. Гораздо полезнее сделать так, чтобы значительная часть обхода приходилась на действительно нужные страницы.
Откуда Яндекс вообще узнаёт об URL
В документации Яндекс прямо перечисляет несколько источников: внутренние и внешние ссылки, Sitemap и данные Метрики. То есть недостаточно закрыть мусорную страницу в одном месте и считать, что робот о ней забудет. Если на неё продолжают вести ссылки, она присутствует в карте сайта или постоянно генерируется CMS, поисковик может продолжать встречать этот адрес.
На интернет-магазинах это особенно заметно. Один товарный раздел легко превращается в тысячи комбинаций: сортировка по цене, фильтр по бренду, цвету, памяти, наличию, параметр пагинации, метки рекламных систем. Человеку кажется, что это одна категория. Для робота это множество разных URL, пока сайт явно не объяснил обратное.
Сам по себе обход таких адресов ещё не означает катастрофу. Проблема начинается, когда техническое пространство URL становится сопоставимо с полезной частью сайта или заметно больше неё.
Первое место, куда стоит смотреть — Статистика обхода
В Яндекс Вебмастере есть отчёт «Индексирование → Статистика обхода». Он показывает, какие страницы посещал робот и какие адреса не удалось загрузить из-за проблем сервера или содержимого. Данные обновляются ежедневно.
Я бы начинал не с абстрактного вопроса «почему плохо индексируется сайт», а с выборки реальных URL, которые Яндекс обходил последние дни. Часто уже здесь становится видно, куда уходит внимание робота.
Если в списке постоянно встречаются адреса с ?sort=, ?order=, параметрами фильтрации, бесконечными календарями, внутренним поиском или техническими страницами, это хороший повод разбираться со структурой.
При этом важно смотреть не только на количество. Сто технических URL, которые робот посетил один раз, менее интересны, чем несколько шаблонов, генерирующих новые адреса ежедневно.
Не путать обход и индексирование
Это одна из самых частых ошибок. Робот может загрузить страницу и не добавить её в поисковую базу. И наоборот, страница может уже находиться в индексе, хотя сегодня робот её не посещал.
Поиск Яндекса условно состоит из нескольких этапов: обнаружение URL, обход, обработка документа, формирование базы страниц и уже затем построение результатов поиска. Поэтому фраза «Яндекс зашёл на страницу» сама по себе ничего не говорит о её способности ранжироваться.
Если важный URL регулярно обходится, но не попадает в поиск, нужно проверять уже не краулинг, а качество и уникальность документа, дубли, каноникал, запреты, HTTP-ответ, соответствие поисковому интенту и другие причины исключения.
Про похожую ситуацию я уже писал в материале про Sitemap и индексацию в Яндексе: наличие страницы в XML-карте помогает сообщить о ней роботу, но не является гарантией попадания в поиск.
Что чаще всего съедает обход
Фильтры и GET-параметры
Самый очевидный источник — фасетная навигация. Фильтры полезны, когда под них действительно есть спрос и отдельная посадочная имеет смысл. Но если CMS открывает индексируемый URL для каждой комбинации характеристик, количество страниц растёт практически без ограничений.
С декабря 2025 года в Яндекс Вебмастере есть отдельный инструмент настройки GET-параметров. В нём можно подсказать роботу, какие параметризованные страницы нужно обходить и добавлять в поиск, а какие считать дублями. Это не отменяет нормальную техническую настройку сайта, но для сложных проектов инструмент полезный.
Пагинация, сортировки и внутренний поиск
Здесь универсального рецепта нет. Страницы пагинации могут быть нужны роботу, особенно если через них доступны товары или материалы, на которые нет других внутренних ссылок. А вот десятки вариантов сортировки одной и той же выдачи обычно не дают поиску новой ценности.
Внутренний поиск по сайту тоже способен создавать почти бесконечное пространство URL. Если поисковые страницы не являются осознанными посадочными, их появление во внутренней перелинковке лучше контролировать.
Старые и битые адреса
После смены CMS, структуры каталога или массового изменения URL на сайте могут годами жить ссылки на старые страницы. Иногда они отдают 301, иногда 404, а иногда — что хуже — мягкую ошибку с кодом 200.
Яндекс отдельно рекомендует следить, чтобы несуществующие документы отдавали корректный 404. Если сервер отвечает 200 на любой выдуманный адрес, робот получает очень плохой сигнал: формально перед ним каждый раз существует новая страница.
Sitemap должен помогать, а не превращаться в склад URL
В Sitemap стоит включать значимые страницы. Для большого сайта Яндекс допускает подход, при котором в карте остаются новые и часто обновляющиеся URL, а уже известные поисковику документы можно не перечислять постоянно.
Полезно также корректно использовать lastmod. Если CMS при каждой генерации Sitemap ставит всем страницам сегодняшнюю дату, сигнал об изменении теряет смысл. Робот видит, что якобы обновился весь сайт, хотя реально изменились несколько карточек или статей.
После существенного изменения Sitemap не нужно удалять его из Вебмастера и добавлять заново. Яндекс проверяет файл регулярно, а при необходимости обработку можно ускорить из интерфейса.
Внутренняя перелинковка важнее, чем кажется
Если нужная категория находится в двух кликах от главной и на неё ведут ссылки из меню, родительского раздела и релевантных страниц, поисковику легко понять, что документ важен.
Если же коммерческая посадочная существует только потому, что её URL однажды добавили в Sitemap, а внутри сайта на неё никто не ссылается, возникает естественный вопрос: почему робот должен считать её приоритетной?
Это особенно важно после массового создания SEO-страниц. Можно сгенерировать сотни посадочных под спрос, написать тексты и добавить их в XML. Но без нормального места в архитектуре сайта получается набор сиротских страниц.
Здесь возникает и соседняя проблема — конкуренция похожих URL между собой. Если несколько страниц отвечают на один интент, робот тратит ресурсы на все варианты, а поисковику ещё приходится выбирать основной. Подробнее эту ситуацию разбирал в статье о каннибализации страниц.
Что делать на практике
- Выгрузить статистику обхода. Посмотреть не отдельные URL, а шаблоны: какие директории и параметры робот посещает чаще всего.
- Разделить адреса на полезные и технические. Не по принципу «мне нравится — не нравится», а по реальной роли страницы в поиске.
- Проверить генерацию ссылок. Найти, откуда робот получает ненужные URL: меню фильтров, ссылки сортировки, Sitemap, JS, старые шаблоны.
- Разобраться с параметрами. Для дублей использовать корректные технические решения и при необходимости настройки GET-параметров в Вебмастере.
- Проверить HTTP-коды. Несуществующие страницы должны честно возвращать 404, постоянные переезды — 301, рабочие документы — 200.
- Почистить Sitemap. Не отправлять туда технический мусор и не подделывать даты изменения.
- Усилить внутренние ссылки на важные URL. Особенно на новые категории и страницы, которые сейчас существуют почти изолированно.
Мониторинг важных страниц
Для критичных URL удобно использовать инструмент «Мониторинг важных страниц» в Вебмастере. Он позволяет следить за индексированием выбранных документов, а также за динамикой показов и кликов популярных страниц.
Это полезнее, чем каждый день вручную проверять десятки URL. Я бы добавлял туда страницы, потеря которых из поиска действительно заметна для бизнеса: основные категории, ключевые услуги, крупные посадочные.
Когда краулинговый бюджет вообще не виноват
На небольшом сайте из 200–500 нормальных страниц обычно странно начинать диагностику с «не хватает краулингового бюджета». Если сервер работает стабильно, ссылки доступны, robots.txt не мешает, а архитектура не генерирует сотни тысяч дублей, причина чаще находится в другом месте.
Например, страница может быть слишком похожа на другую, не иметь самостоятельной ценности, конфликтовать с канонической версией или просто быть плохо встроена в структуру сайта. В таких случаях попытки заставить робота заходить чаще не решают исходную проблему.
Хорошая работа с обходом — это не попытка заставить Яндекс скачать как можно больше страниц. Это попытка сделать пространство URL сайта понятным и предсказуемым.
Когда на сайте один товар существует в двадцати технических вариантах URL, а важная категория спрятана глубоко и почти без ссылок, робот ведёт себя вполне логично — он обходит то, что ему активно показывают.
Поэтому я бы начинал оптимизацию краулинга не с переобхода и не с очередной отправки Sitemap, а с архитектуры. Сначала убрать бесконечность там, где она не нужна. Потом убедиться, что важные страницы действительно являются важными не только в таблице SEO-специалиста, но и в структуре самого сайта.