Sitemap часто воспринимают почти как кнопку индексации: добавили XML-файл в Яндекс Вебмастер и ждём, что перечисленные URL постепенно окажутся в поиске. Но задача Sitemap уже: он помогает роботу узнать об актуальной структуре сайта. Само присутствие страницы в файле не гарантирует её попадание в результаты поиска.
Поэтому, когда часть посадочных долго не появляется в индексе, полезнее спрашивать не «почему Яндекс не берёт Sitemap», а «что происходит с конкретными URL после того, как робот о них узнал».
Что Sitemap реально делает
Робот находит страницы по внутренним и внешним ссылкам, из уже известных разделов и через Sitemap. XML особенно полезен на крупных проектах, при глубокой вложенности и там, где часть страниц слабо связана обычной навигацией.
Sitemap — это карта, а не пропуск в индекс. Мы сообщаем поисковику набор адресов, которые считаем значимыми. Дальше система самостоятельно решает, какие страницы обходить и включать в поиск.
Сначала техническая проверка
Файл должен открываться с кодом 200, относиться к тому же домену, быть доступен роботу и соответствовать формату. Для XML Яндекс указывает ограничение до 50 000 ссылок и до 50 МБ в несжатом виде; крупные проекты можно разбивать на несколько файлов.
Отдельно стоит проверить, что в Sitemap попадают именно канонические URL. Если файл перечисляет несколько вариантов одной страницы с параметрами и техническими дублями, сайт сам отправляет поисковику противоречивый список.
Не складывайте в Sitemap всё, что существует в CMS
Хороший Sitemap — не выгрузка базы данных. В него логично включать страницы, которые действительно должны индексироваться и способны быть самостоятельным результатом поиска.
Особенно это заметно на интернет-магазинах. CMS легко генерирует тысячи комбинаций фильтров, сортировок и параметров. Формально они могут отдавать 200 OK, но от этого не становятся полезными посадочными.
Переобход не лечит качество страницы
Переобход полезен после существенного изменения URL, но его часто используют как ритуал: страница не индексируется — отправили ещё раз. Он может ускорить повторное посещение роботом, но не превращает слабую страницу в сильную.
Сначала исправляем причину, потом ускоряем повторную проверку. В обратном порядке это обычно просто лишние клики в Вебмастере.
Смотрите на состояние конкретного URL
Робот может знать страницу, обходить её, не включать в поиск или включать, но почти не показывать. Для владельца всё это иногда выглядит одинаково: «страницы нет в топе». Причины при этом совершенно разные.
В разделе «Страницы в поиске» Яндекс показывает изменения и причины удаления URL. Для страниц, которые участвуют в выдаче, можно смотреть показы, клики и CTR. Это полезнее, чем оценивать здоровье индекса только по общему количеству страниц.
Внутренняя перелинковка важнее, чем кажется
Бывает, что страница есть в Sitemap, но внутри сайта до неё почти невозможно добраться. Формально робот адрес знает, однако структура проекта показывает, что сам сайт считает этот URL второстепенным.
Если страница важна, у неё обычно есть нормальное место в архитектуре: ссылка из категории, меню, тематического блока или другого логичного раздела. Особенно внимательно стоит смотреть на автоматически созданные SEO-посадочные, которые существуют только в XML.
Проверьте конкуренцию страниц
Если несколько URL отвечают на один интент и отличаются минимально, Sitemap проблему не исправит. Сегодня поисковик может считать основной одну страницу, завтра другую. Поэтому сначала нужно определить действительно полезную посадочную, привести в порядок дубли, канонизацию и внутренние ссылки, а затем оставлять в карте сайта нужный адрес.
lastmod должен отражать реальные изменения
В Sitemap можно указывать дату последнего изменения через lastmod. Но автоматически ставить сегодняшнюю дату всем URL при каждой генерации файла — плохой сигнал. Если страница не менялась, дата должна это отражать.
Лучше обновлять lastmod после содержательных изменений: обновления основного контента, характеристик, важной информации или структуры.
Практический порядок диагностики
- Проверить Sitemap: код ответа, формат, домен, отсутствие мусорных и неканонических URL.
- Выбрать группу важных неиндексируемых страниц: категории, карточки, фильтры или статьи.
- Проверить статус URL в Вебмастере и понять, знает ли страницу робот.
- Сравнить проблемные URL с нормальными: вложенность, внутренние ссылки, назначение, контент и канонизация.
- Найти системную причину. Если выпадает один тип страниц, лучше исправить шаблон или архитектуру.
- После исправлений отправить ключевые страницы на переобход и наблюдать динамику.
На больших сайтах важнее качество набора URL
На крупном сайте задача обычно не в том, чтобы заставить Яндекс обойти абсолютно всё. Полезнее управлять тем, какие страницы вообще достойны индексирования.
Фасетная навигация — хороший пример. Часть фильтров может быть отличными посадочными под реальный спрос, другая создаёт бессмысленные комбинации. Если разрешить всё подряд и добавить это в Sitemap, поисковому роботу приходится разбираться с последствиями нашей автоматизации.
Sitemap как контрольный список
Если сложно объяснить, почему конкретный URL находится в карте сайта, возможно, сначала стоит разобраться с самим URL.
В нормальной ситуации в Sitemap лежат канонические, доступные и полезные страницы, связанные с остальной структурой сайта. И главное — не ждать от Sitemap того, чего он не обещает: файл помогает Яндексу узнать о страницах, но не гарантирует их присутствие в поиске.
Подробные требования есть в официальной справке Яндекс Вебмастера по Sitemap.