В техническом SEO есть вещи, которые редко дают красивый график на следующий день. Last-Modified как раз из таких. Пока сайт небольшой, о нем легко вообще не думать. Но на большом каталоге, магазине или контентном проекте корректная работа заголовков последнего изменения может заметно упростить жизнь поисковому роботу.
Яндекс прямо указывает, что сайт будет индексироваться и без Last-Modified. Проблема в другом: роботу сложнее понять, обновился документ с прошлого обхода или нет. А число страниц, которые робот может получить за один заход, не бесконечное.
Поэтому я бы не относил Last-Modified к магическим SEO-факторам. Это скорее нормальная техническая гигиена, особенно если сайт часто меняется.
Что вообще делает Last-Modified
Сервер может сообщить дату последнего изменения документа через HTTP-заголовок Last-Modified. При следующем обращении робот или браузер может спросить, изменялась ли страница после определенного момента, передав If-Modified-Since.
Если страница изменилась, сервер отдает обычный 200 OK и актуальное содержимое. Если документ с указанного момента не менялся, сервер может вернуть 304 Not Modified. В этом случае не нужно заново передавать весь документ.
На практике смысл простой. Робот быстрее понимает, где действительно есть изменения, а где можно не тратить время на повторную загрузку того же самого.
Почему это особенно важно на больших сайтах
На сайте из двадцати страниц разницы можно не почувствовать годами. На магазине с десятками тысяч карточек и фильтров ситуация другая. Робот постоянно выбирает, какие URL обходить, какие проверять повторно и где искать изменения.
Если техническая часть настроена криво, получается лишний шум. Страница не менялась месяцами, но сервер каждый раз ведет себя так, будто перед роботом новый документ. Или наоборот, товар обновился, поменялись цена и наличие, а сервер продолжает отдавать старую дату изменения.
Сам по себе Last-Modified не заставит страницу подняться в выдаче. Но он помогает не мешать нормальному обходу сайта. Для крупного проекта это уже полезно.
Что пишет сам Яндекс
В документации Яндекса есть важный момент: если сервер не выдает Last-Modified, сайт все равно может индексироваться. Но робот не получает нормальной информации о том, изменялась ли страница после прошлого индексирования. Из-за ограниченного количества страниц за один обход обновленные документы могут переобходиться реже.
В рекомендациях по индексированию Яндекс отдельно советует следить за корректностью HTTP-заголовков и за ответом сервера на If-Modified-Since.
То есть это не сторонняя SEO-теория и не старый технический ритуал. Механизм до сих пор описан в актуальной документации Вебмастера.
Главная ошибка: ставить одну дату всем страницам
Самая сомнительная реализация, которую иногда встречаю, выглядит просто: сервер на каждом запросе ставит в Last-Modified текущее время. Для поискового робота тогда любая страница как будто меняется постоянно.
Не намного лучше вариант, когда весь сайт получает дату последней сборки шаблона или обновления CMS. Поменяли один файл темы, и внезапно десятки тысяч URL выглядят обновленными.
Правильнее, когда дата связана с конкретным документом. Для статьи это может быть время последнего редактирования. Для карточки товара нужно учитывать те изменения, которые реально отражаются в ее содержимом: описание, цену, наличие, характеристики и другие значимые поля.
Когда нужен 304
Ответ 304 Not Modified полезен, когда клиент прислал If-Modified-Since, а документ после указанной даты действительно не менялся.
Но здесь важно не пытаться изображать экономию трафика любой ценой. Если контент изменился, сервер должен вернуть 200 OK с актуальной страницей. Иначе можно самому создать проблему, когда робот слишком долго не увидит обновление.
Проверять надо не наличие 304 как такового, а логику ответа.
Как проверить сайт через Яндекс Вебмастер
Для быстрой проверки не обязательно разбирать серверные логи. В Яндекс Вебмастере есть инструмент проверки страницы и ответа сервера.
Я бы проверял несколько типов URL отдельно:
- главную страницу;
- обычную статью;
- категорию;
- карточку товара;
- страницу, которую недавно редактировали.
Смысл не в том, чтобы получить один зеленый результат. Нужно убедиться, что разные документы получают логичную дату изменения и сервер правильно реагирует на If-Modified-Since.
Что еще посмотреть в Статистике обхода
После настройки полезно заглянуть в раздел Индексирование – Статистика обхода. Вебмастер показывает, какие URL посещал робот, когда это было и какой HTTP-код он получил.
Это удобно, если есть ощущение, что важные страницы обновляются, а Яндекс замечает изменения слишком медленно. Сначала я бы смотрел не на позиции, а на сам факт обхода: видел ли робот страницу после изменения и какой ответ получил.
Для нескольких ключевых URL можно использовать Мониторинг важных страниц. Там видно дату последнего обхода и состояние страницы в поиске. Это полезнее, чем каждый день вручную проверять выдачу.
Не надо путать Last-Modified и lastmod в Sitemap
Названия похожи, поэтому их постоянно смешивают.
Last-Modified относится к HTTP-ответу конкретной страницы. lastmod в Sitemap находится внутри XML и сообщает дату последнего изменения URL в карте сайта.
Они могут дополнять друг друга, но это разные механизмы. Если в Sitemap стоит свежая дата, а серверная логика Last-Modified сломана, одно не чинит другое.
Когда я бы точно занялся этим
На маленьком сайте с редкими обновлениями я бы не ставил задачу выше нормальных title, контента, внутренней перелинковки и устранения дублей.
А вот на крупном проекте проверил бы обязательно, особенно если:
- много карточек и категорий;
- цены и наличие меняются регулярно;
- есть тысячи старых страниц, которые почти не обновляются;
- новые изменения долго доходят до поиска;
- по логам видно много повторных обходов неизменных URL.
Нормальная проверка занимает немного времени
Я бы начал с пяти-десяти разных страниц. Проверил фактический Last-Modified, затем условный запрос с If-Modified-Since, посмотрел ответы 200 и 304, после этого сверился со Статистикой обхода в Вебмастере.
Если всё работает логично, больше ничего придумывать не нужно. Если каждая страница постоянно выглядит обновленной или даты не связаны с реальными изменениями, тогда уже стоит разбираться на уровне CMS, кеша, CDN или веб-сервера.
Это не та настройка, которая сама по себе двигает сайт в топ. Но техническое SEO вообще часто состоит именно из таких вещей: не пытаться обмануть робота, а дать ему нормальные и непротиворечивые сигналы.