SEO OS: от поискового сигнала к понятному действию

Карта сайта для ботов: что убрать, а что оставить

Разбор Neil Patel: какие URL держать в XML-карте сайта, почему Google игнорирует changefreq и priority и как найти ошибки сканирования.

SEO · Новости

Все новости
AG Branding
Схема XML-карты сайта и маршрут робота поисковой системы: технический seo и seo продвижение сайта

XML-карта сайта есть почти у каждого проекта, и почти у каждого она собрана неправильно. В ней лежат редиректы, дубли, страницы входа и удалённые материалы. Робот тратит лимит сканирования на мусор, а новые статьи ждут своей очереди днями. Neil Patel разобрал, как из этого файла сделать рабочий инструмент.

🔥 Главное в двух строках

В карте должны быть только канонические URL, которые вы хотите видеть в индексе. Теги changefreq и priority Google игнорирует, а неточный lastmod подрывает доверие к файлу.

Только канонические адреса

Инстинкт подсказывает перечислить все страницы сайта. Верная логика обратная: карта это список приоритетов, а не инвентаризация. Из неё выпадают 301-редиректы (вместо них указывают конечный адрес), страницы с кодом 404 и 410, неканонические дубли, страницы с noindex, пагинация, URL с параметрами фильтров и сортировки, а также разделы входа и политика конфиденциальности.

Отдельный риск возникает, когда карта и тег canonical указывают на разные адреса. Робот получает два противоположных сигнала и выбирает тот, что выглядит надёжнее, но результат предсказать сложно. Проверка простая: сравните пять случайных URL из карты с их canonical.

Динамическая карта вместо ручной

Статический файл фиксирует адреса на момент сборки. Опубликовали страницу, поменяли адрес, удалили раздел, и файл устарел. Для сайта на CMS карту собирает плагин или встроенный модуль платформы, для самописного проекта достаточно скрипта, который обходит папки и пишет список.

Статическая карта тоже нужна, но в другом качестве: её удобно снимать краулером вроде Screaming Frog во время аудита, чтобы увидеть полную картину обхода. Публиковать такую копию как рабочую не стоит.

Что делать с датами

lastmod работает как обещание: указанная дата значит, что содержание страницы менялось по существу. Обновление года в копирайте или правка отступа не повод ставить новую дату. Если робот несколько раз подряд увидит ложные метки, он перестанет опираться на это поле, и вы потеряете реальный сигнал.

Как найти ошибки

В Search Console раздел Sitemaps показывает, сколько адресов нашлось и сколько попало в индекс. Большой разрыв сам по себе не катастрофа, но стоит посмотреть, из какой группы выпадают страницы. Поэтому карту на крупных сайтах дробят по типам с понятными именами: отдельно блог, отдельно товары, отдельно услуги. Тогда причина отклонений видна по названию файла.

Полезно добавить строку с адресом карты в robots.txt и продублировать отправку в Bing Webmaster Tools. Bing в августе 2026 занимал около 4,5% мирового поискового трафика, а часть ИИ-ассистентов ходит по его индексу.

Протокол IndexNow позволяет сообщить о правке адреса сразу, не дожидаясь очередного обхода. Карту он не отменяет: она остаётся общим списком, а IndexNow работает как уведомление о конкретном изменении.

Что это значит для бизнеса

Скорость появления страницы в индексе прямо влияет на выручку, если вы публикуете новости, акции или карточки услуг. Пока бот разбирает редиректы, покупатель видит в выдаче конкурента.

Проверку карты стоит поставить в календарь на раз в месяц: вручную это минут десять, а агент на сервере справится сам и пришлёт список проблемных адресов. Для команд во Владивостоке такой регулярный контроль заменяет отдельного технического специалиста, которого держать дорого. Внедрение искусственного интеллекта в техническую рутину окупается тем, что маркетолог занимается контентом, а не сверкой тегов.

Источник: Neil Patel, оптимизация XML-карты сайта.

Читайте также