Карта сайта для ботов: что убрать, а что оставить
Разбор Neil Patel: какие URL держать в XML-карте сайта, почему Google игнорирует changefreq и priority и как найти ошибки сканирования.
SEO · Новости
Все новости
XML-карта сайта есть почти у каждого проекта, и почти у каждого она собрана неправильно. В ней лежат редиректы, дубли, страницы входа и удалённые материалы. Робот тратит лимит сканирования на мусор, а новые статьи ждут своей очереди днями. Neil Patel разобрал, как из этого файла сделать рабочий инструмент.
В карте должны быть только канонические URL, которые вы хотите видеть в индексе. Теги changefreq и priority Google игнорирует, а неточный lastmod подрывает доверие к файлу.
Только канонические адреса
Инстинкт подсказывает перечислить все страницы сайта. Верная логика обратная: карта это список приоритетов, а не инвентаризация. Из неё выпадают 301-редиректы (вместо них указывают конечный адрес), страницы с кодом 404 и 410, неканонические дубли, страницы с noindex, пагинация, URL с параметрами фильтров и сортировки, а также разделы входа и политика конфиденциальности.
Отдельный риск возникает, когда карта и тег canonical указывают на разные адреса. Робот получает два противоположных сигнала и выбирает тот, что выглядит надёжнее, но результат предсказать сложно. Проверка простая: сравните пять случайных URL из карты с их canonical.
Динамическая карта вместо ручной
Статический файл фиксирует адреса на момент сборки. Опубликовали страницу, поменяли адрес, удалили раздел, и файл устарел. Для сайта на CMS карту собирает плагин или встроенный модуль платформы, для самописного проекта достаточно скрипта, который обходит папки и пишет список.
Статическая карта тоже нужна, но в другом качестве: её удобно снимать краулером вроде Screaming Frog во время аудита, чтобы увидеть полную картину обхода. Публиковать такую копию как рабочую не стоит.
Что делать с датами
lastmod работает как обещание: указанная дата значит, что содержание страницы менялось по существу. Обновление года в копирайте или правка отступа не повод ставить новую дату. Если робот несколько раз подряд увидит ложные метки, он перестанет опираться на это поле, и вы потеряете реальный сигнал.
Как найти ошибки
В Search Console раздел Sitemaps показывает, сколько адресов нашлось и сколько попало в индекс. Большой разрыв сам по себе не катастрофа, но стоит посмотреть, из какой группы выпадают страницы. Поэтому карту на крупных сайтах дробят по типам с понятными именами: отдельно блог, отдельно товары, отдельно услуги. Тогда причина отклонений видна по названию файла.
Полезно добавить строку с адресом карты в robots.txt и продублировать отправку в Bing Webmaster Tools. Bing в августе 2026 занимал около 4,5% мирового поискового трафика, а часть ИИ-ассистентов ходит по его индексу.
Протокол IndexNow позволяет сообщить о правке адреса сразу, не дожидаясь очередного обхода. Карту он не отменяет: она остаётся общим списком, а IndexNow работает как уведомление о конкретном изменении.
Что это значит для бизнеса
Скорость появления страницы в индексе прямо влияет на выручку, если вы публикуете новости, акции или карточки услуг. Пока бот разбирает редиректы, покупатель видит в выдаче конкурента.
Проверку карты стоит поставить в календарь на раз в месяц: вручную это минут десять, а агент на сервере справится сам и пришлёт список проблемных адресов. Для команд во Владивостоке такой регулярный контроль заменяет отдельного технического специалиста, которого держать дорого. Внедрение искусственного интеллекта в техническую рутину окупается тем, что маркетолог занимается контентом, а не сверкой тегов.
Источник: Neil Patel, оптимизация XML-карты сайта.