Индексация сайта: как проверить страницы в Google и Яндексе
На сайте может быть сотня доступных статей, а в поиске находиться только часть. Чтобы понять разницу, проверяйте конкретные URL. Количество записей в CMS и число ссылок в Sitemap не отвечают на вопрос, какие страницы Google и Яндекс включили в свои индексы.
SEO · Блог
Все статьи
Коротко
- Проверка URL в Google Search Console и Яндекс Вебмастере: HTTP 200, robots.txt, noindex, canonical и причины, по которым страницы не попадают в поиск.
Начните со списка важных адресов. Для каждого сохраните технический ответ, статус в обеих поисковых системах, дату проверки и причину исключения, если она известна. Это позволит исправлять обнаруженные препятствия, а не отправлять один и тот же адрес на переобход без диагноза.
Чем публикация страницы отличается от индексации
У страницы есть несколько разных состояний. Она может быть опубликована и открываться для посетителя. Робот может получить её содержимое. Поисковая система может включить её в индекс. Подтверждение одного состояния не доказывает остальные.
HTTP 200 означает успешный ответ на запрос. В этом ответе при этом может находиться пустой шаблон, сообщение об ошибке или текст, закрытый от индексирования. Поэтому вместе с кодом ответа проверяют содержание, директивы и фактический статус в поисковике.
Условный пример: редактор выпустил статью, адрес появился в блоге и карте сайта. Это подтверждает публикацию и помогает обнаружить материал. Сообщать «статья уже в индексе» до проверки поисковой системы рано. Google Search Essentials прямо отделяет соблюдение требований от гарантии обхода, индексирования и показа.
Как проверить страницу в Google и Яндексе
В Search Console выберите нужный ресурс и проверьте полный URL. Прочитайте сведения об индексированной версии: статус, известные причины, время последнего обхода и канонический адрес, если они показаны. Важно понимать, относится результат к данным индекса или к проверке доступности текущей страницы. Возможности инструмента описаны в официальной справке проверки URL.
В Яндекс Вебмастере используйте проверку страницы и сведения об индексировании нужного сайта. Сохраняйте формулировку статуса и дату. Если Яндекс и Google показывают разные результаты, ведите их отдельными колонками: решения одного поисковика не подтверждают состояние другого.
Поиск с оператором site можно использовать как дополнительное наблюдение. Но отсутствие адреса в такой выдаче не заменяет данные инструментов владельца. Не считайте приблизительное число результатов полным реестром индексированных страниц.
Сверяйте именно тот адрес, который проверяли технически. Параметры, www, протокол и редиректы могут привести к другой версии URL. Несоответствие адресов иногда объясняет противоречие между отчётами без каких-либо изменений алгоритма.
Какие технические причины проверять первыми
Сначала откройте страницу и убедитесь, что она отдаёт ожидаемый ответ. Посмотрите, нет ли цепочки перенаправлений, ошибки сервера или требования авторизации. Проверьте HTML и HTTP-заголовки на noindex, затем правила robots.txt.
Разделяйте назначение ограничений. robots.txt управляет обходом; noindex сообщает об исключении из индекса, когда робот может прочитать это указание. Подробное различие объясняет документация Google о noindex. Не добавляйте новые запреты наугад: так можно скрыть от робота сведения, которые он должен обработать.
Проверьте canonical. Если на статье указан другой адрес как основной, выясните причину: это намеренный дубль или ошибка шаблона. Затем сравните выбранный поисковиком адрес с указанным на сайте. Разница требует разбора, а не автоматической замены любого canonical на текущий URL.
Убедитесь, что основной текст действительно присутствует в доступной странице. Если посетитель видит содержание только после сложной загрузки или авторизации, понадобится отдельная техническая проверка. Важен ответ, который получает робот, а не только внешний вид экрана редактора.
Что делать со страницей, которую робот уже видел
Если обход состоялся, но включение в индекс не подтверждено, сначала прочитайте указанную причину. Не все такие ситуации исправляются повторной отправкой адреса. Иногда страница дублирует другой материал или не отвечает на самостоятельную задачу читателя.
Сопоставьте её с соседними URL. Две инструкции с одинаковым содержанием и разными заголовками могут требовать объединения. Но страницу услуги и статью о самостоятельной проверке не стоит склеивать лишь из-за общего слова «аудит»: они помогают выполнить разные действия.
Посмотрите внутренние ссылки. На важную страницу должен вести понятный путь из соответствующего раздела. Если адрес известен только редактору и присутствует в карте сайта, проверьте, как читатель вообще может его найти.
Контрпример неудачного действия: без проверки причин переписать все статьи и одновременно сменить их адреса. Тогда появятся новые изменения и станет сложнее понять, что исправлено. Лучше выбрать конкретную группу, записать ограничение и проверить результат одного решения.
Как отправить исправленный URL на повторную проверку
После исправления заново проверьте ответ страницы, текст, директивы и ссылки. Только затем используйте поддерживаемый инструмент переобхода или обновите карту сайта, если она содержала неправильные адреса.
Для небольшого числа URL Google предлагает инструмент проверки, для большого набора адресов помогает Sitemap. Запрос обхода не гарантирует включения в результаты поиска; повторная отправка сама по себе не ускоряет обработку. Эти ограничения описаны в рекомендациях Google по повторному сканированию.
Запишите дату запроса и причину: что именно изменилось. На следующей проверке сравните сведения, а не только статус отправки. «Запрос принят» означает выполнение вашего действия, но ещё не завершённую индексацию.
Как вести контроль индексации по всей группе страниц
Реестр нужен прежде всего для важных адресов. Отделяйте рабочие статьи, товары и услуги от технических вариантов URL. Иначе рост числа обнаруженных страниц можно ошибочно принять за полезный результат.
| URL | Техническое состояние | Яндекс | Следующее действие | |
|---|---|---|---|---|
| Важная статья | Доступна, запретов не найдено | Индексация не подтверждена | Нужна проверка | Получить данные обеих панелей |
| Страница услуги | Найден noindex | Есть сообщение об исключении | Есть сообщение об исключении | Проверить, был ли запрет намеренным |
| Старый адрес | Перенаправляется на новый | Проверить конечный URL | Проверить конечный URL | Сверить ссылки и Sitemap |
Это условные строки для формы отчёта. В рабочем реестре добавьте дату, источник каждого статуса и ответственного. Значение «неизвестно» полезнее необоснованной отметки «в индексе».
Если проблема затрагивает шаблон или большой раздел, включите её в SEO-аудит сайта. Дальнейшая работа со страницами и спросом относится к SEO-продвижению.
Частые вопросы
Достаточно ли HTTP 200 для индексации?
Нет. Он подтверждает успешный HTTP-ответ. Наличие URL в индексе проверяют отдельно по данным соответствующего поисковика.
Почему адрес есть в Sitemap, но отсутствует в поиске?
Карта помогает сообщить об адресе. Проверьте обход, запреты, каноническую версию и причину исключения: сама запись не обязывает поисковик индексировать страницу.
Гарантирует ли переобход попадание в индекс?
Нет. После отправки нужно дождаться обработки и снова проверить фактическое состояние. Исправление препятствий и решение поисковой системы происходят в разных процессах.
Начните с реестра важных страниц и заполните его по фактам. Если причины исключения противоречат технической проверке, обсудите конкретные URL со специалистом.
Автор

Сергей Шаповалов
Основатель AI SEO-агентства AG Branding, специалист по продвижению
Следующий шаг
Собираем спрос и превращаем его в план роста страниц.


