Индексация: почему страницы выпадают
Страницы выпадают из индекса Google по трём группам причин: технические ограничения (robots.txt, canonical, статус-коды), проблемы качества (тонкий контент, дубли) и сбои рендеринга. Прежде чем править что-либо, соберите исходные данные: без них любое действие превращается в угадывание. Начните с масштаба: сколько URL в sitemap, сколько из них реально в индексе, какая доля страниц приносит трафик.
SEO · Блог
Все статьи
Коротко
- Разбираем, почему страницы выпадают из индекса Google: технические ошибки, оценка качества и сбои рендеринга. Как найти причину и вернуть URL в индекс.
Индексация: почему страницы выпадают: с чего начать
Что собрать до первых правок
Заведите таблицу с четырьмя колонками: URL, текущий статус индексации, источник данных, дата проверки. Источники: отчёт «Страницы» в Google Search Console, инспектор URL, лог-файлы сервера, данные из sitemap.xml. Не смешивайте статусы: «Проиндексировано, но не выбрано каноническим» и «Исключено», разные диагнозы.
Отдельно посчитайте долю полезных страниц. Если в индексе 10 000 URL, а трафик приносят 400, остальные 9 600, кандидаты на выпадение. Это не приговор, а карта приоритетов: чистить параметры и дубли дешевле, чем переписывать контент.
Какие данные покажут масштаб проблемы
- Общее число URL в индексе (отчёт «Покрытие» / «Страницы»).
- Число исключённых страниц по причинам: «Просканировано, но не проиндексировано», «Обнаружено, но не проиндексировано», «Мягкая 404», «Альтернативная страница с тегом canonical».
- Динамика за 90 дней: выпадение одномоментное или постепенное. Резкий обвал чаще связан с техническим релизом, плавный, с накоплением дублей.
- Доля страниц с трафиком из отчёта «Эффективность».
Эти четыре метрики дают отправную точку. Дальше разбираем механику: почему Google вообще исключает страницы.
Как это устроено: разбор механики
Google не публикует полный список факторов ранжирования и индексации, и никто не знает, как применяются все факторы алгоритма и какой у них вес. Это не мешает понять общую логику: краулер обходит URL, рендерит страницу, оценивает качество и решает, стоит ли держать её в индексе. Каждый этап может стать точкой отказа.
Обход и рендеринг
Краулер получает URL из sitemap, внутренних ссылок и внешних источников. Если сервер отдаёт 5xx или таймаут, страница выпадает из очереди. Если контент подгружается JavaScript и рендеринг ломается, Google видит пустую страницу. Гидратация и клиентский рендеринг: частая причина, по которой страница технически доступна, но в индексе отсутствует. Разбор этой механики есть в материале о гидратации в SEO.
Оценка качества
После рендеринга Google решает, полезна ли страница. Тонкий контент, дубли, страницы с параметрами, страницы-сироты без внутренних ссылок, всё это кандидаты на исключение. Алгоритм не раскрывает пороги, поэтому на практике ориентируются на косвенные признаки: доля страниц без трафика, наличие дублей, количество контента на странице.
Обновление индекса
Индекс не статичен: страницы входят и выходят постоянно. Выпадение может быть временным следствием переобхода. Отчёт об индексации в Search Console иногда запаздывает, и это создаёт ложное впечатление обвала. В марте 2025 года Google исправил отчёт об индексации после трёхнедельной задержки: цифры в интерфейсе отставали от реального состояния. Прежде чем паниковать, сверьте данные из нескольких источников, включая инспектор URL.
Что это значит на практике
Механика даёт три вывода. Первый: техническая доступность не равна индексации. Второй: качество оценивается по совокупности сигналов, а не по одному фактору. Третий: отчёты Search Console могут отставать, поэтому диагноз ставится по совокупности данных. Ограничение метода: мы не можем увидеть внутренние решения алгоритма, только их следствия в отчётах.
Шаги проверки на своём сайте
Проверка идёт от общего к частному: сначала статус страницы, затем согласованность технических файлов, затем чистота индекса. Каждый шаг даёт проверяемый результат и указывает, где его смотреть.
Шаг 1. Статус страницы в Search Console
Откройте раздел «Индексирование» → «Страницы». Найдите проблемный URL в списке исключённых. Причина указана прямо в отчёте: «Просканировано, но не проиндексировано», «Обнаружено, но не проиндексировано», «Мягкая 404», «Заблокировано robots.txt». Зафиксируйте формулировку дословно: она определяет следующий шаг.
Для точечной проверки используйте инспектор URL: он показывает, когда страница последний раз обходилась, какой статус-код вернул сервер и какой canonical Google выбрал. Это самый надёжный источник по конкретному URL.
Шаг 2. Сверка sitemap, robots.txt, canonical и hreflang
Четыре файла и разметки должны говорить одно и то же. Типичные расхождения:
| Что проверить | Где смотреть | Признак ошибки |
|---|---|---|
| URL в sitemap | sitemap.xml | Страница в sitemap, но закрыта в robots.txt |
| Директивы robots.txt | robots.txt | Заблокирован раздел, который должен индексироваться |
| Canonical | HTML страницы | Canonical указывает на несуществующий или редиректящий URL |
| Hreflang | HTML или sitemap | Языковые версии ссылаются друг на друга с ошибкой |
Если canonical ведёт на страницу, которая сама исключена из индекса, Google может выбросить обе. Если hreflang указывает на 404, языковые кластеры распадаются. Проверяйте согласованность, а не наличие тегов по отдельности.
Шаг 3. Доля полезных страниц и чистка дублей
Посчитайте: сколько URL в индексе и сколько из них получили хотя бы один клик за 90 дней. Разница: балласт. Дальше ищите источники дублей: параметры сортировки, UTM-метки, пагинация, версии для печати, зеркала с www и без. Каждый такой URL нужно либо закрыть в robots.txt, либо склеить через canonical, либо отдать 301-редирект.
Проверяемый результат шага: список URL с параметрами, которые попали в индекс, и решение по каждому. Ограничение: чистка дублей не гарантирует рост, она лишь убирает шум из обхода.
Типичные ошибки и как их не допустить
Ошибки в работе с индексацией почти всегда связаны с поспешными действиями: правят симптом, не установив причину. Ниже: четыре сценария с проверкой, что причина именно эта.
Ошибка 1. Закрыть всё в robots.txt «на всякий случай»
Действие: добавляют Disallow: / для разделов, которые кажутся мусором. Результат: Google перестаёт обходить страницы, но не удаляет их из индекса мгновенно. Старые URL остаются в выдаче без обновления контента. Проверка: в инспекторе URL статус «Заблокировано robots.txt», но страница всё ещё в индексе. Правильный порядок: сначала 404 или 301, потом закрытие.
Ошибка 2. Массовая переиндексация через «Запросить индексирование»
Действие: отправляют сотни URL вручную. Результат: квота исчерпывается, приоритетные страницы ждут в общей очереди. Проверка: в инспекторе URL дата последнего обхода не меняется неделями. Ручной запрос имеет смысл для 5-10 ключевых URL, остальное должно подтягиваться через sitemap и внутренние ссылки.
Ошибка 3. Игнорирование рендеринга JavaScript
Действие: проверяют страницу в браузере, видят контент, считают, что всё в порядке. Результат: Googlebot получает пустой HTML, страница выпадает. Проверка: режим «Просмотр как Googlebot» в инспекторе URL или отключение JavaScript в браузере. Если контент исчезает, проблема в рендеринге, а не в индексации.
Ошибка 4. Правки без фиксации исходных метрик
Действие: меняют canonical, robots.txt и контент одновременно. Результат: через месяц непонятно, что сработало, а что навредило. Проверка: если нет таблицы «до/после» с датами, эффект не измерить. Одна правка: один замер.
Ошибка 5. Вера в «сбой Google»
Действие: объясняют выпадение алгоритмическим сбоем и ждут. Результат: реальная техническая причина остаётся. Проверка: если инспектор URL показывает 5xx, мягкую 404 или noindex, сбой ни при чём. Отчёты действительно иногда запаздывают, но это проверяется сверкой с инспектором, а не ожиданием.
Как вернуть выпавшие страницы в индекс
Когда причина найдена и исправлена, остаётся проверить, что страница вернётся в индекс. Проверьте адрес в инструменте проверки URL: статус индексации, канонический адрес, результат рендеринга. Убедитесь, что страница открывается, отдаёт нужный ответ сервера и не закрыта от индексации.
Затем усильте сигнал важности: добавьте внутренние ссылки с тематически близких страниц, включите адрес в актуальную карту сайта. Если страница была исключена как малополезная, улучшите содержание, а не просто запросите переиндексацию.
Запрос индексации в инструменте полезен для небольшого числа важных страниц. Для сотен адресов он не масштабируется, поэтому для больших групп работайте с причиной: исправляйте шаблон, настройку, структуру. После исправлений поисковая система пересканирует страницы сама.
Наблюдайте за динамикой в отчёте «Страницы»: число проиндексированных адресов должно расти, число исключённых по этой причине снижаться. Результат появляется не сразу, подождите хотя бы несколько недель, прежде чем делать выводы.
Если страницы выпадают снова, ищите повторяющуюся причину: нестабильный сервер, меняющийся канонический адрес, перегруженный шаблон. Разовое исправление не защищает от повторения, поэтому добавьте проверку в процесс выкладки.
Что сделать в проекте на этой неделе
Переведите разбор в рабочий порядок: проверка рендеринга, сводная таблица, назначенные исполнители. Ниже: последовательность на пять рабочих дней.
День 1-2. Проверка рендеринга ключевых шаблонов
Возьмите 5-10 шаблонов: главная, категория, карточка товара или услуги, статья блога, страница пагинации. Для каждого откройте инспектор URL и режим «Просмотр как Googlebot». Зафиксируйте: виден ли основной контент, есть ли в HTML заголовок H1, текстовый блок, внутренние ссылки. Если контент появляется только после JavaScript, шаблон в зоне риска.
День 3. Сводная таблица
Соберите результаты в таблицу с шестью колонками:
| URL | Статус в индексе | Причина | Приоритет | Ответственный | Срок |
|---|---|---|---|---|---|
| /example/ | Исключено | Мягкая 404 | Высокий | SEO-специалист | 3 дня |
| /catalog/?sort=price | Проиндексировано | Дубль параметра | Средний | Разработчик | 5 дней |
Приоритет определяется трафиком и коммерческой ценностью URL. Страница с нулевым трафиком и без ссылок уходит в конец очереди.
День 4-5. Правки и замер
Для каждого пункта укажите способ измерения эффекта: повторная проверка в инспекторе URL через 7 и 14 дней, динамика в отчёте «Страницы», изменение числа проиндексированных URL. Без контрольной точки через две недели правка считается незавершённой.
Что делать, если ресурсов мало
Начните с трёх действий: проверьте рендеринг главного шаблона, закройте параметры в robots.txt с одновременной очисткой индекса через инспектор, зафиксируйте исходные метрики. Этого достаточно, чтобы увидеть первые сдвиги. Ограничение: без регулярной проверки через 14 и 30 дней эффект не подтвердить.
Если нужен внешний взгляд на техническую часть и приоритизацию, посмотрите, почему клиенты выбирают AG Branding для разбора индексации и технического SEO.
:::faq Почему страница исчезла из индекса, хотя я ничего не менял? Причин три: Google переобошёл страницу и переоценил качество, изменился robots.txt или canonical на уровне шаблона, либо отчёт Search Console запаздывает. Проверьте статус в инспекторе URL: он показывает актуальное состояние по конкретному адресу.
Сколько времени занимает возврат страницы в индекс? Срок зависит от причины. После исправления технической ошибки повторный обход обычно происходит в течение нескольких дней, но точных гарантий нет. Контролируйте процесс через инспектор URL и отчёт «Страницы» с интервалом в 7 и 14 дней.
Может ли закрытие в robots.txt удалить страницу из выдачи? Нет. Директива Disallow запрещает обход, но не удаляет URL из индекса. Чтобы страница исчезла, нужен 404 или 301-редирект, а закрытие в robots.txt применяют как вспомогательную меру.
Что делать, если в индексе тысячи страниц с параметрами? Сначала определите источник параметров: сортировка, фильтры, UTM-метки. Затем закройте их в robots.txt и настройте canonical на чистый URL. Массовое удаление через инспектор URL неэффективно из-за квоты.
Как отличить выпадение из индекса от потери позиций? Выпадение видно в отчёте «Страницы» и инспекторе URL: статус меняется на «Исключено». Потеря позиций отражается в отчёте «Эффективность» при сохранении статуса «Проиндексировано». Это разные диагнозы и разные действия. :::
Начните с одного действия сегодня: откройте инспектор URL для страницы, которая выпала, и запишите её статус и дату последнего обхода. Это первая строка вашей таблицы и точка отсчёта, от которой можно двигаться дальше.
Автор

Сергей Шаповалов
Основатель AI SEO-агентства AG Branding, специалист по продвижению
Следующий шаг
Собираем спрос и превращаем его в план роста страниц.


