Как закрыть сайт от индексации: robots.txt и noindex
Закрыть тестовую копию сайта, убрать служебную страницу из поиска и защитить документ с клиентскими данными нужно разными способами. Если выбрать один запрет для всех случаев, можно оставить конфиденциальный файл доступным или случайно исключить рабочие страницы.
SEO · Блог
Все статьи
Коротко
- Когда нужны robots.txt, noindex, X-Robots-Tag и авторизация. Как выбрать запрет, проверить страницу и не закрыть рабочий сайт по ошибке. Пошагово.
Сначала определите нужный результат. Должен ли посетитель открывать страницу? Нужно ли ограничить обход роботом или убрать материал из поиска? Ответы помогут выбрать между авторизацией, robots.txt и noindex, а затем проверить действие на конкретном URL.
Сначала определите, что именно нужно скрыть
Для непубличного стенда важен контроль доступа: кто может видеть сайт и его документы. Для страницы благодарности после заявки может быть достаточно исключения из поиска при сохранении доступа посетителю. Для удалённого материала потребуется отдельное решение об адресе и содержимом.
Не считайте все служебные URL одинаковыми. Фильтр каталога может помогать выбирать товары, а другой вариант того же фильтра создавать бессодержательный дубль. Прежде чем закрывать целую группу, проверьте задачи посетителей и действующие посадочные страницы.
Составьте список адресов и укажите причину ограничения. Формулировка «скрыть всё лишнее» слишком широка для безопасной работы. Исполнитель должен понимать, какой результат нужен и какие рабочие URL нельзя затронуть.
Если в документе находятся персональные данные, пароли или внутренние сведения, поисковый запрет не решает задачу защиты. Публичная ссылка остаётся доступной человеку независимо от того, показывается ли она в поиске.
Что делает robots.txt и чего он не гарантирует
robots.txt задаёт правила обхода для роботов, которые их соблюдают. Файл размещается в корне сайта. В правилах указывают робота и пути, к которым относится ограничение.
Например, такое правило предназначено для ограничения обхода каталога стенда:
``text User-agent: * Disallow: /staging/ ``
Это условный технический пример. Перед применением проверьте, что путь действительно соответствует стенду, а не рабочему разделу. Правило с корневым путём затронет другой объём сайта, поэтому нельзя копировать конфигурацию без проверки.
Запрет обхода не равен гарантированному исчезновению адреса из индекса Google. Поисковик может знать URL по ссылкам, не получая его содержимое. Ограничения robots.txt описаны в официальной документации Google.
Не используйте этот файл как список секретных адресов. Он сам публичен и не мешает человеку открыть перечисленный путь. Для защиты содержимого нужен механизм доступа, а не просьба поисковому роботу не заходить на страницу.
Когда использовать noindex и X-Robots-Tag
Если страница должна оставаться доступной, но не предназначена для поиска, рассмотрите noindex. Для HTML-страницы его обычно задают через метатег robots в head. В CMS может быть отдельная настройка индексирования: после её изменения нужно проверить фактический код страницы.
Другой способ передачи указания находится в HTTP-ответе:
``http X-Robots-Tag: noindex ``
HTTP-заголовок подходит и для документов, у которых нет HTML-раздела head, например PDF. Он должен приходить в ответ на запрос самого файла. Добавление метатега на страницу со ссылкой не задаёт правило индексирования отдельному PDF.
Чтобы Google обработал noindex, робот должен получить страницу и прочитать указание. Если доступ одновременно запрещён в robots.txt, это может помешать чтению директивы. Условия применения объясняет документация Google о блокировке индексирования.
Для Яндекса проверьте соответствующие способы и поведение по его официальной справке. Не переносите автоматически вывод об одном поисковике на другой: результат проверяют в обеих системах.
Как закрыть тестовый сайт и защитить данные
Для стенда с непубличным содержимым начните с авторизации или другого ограничения доступа на уровне сервера. Проверьте отдельно HTML-страницы, изображения и документы. Закрытая главная страница не доказывает, что файлы по прямым ссылкам тоже защищены.
Условный пример: разработчик поставил noindex на копию магазина, но оставил открытыми выгрузки заказов. Даже если стенд не показывается в поиске, задача защиты данных не выполнена. Нужно проверить права доступа к самим выгрузкам.
Перед переносом изменений на основной домен сравните настройки сред. В шаблонах, конфигурации сервера и CMS могут сохраниться ограничения, нужные только для разработки. Контрпример опасного выпуска: скопировать настройки стенда вместе с запретом и обнаружить проблему после исключения рабочих страниц.
Сохраните контрольный список публичных URL. После развёртывания проверьте их ответ, основной текст и отсутствие случайного noindex. Если различия между средами неочевидны, подключите разработчика до массового изменения.
Как убрать из поиска уже опубликованную страницу
Сначала решите, что должно остаться для посетителя. Если материал полезен по прямой ссылке, но не предназначен для поиска, можно рассматривать noindex. Если страница действительно удалена, сервер должен корректно сообщать об этом, а ссылки на сайте нужно пересмотреть.
Перенаправление тоже требует понятного соответствия. Старую инструкцию можно направить на её полноценную замену, но массовый перенос разных удалённых материалов на главную не объясняет, куда исчез нужный ответ.
Инструменты временного скрытия и постоянные настройки страницы решают разные задачи. Не принимайте успешную отправку запроса за доказательство, что проблема устранена навсегда. После обработки проверьте реальное состояние и условия, которые должны поддерживать выбранный результат.
До изменения адреса сохраните текущие сведения: URL, причину, статус в поиске и план дальнейшей проверки. Это поможет отличить ожидаемое исключение от ошибки, которая затронула другие страницы.
Как проверить запрет и безопасно вернуть индексацию
Проверяйте правило на самом адресе. Для robots.txt смотрите подходящую группу и путь. Для noindex проверяйте HTML либо HTTP-заголовок. Затем изучите состояние URL в инструментах поисковой системы.
| Задача | Подходящий предмет проверки | Что не является доказательством |
|---|---|---|
| Ограничить обход раздела | Действующее правило robots.txt для этого пути | Отсутствие ссылки в меню |
| Исключить доступный документ из поиска | Директива noindex на документе и её обработка | Изменение заголовка статьи |
| Защитить непубличный файл | Отказ доступа без нужных прав | Запись пути в robots.txt |
| Вернуть рабочую страницу в поиск | Снятие нужного ограничения и новый статус URL | Только удаление строки из файла |
Чтобы вернуть индексирование, снимите конкретное ограничение, проверьте доступность и связанные настройки. Не удаляйте все правила сразу: часть из них может быть нужна другим разделам.
Большие изменения лучше включить в SEO-аудит. Если вопрос касается общей структуры и рабочих страниц, свяжите решение с планом SEO-продвижения.
Частые вопросы
Удаляет ли Disallow страницу из поиска?
Он ограничивает обход. Его нельзя считать универсальным способом удаления известного адреса из индекса; выбор зависит от задачи и поисковой системы.
Можно ли закрыть PDF с помощью noindex?
Да, указание можно передать HTTP-заголовком X-Robots-Tag в ответе на запрос PDF. Проверьте именно ответ файла.
Защищает ли robots.txt конфиденциальную информацию?
Нет. Для защиты нужен контроль доступа. Поисковый робот и человек с прямой ссылкой получают доступ разными способами.
Начните с одного адреса и сформулируйте нужный результат. Если ограничение должно затронуть весь сайт или шаблон, обсудите изменение до выпуска.
Автор

Сергей Шаповалов
Основатель AI SEO-агентства AG Branding, специалист по продвижению
Следующий шаг
Собираем спрос и превращаем его в план роста страниц.


