Файл robots.txt влияет на то, какие URL поисковый робот сможет обходить, поэтому ошибки в нём иногда мешают индексации сайта. При этом robots.txt не всегда исключает страницу из поисковой выдачи: запрет обхода, директива noindex, canonical и настройки Sitemap решают разные задачи. Разбираем, как проверить robots.txt и не закрыть важные разделы сайта.

Как индексация сайта связана с robots.txt

Robots.txt - текстовый файл в корне домена, который задаёт правила для поисковых роботов. Обычно он доступен по адресу вида ` В файле указывают, каким роботам разрешён или запрещён обход отдельных путей, а также где находится XML-карта сайта.

По данным Page-speed.ru, основные директивы robots.txt - `User-agent`, `Disallow`, `Allow` и `Sitemap`. Первая определяет, к каким роботам относятся правила, `Disallow` ограничивает обход указанного пути, `Allow` задаёт исключение из более общего запрета, а `Sitemap` передаёт поисковой системе полный адрес XML-карты.

Связь с индексацией здесь косвенная. Робот может не зайти на URL из-за запрета в robots.txt, но сам адрес при определённых условиях всё равно может остаться известным поисковой системе. Rush Agency отдельно подчёркивает: Google использует `Disallow` прежде всего как запрет обхода, а для исключения страницы из индекса рекомендует применять `noindex` или заголовок `X-Robots-Tag`.

Какие директивы robots.txt закрывают страницы

Правило `User-agent: *` применяется ко всем роботам, если для конкретного робота не задан отдельный блок. После него размещают пути, которые нельзя обходить. Например:

```text User-agent: * Disallow: /admin/ Disallow: /cgi-bin/ Sitemap: ```

Такой вариант закрывает для роботов служебные каталоги `/admin/` и `/cgi-bin/`, но оставляет остальные разделы открытыми. Пример с этими путями приводит Page-speed.ru.

Для интернет-магазина часто ограничивают корзину, оформление заказа, личный кабинет, авторизацию и внутренний поиск. В материалах AdvantShop среди таких путей приведены `/cart`, `/checkout`, `/login`, `/registration`, `/myaccount` и `/search`, а также URL с параметрами фильтрации.

Самое рискованное правило - `Disallow: /`. Оно закрывает для соответствующего робота обход всех путей сайта. Если такая директива появилась на рабочем домене случайно, под запретом могут оказаться главная страница, каталог, карточки товаров, статьи и другие важные URL.

Когда используется Allow

`Allow` нужен, когда общий запрет должен иметь исключение. Например, правило `Disallow: /blog/` закрывает весь раздел блога, а `Allow: /blog/page/` открывает вложенный путь с пагинацией. Такой сценарий приведён в материале AskUsers.

Исключения требуют аккуратной проверки. Ошибка в слеше, названии каталога или параметрах URL способна изменить результат правила. AdvantShop также указывает, что регистр в пути может иметь значение: `/registration.aspx` и `/Registration.aspx` рассматриваются как разные адреса.

Из-за этого проверять нужно не только сам текст файла, но и конкретные URL, которые должны оставаться доступными для обхода. Особенно это важно после миграции сайта, смены CMS, изменения структуры каталогов или переноса проекта на новый домен.

Как проверить robots.txt без блокировки важных разделов

Проверка robots.txt начинается с вопроса: какие страницы бизнесу нужно показывать в поиске. Составьте список ключевых URL - главная, категории, карточки товаров, услуги, статьи и посадочные страницы - и сопоставьте его с правилами `Disallow`.

Затем проверьте файл по такому порядку:

Откройте robots.txt в корне нужного домена и убедитесь, что это файл рабочего сайта, а не тестовой версии. Найдите блоки `User-agent` и определите, к каким роботам относится каждое правило. Проверьте все строки `Disallow`, включая запреты для каталогов и URL с параметрами. Отдельно изучите `Allow`, если он используется как исключение из общего запрета. Сверьте адрес в `Sitemap` с фактическим расположением XML-карты. Проверьте доступность ключевых страниц в инструментах вебмастеров поисковых систем.

Одной проверки синтаксиса недостаточно. Разные поисковые системы могут по-разному интерпретировать отдельные директивы и последствия запрета, поэтому результат нужно оценивать на конкретных важных URL.

Как отличить robots.txt от noindex и других проблем

Robots.txt управляет доступом робота к URL, а не универсальным удалением страницы из индекса. Meta-тег `robots` задаёт правила для конкретной HTML-страницы. Для HTML и других типов файлов, включая PDF и изображения, можно использовать HTTP-заголовок `X-Robots-Tag`, сообщает Page-speed.ru.

Связка `noindex` и robots.txt требует особого внимания. Если одновременно закрыть URL в robots.txt, робот может не попасть на страницу и не прочитать размещённую там директиву `noindex`. Поэтому Rush Agency рекомендует для исключения страницы из индекса снять запрет обхода и использовать `noindex` в meta robots либо `X-Robots-Tag`.

Canonical решает другую задачу: он помогает указать предпочтительный адрес среди похожих страниц, но не заменяет проверку robots.txt и noindex. Sitemap также не открывает страницы автоматически и не отменяет запреты: карта сообщает поисковой системе, какие URL сайт считает важными, а правила robots.txt определяют доступ робота к путям.

Что это значит для бизнеса

Ошибки в robots.txt могут затронуть не только SEO-метрики, но и видимость товарных и коммерческих страниц. Перед публикацией изменений проверьте, что под запрет не попали URL, которые приводят клиентов: категории, карточки товаров, страницы услуг и статьи. Для служебных разделов используйте точные пути, а не широкое правило, закрывающее весь домен.

Отдельно зафиксируйте, какие страницы должны быть закрыты от обхода, а какие нужно исключить именно из индекса. В первом случае проверяют robots.txt, во втором - доступность страницы для робота и корректность `noindex` или `X-Robots-Tag`. После изменений полезно повторно проверить ключевые URL в панелях вебмастеров и убедиться, что Sitemap указывает на актуальную карту.

Итог

Robots.txt помогает управлять обходом сайта, но не заменяет инструменты управления индексацией. Безопасная настройка начинается с точных правил для служебных разделов, проверки исключений `Allow`, контроля Sitemap и раздельной диагностики robots.txt, noindex и canonical.