Файл robots.txt для WordPress задаёт правила обхода сайта поисковыми роботами. Он помогает закрыть от сканирования служебные разделы, но не заменяет защиту паролем и не управляет индексацией сам по себе. Разбираем, где формируется файл, как выполнить настройку robots.txt WordPress, проверить результат и быстро отменить ошибочное правило.

Robots.txt доступен по адресу `/robots.txt` в корне домена. Физический файл обычно находится там же, где размещены основные файлы WordPress, включая каталог `wp-admin`. Такой вариант можно создать вручную и загрузить на сервер через SFTP или файловый менеджер хостинга, пишет WPCourses.

У WordPress может не быть отдельного файла на диске. По данным IONOS Digital Guide, CMS способна отдавать виртуальный robots.txt с базовыми правилами, например с запретом обхода `/wp-admin/` и `/wp-includes/`. В этом случае браузер и поисковый робот получают содержимое по адресу `/robots.txt`, хотя физического файла в каталоге сайта нет.

Различие между физической и виртуальной версией влияет на редактирование. Если файл создан плагином или вручную, изменения нужно искать на сервере. Если его формирует WordPress или расширение, правила могут задаваться в настройках CMS и меняться после обновления или отключения плагина.

Как понять, какой robots.txt фактически работает

Начните не с панели WordPress, а с проверки адреса `вашдомен.ru/robots.txt`. Откройте его в браузере и сохраните текущую версию: это позволит сравнить результат после редактирования и вернуть исходные правила при ошибке.

Затем проверьте, есть ли физический файл в корневом каталоге сайта. Если он найден, выясните, кто его создал: администратор, SEO-плагин или хостинг. Одновременно посмотрите настройки установленных расширений. Несколько генераторов могут по-разному менять содержимое, а редактирование в одном интерфейсе не всегда означает, что именно этот вариант отдаётся посетителям.

Отдельное внимание нужно уделить плагинам, которые формируют robots.txt на лету. WPCourses приводит Clearfy Pro как пример такого сценария: настройки находятся в админке, но физического файла на сервере может не появиться. После отключения расширения виртуальная версия способна исчезнуть, а ранее созданный физический файл - сохраниться. Поэтому после любого изменения или отката снова открывайте публичный адрес `/robots.txt`.

Ручной способ подходит, если у команды есть доступ к файлам сайта и понятна структура URL. Создайте файл с точным именем `robots.txt`, внесите правила и загрузите его в корневой каталог домена. Перед заменой сохраните резервную копию прежней версии.

Основные директивы robots.txt выполняют разные задачи:

  • `User-agent` выбирает робота, для которого действует правило;
  • `Disallow` запрещает обход указанного пути;
  • `Allow` задаёт исключение из запрета;
  • `Sitemap` указывает адрес XML-карты сайта.

Для базовой конфигурации WordPress источники приводят правило с `User-agent: *`, запретом обхода `/wp-admin/`, исключением для `/wp-admin/admin-ajax.php` и адресом XML-карты сайта. Это только отправная точка, а не универсальный шаблон для любого проекта. Интернет-магазину, блогу и сайту услуг могут требоваться разные решения для фильтров, архивов, параметров URL и пагинации.

Не закрывайте раздел только потому, что он выглядит техническим. Слишком широкое `Disallow` может помешать роботам обрабатывать важные страницы, изображения, CSS или JavaScript. Перед добавлением запрета проверьте, не используется ли URL в пользовательском сценарии и не нужен ли его контент для поисковой выдачи.

Как изменить robots.txt в WordPress через SEO-плагин

Для владельца сайта с доступом только к админке удобнее использовать редактор SEO-плагина. По данным IONOS, Yoast SEO позволяет создать или изменить robots.txt через раздел инструментов и редактор файлов. В описании WPCourses уточняется, что после создания через Yoast файл рассматривается как физический: его можно увидеть и изменить по FTP.

Общий порядок выглядит так:

Откройте инструменты установленного SEO-плагина и найдите редактор файлов или настройки robots.txt. Перед изменением скопируйте текущие правила в отдельный файл. Добавьте только те директивы, назначение которых понятно и связано с реальными URL сайта. Сохраните изменения и откройте публичный адрес `/robots.txt` в новой вкладке. Проверьте, что в ответе отображается именно обновлённая версия.

Названия разделов и доступные функции могут отличаться в зависимости от плагина и его версии. Если редактор не показывает файл, это не доказывает, что robots.txt отсутствует: его может формировать WordPress или другое расширение.

Проверка robots.txt после изменений

Проверка robots.txt должна включать не только просмотр текста, но и тест нескольких важных URL. Составьте короткий список страниц, которые должны обходиться роботами: главная, карточка товара или услуги, запись блога, изображения и XML-карта сайта. Отдельно проверьте URL, которые действительно планировалось закрыть.

IONOS рекомендует проверять файл по адресу `/robots.txt` и использовать инструменты Google Search Console или Яндекс Вебмастера для проверки отдельных разрешённых и запрещённых адресов. Доступность конкретных функций в интерфейсе может зависеть от текущей версии сервиса, поэтому публичное содержимое файла остаётся обязательным этапом проверки.

Проверьте также типичные ошибки:

  • нужный путь случайно закрыт более общим правилом;
  • в директиве есть лишний символ или неверный слеш;
  • ссылка на Sitemap ведёт не на актуальную XML-карту;
  • правило относится не к тому роботу, для которого его планировали;
  • после сохранения по адресу `/robots.txt` показывается старая версия.

Robots.txt регулирует обход URL, но не предназначен для сокрытия конфиденциальных данных. Как отмечает SeobotAI, закрытые страницы нужно защищать авторизацией, а для управления индексацией использовать `noindex` или соответствующие HTTP-заголовки. Запрет обхода не делает известный URL недоступным для пользователей и не гарантирует, что он никогда не появится в поисковых системах.

Как безопасно отменить ошибочную директиву

Если после изменения пропали из обхода важные страницы, сначала верните резервную копию или удалите добавленное правило. Когда robots.txt формирует плагин, отменяйте настройку там же, а не создавайте параллельный физический файл без проверки результата.

После отката снова откройте `/robots.txt`, сравните содержимое с сохранённой версией и проверьте несколько URL. Если файл создавался плагином, не отключайте расширение до такой проверки: физический вариант может сохраниться, а виртуальный - исчезнуть или измениться. Для крупных изменений полезно зафиксировать дату, прежнюю версию и список проверенных страниц.

Что это значит для бизнеса

Для небольшого сайта достаточно одной понятной версии robots.txt и регулярной проверки после обновлений WordPress, SEO-плагинов и структуры URL. Интернет-магазинам и проектам с фильтрами нужно отдельно контролировать параметры, каталоги и карточки товаров, чтобы запрет не охватил страницы, которые приводят органический трафик. Перед публикацией правила стоит согласовать с картой сайта и реальной логикой разделов, а не копировать универсальный шаблон.

Главный критерий корректной настройки - не количество директив, а совпадение правил с задачами сайта. Если команда не может объяснить, зачем закрыт конкретный путь, его лучше не добавлять до проверки.

При сомнениях в конфигурации robots.txt можно начать с экспресс-аудита: он покажет, какой вариант файла фактически отдаётся и какие важные URL попали под запрет.