Рекомендуемое содержимое файла robots.txt для WordPress. Функция do_robots().

  2.1.0     wp-includes / functions.php  /  Кодекс WordPress

Относительно того, что должно быть внутри файла robots.txt до сих пор возникает куча споров. Вообще, на мой взгляд, этот файл должен содержать две обязательные вещи:

  • путь к карте сайта: 
    Sitemap: https://misha.agency/sitemap.xml

    Некоторые плагины вставляют эту директиву автоматически.

  • директиву host для Яндекса (нужна, если у вашего сайта есть зеркала, для того, чтобы показать главное зеркало): 
    Host: truemisha.ru

Скрывать в нём все функциональные PHP-файлы (как делают некоторые вебмастера) я не вижу смысла. А уж страницы сайта тем более. Я проводил эксперимент со скрытием страниц через robots.txt — они всё равно попали в индекс, но только без заголовка и без сниппета.

Для скрытия от индексации страниц сайта используйте метатег:

<meta name="robots" content="noindex, follow" />

Функция do_robots()

Выводит несколько директив для файла robots.txt, рекомендуемые для WordPress.

do_robots()

Параметров не имеет, зато имеет 1 хук и 1 фильтр.

Рассмотрим по порядку, как работает функция:

  1. В первую очередь функция устанавливает Content-Type документа на text/plain (с кодировкой UTF-8).
  2. Затем запускается экшен do_robotstxt (без параметров).
  3. Третьим шагом идёт проверка, отмечена ли галочка «Попросить поисковые системы не индексировать сайт» в настройках чтения:
    Нужно ли скрыть сайт от поисковиков в robots.txt
  4. Если отмечена, содержимое robots.txt будет: 
    User-agent: *
Disallow: /

    Если не отмечена:

    User-agent: *
Disallow: /wp-admin/
  5. Непосредственно перед выводом срабатывает фильтр robots_txt (WordPress 3.0+) с двумя параметрами — $output (то, что подготовлено для вывода в robots.txt) и $public (отмечена ли галочка в пункте 3).

Готовый robots.txt

К результату функции do_robots() добавим еще то, о чем я говорил в начале поста и получим вот такой robots.txt для WordPress:

User-agent: *
Disallow: /wp-admin/
 
User-agent: Yandex
Disallow: /wp-admin/
Host: truemisha.ru
 
Sitemap: https://misha.agency/sitemap.xml

Создать его вы можете при помощи любого текстового редактора. Сохраните его там же, где находятся директории wp-admin и wp-content.

Кодекс WordPress: Другое: add_meta_box(), add_theme_support(), bloginfo(), body_class(), bool_from_yn(), cache_javascript_headers(), do_robots(), get_bloginfo(), get_body_class(), get_current_screen(), get_num_queries(), get_privacy_policy_url(), get_the_privacy_policy_link(), nocache_headers(), remove_meta_box(), remove_query_arg(), status_header(), the_privacy_policy_link(), wp_cache_get(), wp_cache_set(), wp_die(), wp_editor(), WP_Error, wp_get_archives(), wp_get_document_title(), wp_hash(), wp_list_pluck(), wp_mail(), wp_mkdir_p(), wp_notify_moderator(), wp_notify_postauthor(), wp_parse_args(), wp_redirect(), wp_removable_query_args(), wp_robots(), wp_salt(), wp_text_diff(), wp_upload_bits()

Миша

Впервые познакомился с WordPress в 2009 году. Организатор и спикер на конференциях WordCamp. Преподаватель в школе Нетология.

Пишите, если нужна помощь с сайтом или разработка с нуля.

Комментарии — 14

Чтобы оставить комментарий, пожалуйста, зарегистрируйтесь или войдите.

Миша Рудрастых и WordPress

Полезности из мира WordPress и жизни студии.

Мой телеграм-канал