Как правильно составить файл robots.txt для WordPress

Как правильно составить файл robots.txt для WordPressВсем привет! Много лет назад, в процессе создания своего первого сайта, я задался вопросом: «Что из себя представляет файл robots.txt и для чего он нужен?». В интернете я находил море информации на эту тему, но было тяжело понять и усвоить материал, ведь я был новичком. Сейчас же, получив некоторый опыт, этот процесс не вызывает у меня никаких проблем.

Сегодня я хочу помочь новичкам, каким был и я, разобраться и покажу на собственном примере, как правильно составить файл robots.txt для WordPress.
Пример файла robots.txt будет показан именно с расчётом на движок WordPress. Если вы используете другую CMS, например Joomla, мой файл вам не подойдёт.

Для чего нужен файл robots.txt?

Ответ на этот вопрос прост. Главная задача файла роботс — закрыть ненужные страницы от любопытных глаз поисковых систем. Например, страница входа в админку и системные папки вряд ли принесут пользу, находясь в индексе поисковиков. Скорее, наоборот. Так же следует закрыть от индексации дубли и не несущие практической пользы страницы. Помимо страниц, запрещённых к индексации, в файле robots.txt указывается главное зеркало и путь к карте сайта — файлу sitemap.xml.

Составление файла robots.txt — одна из частей процесса поисковой оптимизации сайта.

Как правильно составить файл robots.txt

Чтобы правильно составить файл robots.txt не только для WordPress, но и для любых других платформ, следует помнить несколько правил. Во-первых, следует закрывать доступ к системным папкам и файлам движка. В WP это папки /cgi-bin, /wp-admin, /wp-includes, а также папки с плагинами и файлами темы. Во-вторых, следует закрыть страницы-дубли, то есть страницы с идентичным содержанием. Например, страницы тегов. Содержание некоторых тегов на моём блоге полностью совпадает с содержанием одной из категорий, что никак не может послужить плюсом для продвижения в поисковых системах. В-третьих, если у вас стоит ЧПУ и адреса статей не содержат знак вопроса, любые страницы, содержащие «?» в адресе, следует так же закрыть.

Пример файла robots.txt для WordPress

Приведу пример файла robots.txt, который я использую на всех своих сайтах. Так выглядит файл robots.txt для WordPress:

Можете смело копировать всё содержимое. Просто создайте текстовый документ с расширением .txt и именем robots и вставьте туда мой пример. Естественно, dmivk.ru меняете на свой адрес. Документ должен располагаться в корневой папке, то есть должен быть доступен по адресу ваш-сайт/robots.txt.

В технические вопросы я углубляться не буду, однако, хочу обратить внимание на строки Host и Sitemap. В Host необходимо указать главное зеркало сайта, то есть либо адрес с www, либо без. В Sitemap указываете адрес к файлу sitemap.xml, это ускорит индексацию страниц.

Анализ правил индексации с помощью Яндекс.Вебмастер

Чтобы проверить, удалось ли правильно составить файл robots.txt, можно воспользоваться анализом от Яндекса. Зайдите в сервис Яндекс.Вебмастер и добавьте туда свой сайт, если ещё не сделали этого. В левой части откройте «Настройки индексирования», затем «Анализ robots.txt».
webmasteranalys
На открывшейся странице нажимаете кнопку «Загрузить с сайта», после чего кликаете «Проверить».
analys-robots-txt
Если после этого вы увидите сообщение, примерно такого содержания, значит всё хорошо. Там же можете добавить список URL, чтобы проверить доступность страниц для индексации.

Теперь вы способны правильно составить файл robots.txt самостоятельно. На любые вопросы с радостью отвечу в комментариях. Удачи!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *