Robots.txt для WordPress

Файл Robots.txt — отвечает за то, как будут индексировать поисковики ваш сайт. В нем  можно запрещать/разрешать для индексации отдельные страницы, папки, файлы.

Для каждой CMS — есть свои нюансы по составлению robots.txt т.к каждая система генерирует «свои» технические страницы, которые нужно закрывать от индексации.

В целом — важно грамотно настроить robots.txt, чтобы в дальнейшем не было проблем с дублями и нежелательным появлением страниц, которые не должны индексироваться.

Где лежит Robots.txt

Находится в корневой (главной) папке сайта.

Доступен по адресу — site.ru/robots.txt во всех случаях — будь то wordpress\конструктор\другая CMS.

Как создать файл

Очень просто — создаете текстовый документ с расширением .txt и названием robots — все, файл создан. Но дальше его нужно наполнить.

Как добавить на сайт

Нужно загрузить в корневую папку с сайтом — это в случае, если вы используете отдельный хостинг. Если конструктор — то найти в настройках конструктора.

Правильный файл robots.txt для WordPress

Не забывайте, что для каждого сайта — файл robots уникален.

Пример самого простого:

User-agent: *
Disallow: /wp-admin/
Disallow: /author/
Disallow: /wp-json/
Disallow: /wp-content/cache/
Allow: /wp-admin/admin-ajax.php

Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml

Пример для интернет-магазина:

User-agent: *
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /wp-
Disallow: */author
Disallow: */trackback
Disallow: */feed
Disallow: */comment
Disallow: */comments
Disallow: */attachment
Disallow: */embed
Disallow: *?
Disallow: *.inc$
Disallow: *.php$
Disallow: *utm=
Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Host: https://site.ru
Sitemap: https://site.ru/sitemap_index.xml

Для одностраничника:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-json/
Disallow: /wp-content/cache/
Allow: /wp-admin/admin-ajax.php

Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml

Настройка Robots.txt

Для настройки надо:

  • просканировать сайт с помощью софта (screaming frog, comparser, neatpeak etc.);
  • понять какие страницы закрывать от индекса, а какие оставить.

Закрывать надо:

  • технические (логин, регистрация, восстановление пароля, корзина и др.);
  • пустые страницы без контента;
  • параметры — например фильтры в интернет-магазинах;
  • конфиденциальную информацию;
  • любые страницы, создающие дубли (но например страницы пагинации лучше настроить через rel=canonical).

Для закрытия используется директива: Diasllow.

Если не знаете, как и что делать — лучше отдайте за настройку специалисту 500 руб.

Также в 2018 году, яндекс отменил директиву Host — и ее можно не прописывать. Обязательно с помощью директивы Sitemap укажите адрес XML карты сайта.

Как редактировать в WordPress

  • Первый вариант — через хостинг, открыть файл в корневой папке через блокнот\notepad++;
  • Второй вариант — через плагины WP, например Yoast.

Плагины создающие Robots.txt

Их чуть более, чем дофига. Выбирайте любой из репозитория вордпресса и тестируйте:

  • Virtual Robots.txt;
  • WordPress Robots.txt optimization – Website traffic, ranking & SEO Booster;
  • DB Robots.txt;
  • и др.

Сервисы генераторы

  • https://pr-cy.ru/robots/
  • https://seolib.ru/tools/generate/robots/
  • https://htmlweb.ru/analiz/robots.php
  • http://www.raskruty.ru/tools/robots/

Но, лучше всего создавать файл — самому, предусмотрев индексацию всех нужных и не нужных страниц.

Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: