Файл robots.txt для WordPress

Что же такое файл robots.txt? Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта.

В нём записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы, или страницы на сайте, такие как “админ”, конфиденциальная информация клиентов сайта, и тому подобные.

Этот файл рекомендует поисковому роботу соблюдать определенный временной интервал, между скачиванием документов с сервера, и указывает путь к карте сайта sitemap.xml.

Последнее время его роль в SEO, несколько ослабла, и появляются всё новые рекомендации по его применению, но актуальности robots не потерял.

Чтоб быть в курсе всех изменений и рекомендаций, советую вступить в «Сообщество Google для веб-мастеров».

Ну а пока посмотрим, как создаётся, и что из себя представляет файл robots.txt.

Создать его можно двумя способами: вручную, если Вы пишете сайт самостоятельно, и при помощи плагина, если Вы используете CMS, хотя заполнять плагин всё равно приходится вручную.

Итак, для WordPress плагин называется WP Robots Txt. Вносим это название в строку “искать плагины”, находящуюся в консоль-плагины-добавить плагин, и устанавливаем на наш сайт.

Затем, “Активировать” плагин, и заходим в “Настройки – приватность (или конфиденциальность, у кого как)”. В ней нам откроется опция позволяющая редактировать плагин.

И вот тут, признаюсь, меня ждал очень интересный сюрприз.

И тем не менее, раз уж столько народа так настоятельно советуют создать файл robots.txt, думаю не стоит игнорировать общественное мнение. К тому же ничего сложного в этом нет, а дополнительные знания будут только на пользу.

Для того, чтобы настроить файл robots.txt,  используются следующие директивы:

User-agent – указывает какому поисковому роботу адресована инструкция;
Disallow – запрещающая индексацию;
Allow – разрешающая индексацию;
Host – определяет какую страницу сайта считать главной;
Sitemap – указывает путь к карте сайта sitemar.txt;

В свете последних тенденций, поисковики рекомендуют делать файл robots.txt максимально открытым, поэтому

в общем и целом он выглядит так:

User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: starper55plys.ru
Sitemap: https://starper55plys.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Что же запрещается для индексирования. В первую очередь это ядро движка, кеш, файлы шаблона и плагинов, ленты rss в общем всю техническую часть сайта.

Если у Вас на сайте есть конфиденциальная информация посетителей, то её тоже нужно закрыть, но насколько это действенно, Вы уже убедились прочитав заметку при настройке плагина.

В общем, вносите все эти данные в окно редактирования плагина, и жмите “сохранить изменения”.

В дальнейшем, когда Вы перенесёте Ваш сайт с Денвера на реальный хостинг, нужно будет проверить, как работает файл robots.txt. Для этого просто пройдите по по ссылке проверка robots.txt.

Если же Вы не используете CMS, а пишете сайт на чистом HTML, то открываете HTML редактор (Notepad++), переписываете или копируете в него код файла, меняете адреса на свои, и сохраняете его с названием robots.txt, в директорию сайта.

Перемена

— Винтовка для солдата — лучший друг, не правда ли? — Не знаю, господин генерал! Вчера, когда я ее чистил, она выстрелила мне в ногу!

Приходит Сара к раввину.
— Ребе, я завтра замуж выхожу, посоветуйте, как лучше лечь в постель в первую ночь: в рубашке или без?
Тут подбегает Рабинович.
— Ребе, посоветуйте, куда лучше вложить деньги, в акции или ценные бумаги?
Ребе отвечает:
— Как ты, Сарочка, ни ляжешь, тебя все равно поимеют. К Вам, Рабинович, это тоже относится.

Администратор гостиницы говорит клиенту:
— Я могу поселить вас с этой женщиной, лишь тогда, когда вы докажите, — что она ваша жена.
Клиент отвечает:
— А если вы докажите обратное, я буду благодарен вам до самой смерти.

Во времена борьбы с пьянством — стоит около винного огромная очередь, к очереди подбегает мужик:
— Мужики! Пропустите меня, а?.. У меня машина стоит…
— Да пошел ты! «Машина стоит»… У нас заводы стоят!

Создание xml карты сайта на WordPress < < < В раздел > > > Оптимизация изображений