Файл robots.txt для WordPress

Что же такое файл robots.txt? Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта.

В нём записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы, или страницы на сайте, такие как “админ”, конфиденциальная информация клиентов сайта, и тому подобные.

Этот файл рекомендует поисковому роботу соблюдать определенный временной интервал, между скачиванием документов с сервера, и указывает путь к карте сайта sitemap.xml.

Последнее время его роль в SEO, несколько ослабла, и появляются всё новые рекомендации по его применению, но актуальности robots не потерял.

Чтоб быть в курсе всех изменений и рекомендаций, советую вступить в «Сообщество Google для веб-мастеров».

Ну а пока посмотрим, как создаётся, и что из себя представляет файл robots.txt.

Создать его можно двумя способами: вручную, если Вы пишете сайт самостоятельно, и при помощи плагина, если Вы используете CMS, хотя заполнять плагин всё равно приходится вручную.

Итак, для WordPress плагин называется WP Robots Txt. Вносим это название в строку “искать плагины”, находящуюся в консоль-плагины-добавить плагин, и устанавливаем на наш сайт.

Затем, “Активировать” плагин, и заходим в “Настройки – приватность (или конфиденциальность, у кого как)”. В ней нам откроется опция позволяющая редактировать плагин.

И вот тут, признаюсь, меня ждал очень интересный сюрприз.

Настройка плагина WP Robots Txt.

И тем не менее, раз уж столько народа так настоятельно советуют создать файл robots.txt, думаю не стоит игнорировать общественное мнение. К тому же ничего сложного в этом нет, а дополнительные знания будут только на пользу.

Для того, чтобы настроить файл robots.txt,  используются следующие директивы:

User-agent – указывает какому поисковому роботу адресована инструкция;
Disallow – запрещающая индексацию;
Allow – разрешающая индексацию;
Host – определяет какую страницу сайта считать главной;
Sitemap – указывает путь к карте сайта sitemar.txt;

В свете последних тенденций, поисковики рекомендуют делать файл robots.txt максимально открытым, поэтому

в общем и целом он выглядит так:

User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: starper55plys.ru
Sitemap: https://starper55plys.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Что же запрещается для индексирования. В первую очередь это ядро движка, кеш, файлы шаблона и плагинов, ленты rss в общем всю техническую часть сайта.

Если у Вас на сайте есть конфиденциальная информация посетителей, то её тоже нужно закрыть, но насколько это действенно, Вы уже убедились прочитав заметку при настройке плагина.

В общем, вносите все эти данные в окно редактирования плагина, и жмите “сохранить изменения”.

В дальнейшем, когда Вы перенесёте Ваш сайт с Денвера на реальный хостинг, нужно будет проверить, как работает файл robots.txt. Для этого просто пройдите по по ссылке проверка robots.txt.

Если же Вы не используете CMS, а пишете сайт на чистом HTML, то открываете HTML редактор (Notepad++), переписываете или копируете в него код файла, меняете адреса на свои, и сохраняете его с названием robots.txt, в директорию сайта.


Неужели не осталось вопросов? Спросить


Перемена

— Винтовка для солдата — лучший друг, не правда ли? — Не знаю, господин генерал! Вчера, когда я ее чистил, она выстрелила мне в ногу!

Приходит Сара к раввину.
— Ребе, я завтра замуж выхожу, посоветуйте, как лучше лечь в постель в первую ночь: в рубашке или без?
Тут подбегает Рабинович.
— Ребе, посоветуйте, куда лучше вложить деньги, в акции или ценные бумаги?
Ребе отвечает:
— Как ты, Сарочка, ни ляжешь, тебя все равно поимеют. К Вам, Рабинович, это тоже относится.

Администратор гостиницы говорит клиенту:
— Я могу поселить вас с этой женщиной, лишь тогда, когда вы докажите, — что она ваша жена.
Клиент отвечает:
— А если вы докажите обратное, я буду благодарен вам до самой смерти.

Во времена борьбы с пьянством — стоит около винного огромная очередь, к очереди подбегает мужик:
— Мужики! Пропустите меня, а?.. У меня машина стоит…
— Да пошел ты! «Машина стоит»… У нас заводы стоят!

Создание xml карты сайта на WordPress < < < В раздел > > > Оптимизация изображений

 

А ну-ка, что там ещё интересного
Оптимизация контента
Заполнение мета-тегов

Запись опубликована в рубрике SEO. Добавьте в закладки постоянную ссылку.

10 комментариев на «Файл robots.txt для WordPress»

  1. stariс говорит:

    Без плагина не пробовал. «А если так» — это то о чём я мечтаю. Чтоб не торопясь и так попробовать и эдак. Но пока, насущные дела не дают такой возможности.

  2. Юрий говорит:

    Спасибо за ответ!!!!! Но хотелось ,по принципу «а если так» — без плагина. Заливал Но что то не так 🙂

  3. stariс говорит:

    Привет! Не нужно на хостинг. Консоль — Настройки — Чтение. Внизу поле для Robots.

  4. Юрий говорит:

    Вечер добрый! Подскажите ,как залить robots.txt. Захожу на хостинг. Три папки wp-content;wp-admin;wp-incld; ?

  5. stariс говорит:

    Спасибо за подсказку. Дело в том, что WP постоянно обновляется. Начинал я с версии 4.2, а сейчас у меня версия 8.1. Обновляются прежде всего настройки безопасности. В результате, тот файл, который я создал вначале, сменился на тот, что идёт по умолчанию. Чего я, кстати, даже не заметил. Всё что нужно индексируется, и появляется в поиске, а что не нужно — нет. Поисковики, только по им известным критериям, индексируют сайт, не взирая на наши рекомендации.

  6. Сергей говорит:

    starper55plys.ru/robots.txt почему то стандартный,

  7. stariс говорит:

    Привет. Как раз в статье — копия моего файла.

  8. Сергей говорит:

    Доброй ночи, почему вы не используете такой «роботс тхт» как в статье?

  9. starik говорит:

    Please ask. I’ll try to answer. Why do you have no comments on the site?
    You can be a spammer?

  10. ugg chaussures homme говорит:

    Once again another great entry. I actually have a few things to ask you, would be have some time to answer them?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *