Файл robots.txt для WordPress

Всем доброго времени суток, уважаемые читатели. Сегодня я расскажу Вам как сделать файл robots.txt, который ставится один раз на Ваш сайт и все, Вы о нем забываете навсегда, но он постоянно работает и подсказывает поисковым роботам, где и какие страницы надо индексировать, а какие нет. Поисковики очень не любят когда полно всякого мусора, повторяющихся страниц и так далее, поэтому надо дать роботу все что полезно для пользователя и он с удовольствием проиндексирует Ваши страницы.

Сразу хочу Вам сказать, что если у Вас отсутствует файл robots.txt или стоит какой-нибудь другой, который позволяет индексировать все подряд, то у Вас могут выпасть страницы из индекса Яндекса и Google, но это полезная процедура, так как все страницы будут проходить правильную переиндексацию и в скором времени все станет на свои места. После того, как поисковики проиндексируют заново, все что нужно, страницы постепенно попадут в индекс и все станет на свои места. У меня этот процесс занял не более недели. Кстати, много полезного по SEO-продвижению, Вы сможете найти на данном seo-блоге.

Файл берем здесь robots.txt разархивируем архив и получаем файл robots.txt он должен называться так как есть, менять ни чего не надо, иначе пользы от него не будет ни какой. Теперь покажу на примере что Вам нужно заменить в данном файле. В самом низу файла необходимо заменить адрес моего сайта на Ваш и все больше ничего делать не надо, после чего необходимо сохранить Ваш файл robots.txt. Итак, вот пример красным выделено то, что Вам надо заменить на свой адрес:

Host: sovetywebmastera.ru

Sitemap: http://sovetywebmastera.ru/sitemap.xml.gz

Sitemap: http://sovetywebmastera.ru/sitemap.xml

Меняем только адрес Вашего сайта и все!!!

После сохранения, файл robots.txt необходимо загрузить на Ваш хостинг в корневую папку Вашего сайта, для этого заходим в панель управления хостингом и находим там «файловый менеджер» либо для тех кто пользуется Total commander, можно загрузить при помощи данной программы, но я Вам покажу на примере своего любимого хостинга Timeweb.

Заходим в «Файловый менеджер» и попадаем в данное окно:

Для того, чтобы попасть именно в корневую папку, надо найти папку с названием Вашего сайта, нажать на нее и далее нажать на папку public_html, это корневая папка по умолчанию для WordPress, после этого нажимаем на кнопку «Файл» далее «Закачать», затем выбираем наш файл robots.txt и закачиваем его в данную папку. Все, файл установлен и будет приносить нашему сайту пользу и постоянное продвижение. Еще необходимо будет составить карту Вашего сайта для поисковиков, но об этом уже в следующей статье.

Вот мы и сделали одно из самых важных дел для наших сайтов. Также как всегда жду Ваших комментариев к данной статье и конечно задавайте вопросы, я обязательно постараюсь на них ответить. Все Вам удачи и роста Вашим ресурсам и помните главное, никто не сделает лучше, чем мы сами. Обязательно прочтите дополнение о ЧПУ ссылках по данной ссылке.

P.S. Внимание!!! На данный момент алгоритмы поисковых систем поменялись и файл тоже теперь совсем другой, поэтому скачайте, а затем разархивируйте правильный файл по ссылке ниже и замените название своего домена.

Правильный файл robots.txt скачивать здесь >,>,>,

В завершении предлагаю посмотреть видео, что такое robots.txt, видео для ознакомительных целей, не стоит менять предложенный файл, если у Вас недостаточно для этого знаний. Файл который представлен в моей статье, также установлен и на моем блоге, отлично работает и не вызывал никаких проблем.