Файл Robots.txt. Первый и самый важный инструмент в продвижении сайта.

Файл Robots.txt очень важная вещь для вашего сайта, который позволяет поисковым роботам осуществлять индексацию вашего сайта. Буквально все поисковые роботы обращают внимание на файл  Robots.txt позволяющий им быстро и качественно проскандировать ваш сайт, также с помощью этого инструмента вы с легкостью можете скрыть любые разделы вашего сайта которые не нуждаются в индексации роботами и не требуют свободного доступа к ним пользователей сайта.

Как проверить установлен или у вас на сайте Файл Robots.txt..Все что вам нужно это набрать в адресной строке браузера http://название вашего сайта/robots.txt, далее вам откроется код файла как правило в случае если файл не настроен вы увидите достаточно небольшой абзац текста HTML. После того как вы проверили файл если он у вас отсутствовал вам необходимо будет осуществить настройку Файла Robots.txt. Сделать это можно так :

Файл Robots.txt :

Создайте на рабочем столе новый текстовый документ,в который вам необходимо будет вставить следующий код :

User-agent: *
 Crawl-delay: 4
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /trackback
 Disallow: */trackback
 Disallow: */*/trackback
 Disallow: */*/feed/*/
 Disallow: */feed
 Disallow: /*?*
User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: http://ваш сайт (к примеру просто пишите название вашего сайта work-biz.ru)
Sitemap: http://ваш сайт/sitemap.xml.gz
Sitemap: http://ваш сайт/sitemap.xml

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *