Как правильно настроить robots и sitemap на своем сайте и для чего это нужно?

Как правильно настроить robots и sitemap на своем сайте и для чего это нужно?

Sitemap — это карта сайта. Она бывает 2 видов: XML и HTML. Первая предназначена для того, чтобы поисковики быстрее индексировали ссылки и легко разбирались в вашем сайте. Вторая — для посетителей вашего ресурса. Нас больше интересует XML-карта, она автоматически появляется у вас после установки плагина Google XML Sitemaps или Yoast SEO. Говорят, что sitemap первого плагина лучше, но второй плагин полезен своими другими функциями. Не следует устанавливать сразу две XML- карты, поэтому заходим в настройки уже установленного плагина Yoast SEO и во вкладке «Возможности» отключаем «XML-карта сайта».

После этого можно установить плагин Google XML Sitemaps. Проверить наличие карты можно по адресу https://gaeg.ru/sitemap.xml

Затем нужно добавить эту запись в Google Search Console и webmaster.yandex.ru и отправить на проверку.

Если есть время, можно создать и HTML-карту, чтобы еще больше повысить дружелюбность поисковиков и посетителей. Для этого устанавливаем плагин WP Sitemap Page. Затем создаем страницу, называем её «Карта сайта», вставляем в текстовое поле такую запись: [wp_site map_page] и публикуем (пробел в середине убрать). Это называется шорткод. Можно разместить полученную карту внизу в подвале сайта (в футере).

Теперь прописываем файл robots.txt. Он состоит из набора инструкций для поисковых роботов, которые запрещают индексацию ненужных файлов, страниц или каталогов на сайте. Для этого создаем документ в блокноте и называем его «robots» и помещаем туда такой текст, заменяя название нашего сайта на своё:

User-agent: *
Disallow:
Sitemap: https://gaeg.ru/sitemap.xml.gz
Sitemap: https://gaeg.ru/sitemap.xml

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /category//
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /tag/
Disallow: /feed/
Disallow: *//feed//
Disallow: */feed
Disallow: *//feed Disallow: /?feed= Disallow: /?*
Disallow: /?s=
Host: gaeg.ru

Затем загружаем этот текстовый документ на свой хостинг через файловый менеджер в корневую папку сайта

Все готово — теперь поисковым роботам будет легко и удобно воспринимать ваш сайт.

Жми «Нравится» и получай только лучшие посты в Facebook ↓

Как правильно настроить robots и sitemap на своем сайте и для чего это нужно?