SEO

Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта

На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.

Обсуждение начал Гэри Илш, который заявил, что файл
robots.txt может индексироваться и ранжироваться в результатах поиска Google. По
его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент
которого может индексироваться».

В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Для блокировки индексации можно использовать и директиву disallow:

Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:

«Файл Sitemap обычно предназначен для прямого использования
программами, его не нужно индексировать».

Напомним, ранее стало известно, что
если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать
сайт.

Источник: searchengines.ru

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Закрыть

Обнаружен Adblock

Пожалуйста поддержите нас, отключив блокировщик рекламы.