Google может индексировать заблокированные страницы без сканирования

Google может индексировать URL, заблокированные в robots.txt,
не сканируя их. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter.

В частности, пользователь спрашивал, почему по сайту, который полностью заблокирован в robots.txt, в результатах поиска отображаются заголовки и описания страниц.

Мюллер ответил так: «URL могут индексироваться без сканирования, если они заблокированы в robots.txt».

На вопрос, почему отображаются заголовки и ссылки, если URL не сканируются, Мюллер ответил: «Заголовки обычно берутся из ссылок, однако сниппетов не должно быть». При этом он добавил, что хотел бы взглянуть на сами URL, чтобы понять, в чём дело.

Как объяснил консультант по поисковому маркетингу Барри Адамс (Barry Adams), robots.txt – это инструмент для управления сканированием, но не индексированием. Чтобы предотвратить индексацию, нужно использовать соответствующую директиву в метатеге robots или HTTP-заголовки X-Robots-Tag. Но чтобы Googlebot увидел эти директивы, ему нужно разрешить сканировать эти страницы.

Джон Мюллер отметил твит Адамса «лайком».

Источник: searchengines.ru