Поисковики

Google: мы можем индексировать контент даже без его сканирования

С такой ситуацией столкнулся частный сеошник, потребовав объяснений у представителей поисковой системы:

«Прокомментируйте, пожалуйста, следующее. У меня есть сайт, 100% страниц которого заблокированы в файле robots.txt. Однако в индексе Google присутствуют названия и описания этих страниц, равно как и другой контент с сайта».

Ответ сотрудника Google:

«URL-адрес, даже если он заблокирован в robots.txt, может быть проиндексирован без сканирования ботом. Обычно это происходит благодаря внешним или внутренним ссылкам, которые указывают на такой контент».

Как составить robots.txt самостоятельно – читайте здесь.

Источник: pr-cy.ru

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Закрыть

Обнаружен Adblock

Пожалуйста поддержите нас, отключив блокировщик рекламы.