Стали известны новые детали работы обновлённого Googlebot

На днях Google поделился новыми деталями работы обновлённого Googlebot, который теперь всегда будет основан на последней версии Chromium.

Старый агент
пользователя

Как выяснилось, Google не поменял агента пользователя для Googlebot и по-прежнему использует старый
вариант, в котором упоминается Chrome
41. При этом на самом деле краулер работает на базе Chrome 74, утверждают в компании.

При этом в Google
планируют обновить user-agent в будущем:

Два обхода для JavaScript-страниц

Google по-прежнему обрабатывает JavaScript-контент за два обхода. Поэтому задержки в его индексации остались, но зато появилась поддержка более чем 1000 новых функций.

На вопрос, есть ли планы по объединению этих двух фаз индексации JS-контента в одну, сотрудник Google Мартин Сплит ответил стандартной фразой: «[Нам] пока не о чем объявить».

Объём сканирования
останется прежним

На вопрос, изменится ли объём сканирования – т.е., не будет
ли Googlebot сканировать меньше страниц при одном и том же краулинговом
бюджете из-за обработки более сложных файлов – Сплит ответил, что нет.

Поддержка новых
функций

Как уже сообщалось ранее, в результате обновления Googlebot получил поддержку более 1000 новых функций. Ниже – некоторые из них.

Googlebot пока
обновлён не во всех инструментах Google

Googlebot
используется в разных сервисах и подразделениях Google, однако не во всех из них краулер
уже обновлён. Пока апдейт коснулся только поиска. При этом инструмент проверки
оптимизации для мобильных устройств (Mobile Friendly Test) и другие сервисы пока не перешли
на обновлённую версию Googlebot,
но будут переведены на неё в будущем.

Как отметил сотрудник поиска Гэри Илш, обновить всё сразу у Google нет возможности, эта инфраструктура устроена иначе. Поэтому компании понадобится какое-то время для обновления всех своих сервисов.

Новый user-agent

Некоторые вебмастера также заметили в своих лог-файлах появление нового агента пользователя, который содержит следующие данные: Android 9.0.0 Pixel 3 XL, 01-may-2019.

В Google пока не ответили, что это за user-agent:

Напомним, что Google представил обновлённую версию Googlebot в первый день конференции для разработчиков I/O 2019.

Источник: searchengines.ru