Статистика сканирования GSC

Полное руководство по отчету о статистике сканирования Google Search Console. Руководство основано на документации от Google и на моем собственном анализе отчета.

Отчет о статистике сканирования предназначен для того, чтобы помочь вам лучше понять, как Google сканирует ваш сайт, предоставляя подробную информацию о запросах, отправленных на ваш сайт.

Что такое отчет статистики сканирования, что в нем не так, как его использовать и, что важно, как не стоит его использовать. Погнали.

Что представляет собой отчет о статистике сканирования

Отчет о статистике сканирования Google Search Console - это функция, доступная в GSC, которая позволяет вам глубже понять, как Google сканирует ваш сайт.

Отчет доступен в разделе Настройки - Статистика сканирования - Открыть отчет.

Как найти отчет о сканировании

Отчет содержит статистику того, как Googlebot сканировал ваш сайт за последние 90 дней.

Отчет по статистике сканирования предназначен для сайтов, содержащих более тысячи страниц. Google прямо заявляет, что вам не нужен этот отчет, если на вашем сайте менее 1000 страниц.

Мой сайт (politay.pro) содержит меньше 1000 страниц, но я использую его в качестве примера для данного руководства. Мне любопытно, смогу ли я узнать некоторые важные вещи из отчета о статистике сканирования, даже если у меня небольшой сайт. 

Новый отчет по статистике сканирования GSC предоставит вам данные о:

  • Сколько всего запросов на сканирование.
  • Общий размер скачивания (в байтах).
  • Среднее время ответа (в мс).
Возможности статистики сканирования

Данные сканирования сгруппированы по коду ответа, типу файла, цели сканирования и типу робота Google (каждая группа также отображает свою конкретную статистику об общем количестве запросов, общем размере загрузки, среднем времени ответа).

Группировка данных статистики сканирования в GSC

Похоже, мы получаем много полезных данных о сканировании нашего сайта Google! Прежде чем я расскажу вам, как использовать эти данные, я хочу объяснить, как на самом деле работает отчет о статистике сканирования и чем он НЕ является.

Вот документация Google по отчету статистики сканирования и пост в блоге о новых функциях отчета статистики сканирования.

Как работает отчет по статистике сканирования

Google отлично поработал, объяснив, как работает отчет о статистике сканирования и как он собирает данные (статистику). Это то что тебе нужно знать.

В отчете отображается большинство (но не все) запросов на сканирование

  • Отчет статистики сканирования содержит данные по большинству запросов сканирования, но не по всем. 
  • Это означает, что может быть несоответствие между тем, что вы видите в логах сервера, и тем, что находится в отчете статистики сканирования.

В отчете показаны примеры URL-адресов

Когда вы нажимаете на любой конкретный тип запроса сканирования в любой группе (например, OK (200) в разделе По ответу ), вы увидите список примеров url адресов.

Примеры отчета по сканированию в GSC
  • Это примеры url для данного типа запроса, что означает, что это не все запросы, соответствующие данному запросу.
  • В моем случае, для моего сайта 930 url адресов 200 (ОК). Это, конечно, не весь список для моего сайта. Это список примеров url, которыми Google поделился со мной. 

В отчете не будут отображаться запросы на внешние ресурсы

Данные, отображаемые в отчете о статистике сканирования, относятся только к текущему выбранному домену.

Статистика только для своего домена
  • Если ваш сайт содержит какие-то внешние ресурсы, вы не увидите статистику сканирования по ним. 
  • То же самое относится к двухуровневым доменам, таким как ru.domain.com. Чтобы просмотреть данные сканирования от них, вам нужно переключиться в GSC на этот домен. 

Что НЕ представляет собой отчет о статистике сканирования?

А вот что НЕ является отчетом о статистике сканирования и для чего его НЕ следует использовать. 

Отчет о статистике сканирования не заменяет анализ логов сервера

Отчет о статистике сканирования не предназначен для замены анализа логов сервера. Вы можете использовать его вместо этого, но не ожидайте, что логи покажут вам именно то, что показывает отчет статистики сканирования. 

❗ Логи сервера покажут вам все запросы, сделанные всеми сканерами, в то время как отчет статистики сканирования Google Search Console покажет вам выбранные образцы запросов, сделанные Google. 

Отчет о статистике сканирования не заменяет сканирование сайта в целях аудита

Некоторые данные, которые вы найдете в отчете о статистике сканирования, могут выглядеть аналогично тому, что показывают Screaming Frog или другие сканеры всайтов (например, коды ответов, проблемы с сервером и т. д.). Это далеко не вся картина состояния сайта.

❗ Если вы проводите SEO-аудит, вам необходимо просканировать весь сайт. Статистика сканирования Google Search Console может стать хорошим дополнением к вашему аудиту.

Отчет о статистике сканирования - не единственный инструмент, который следует использовать для обнаружения проблем на сайте

В отчете о статистике сканирования будет указано, есть ли проблемы на ваших сайтах, например, если робот Googlebot обнаружил страницу 404 или ошибку сервера. Обратите внимание, что отчет статистики предоставит вам данные только о ресурсах, которые Google выбрал для сканирования. Опять же, это еще не вся картина.

❗ Чтобы обнаружить все возможные проблемы на сайте, вам необходимо просканировать его с помощью специального инструмента. И, в дополнение к этому, используйте множество других инструментов SEO. 

Как использовать отчет по статистике сканирования: что нужно делать

И, наконец, вот несколько советов о том, как использовать новый отчет по статистике сканирования, чтобы узнать новые и полезные сведения о вашем сайте.

1. Используйте отчет, чтобы получить представление о том, как робот Googlebot сканирует ваш сайт

Как только вы откроете отчет статистики сканирования, вы увидите диаграмму, показывающую статистику сканирования, разделенную на три группы.

Всего запросов на сканирование показывает общее количество запросов к сайту , включая как успешные, так и неуспешные запросы.

Всего запросов на сканирование в GSC

Повторяющиеся запросы для одних и тех же url адресов рассматриваются как отдельные запросы. Неудачные запросы могут включать:

  • Запросы, которые не были выполнены из-за проблем с доступностью файла robots.txt (т. е. Robots.txt возвращал ответы о проблеме с подключением (HTTP 429 / 5XX).
  • Запросы ресурсов, у которых возникли проблемы с разрешением DNS и подключением к серверу. 
  • Запросы, которые не удались из-за ошибок перенаправления (например, циклы перенаправления). 

Общий размер скачивания (в байтах) - это общий размер файлов и ресурсов, загруженных во время сканирования за последние 90 дней.

Общий размер скачивания в GSC

Ресурсы, которые уже кэшированы, не учитываются. Этот размер включает HTML, изображения, скрипты и CSS.

Среднее время ответа (в мс.):

Среднее время ответа в GSC

Включает время, необходимое для извлечения ресурсов страницы (скрипты, изображения и т. д.), или время рендеринга.

2. Используйте отчет, чтобы проверить состояние вашего хоста

Чтобы просмотреть сведения об одном конкретном (дочернем или родительском) домене, просто щелкните на него. В этом разделе может отображаться статистика до 20 дочерних доменов.

статус хоста

Google оценивает ваши хосты по трем основным направлениям, когда дело касается их доступности для поисковых роботов. Они включают получение файла robots.txt, разрешение DNS и подключение к серверу.

Что Google учитывает при оценке доступности хоста?

Что Google учитывает при оценке доступности хоста

Чтобы узнать подробности о каждом, просто нажмите на хост, который вы хотите исследовать (в моем случае это будет politay.pro), а затем нажмите на Статус хоста.

Вы увидите подробности по каждой из 3 областей. В идеале вы должны видеть зеленые галочки, информирующие о том, что все ок.

Хорошо, но что на самом деле оценивают эти три, назовем их критерии?

Доступ к файлу robots.txt

Если есть какие-либо проблемы с получением robots.txt, то график покажет частоту отказов (процент неудачных запросов).

статус robots.txt в GSC

Google будет сканировать сайт, только если получит успешный ответ от robots.txt. Есть только два возможных успешных ответа: 

  • Статус 200 (ОК).
  • Состояние 403/404/410 (файл не найден или не существует).

Обратите внимание, что Google считает проблемой доступности, если количество ошибок при загрузке файла robots.txt превышает определенное базовое количество в день.

СОВЕТ ОТ ПРОФЕССИОНАЛА: пока robots.txt возвращает статус 200, Google всегда будет считать это успешным ответом, даже если robots.txt пуст или недействителен (имеет синтаксические ошибки).

СОВЕТ ОТ ПРОФЕССИОНАЛА 2: файл robots.txt нужен не для всех сайтов. Однако, если вы хотите, чтобы Google рассматривал отсутствие файла robots.txt как успешный ответ, вам необходимо убедиться, что он возвращает статус 403, 404 или 410.

DNS-преобразование

Тут все просто. В разделе DNS-преобразование вы увидите, были ли ошибки DNS при сканировании вашего сайта Google. Если есть какие-либо проблемы, вы увидите их процент (процент запросов, у которых были проблемы с разрешением DNS, из всех запросов, отправленных на сайт).

dns-преобразование в GSC

Проблемы с разрешением DNS возникают, когда:

  • DNS-сервер не распознает имя хоста.
  • DNS-сервер не отвечает.

Как и в случае с файлом robots.txt, частота ошибок DNS считается проблемой после превышения заданного базового значения в день. 

Обычно нужно связаться с регистратором и проверить, правильно ли настроен ваш сайт. 

Подключение к серверу

Это тоже довольно просто. Связь с сервером просто предоставляет информацию о проценте неудачных запросов на сканирование, вызванных проблемами с подключением к серверу.

подключение к серверу в GSC

Эти проблемы могут включать:

  • Сервер не отвечает.
  • Сервер не предоставляет полный ответ.

Как и в случае получения файла robots.txt и DNS преобразования, ошибки подключения к серверу считаются проблемой, если они превышают определенный базовый уровень на день. 

Как Google измеряет и оценивает получение файла robots.txt, DNS-преобразование и подключение к серверу?

Есть 3 возможных статуса, указывающих на здоровье ваших хостов. Вот что они означают и какие критерии использует Google при оценке проблем с хостом:

Зеленый чек:

зеленый статус хоста

Такой статус хоста - отличная новость для вашего сайта. Это означает, что у Google не было проблем со сканированием вашего сайта за последние 90 дней.

Это не требует никаких действий с вашей стороны.

Белый чек:

белый статус хоста

Этот статус хоста означает, что была по крайней мере одна серьезная проблема со сканированием за последние 90 дней, но не за последние 7 дней. Возможно, проблема уже решена или это временная или разовая проблема.

Красный чек:

красный статус хоста

Красный статус, вероятно, плохая новость для сайта. Это означает, что за последние 7 дней возникла как минимум одна серьезная проблема со сканированием.

Что делать со статистикой статуса хоста?

Если у вас нет зеленых флажков во всех областях, обычно требуется ваш немедленный анализ (и возможные действия). 

Ваша задача:

  • узнайте, были ли проблемы связаны с получением robots.txt, DNS или подключением к серверу;
  • проверьте коды ответов на неудачные запросы сканирования; 
  • решите, было ли это серьезной или незначительной проблемой;
  • при необходимости проведите дальнейшее расследование.

3. Используйте отчет для анализа ответов сканирования

Эта часть отчета о статистике сканирования также очень важна, поскольку она дает вам наиболее важную информацию, с которой вы можете немедленно действовать.

Вы можете увидеть сводку ответов обхода (По ответам ) прямо под таблицей со статистикой по хостам.

запросы по ответу в GSC

Ответы на сканирование содержат статистику ответов, полученных Google при сканировании сайта. Запросы группируются по типу ответа (а не по url адресу). Рядом с каждым ответом вы можете увидеть процентное соотношение (среди всех ответов, полученных Google от сайта).

Что касается моего сайта, я вижу, что 95% всех ответов, полученных Google, являются нормальными (200).

СОВЕТ ОТ ПРОФЕССИОНАЛА: эти данные относятся ко всем запросам на сайт. Это также включает несколько запросов для одного и того же url адреса.

Чтобы увидеть url, которые вернули данный тип ответа, просто щелкните на него. Вот список 200 (ОК) ответов для моего сайта:

примеры 200 ответа сервера в GSC

Типы ответов Google

Google делит типы ответов на хорошие, возможно хорошие и плохие. Мне очень нравится это разделение.

Хорошие ответы на сканирование

Хорошие ответы на сканирование - это те ответы, которые не вызывают проблем при сканировании и полностью понятны Google.

  • 200 (ОК) ✔️
  • 301 (перемещен навсегда) ✔️
  • 302 (временно перемещен) ✔️
  • 300 (перемещено, а ты выбирай как) ✔️
  • 304 (без изменений) ✔️

Возможно хорошие ответы на сканирование

Следующие ниже ответы сканирования могут быть хорошими, если предположить, что они делают то, что вы действительно хотите. Возможно, хорошие ответы на сканирование включают: 

  • Заблокировано robots.txt ✔️
  • 404 (не найдено) ✔️

Google в своей документации не упоминает код ответа 410 (удалено навсегда). Я предполагаю, что это также хороший ответ сканирования, если он используется в соответствии со своей целью, которая состоит в том, чтобы указать, что запрошенный ресурс был окончательно удален.

Плохие ответы сканирования

Это ответы на сканирование, на которые следует обращать внимание. Они затрудняют или делают невозможным сканирование вашего сайта Google. На скриншоте ниже вы можете увидеть 2 примера неверных ответов сканирования:

плохие ответы сервера GSC

Плохие коды ответа сервера включают в себя:

  • Robots.txt недоступен ❗

Это очень важно, потому что Google полностью прекратит сканирование вашего сайта, пока не получит правильный (приемлемый) ответ. Допустимые ответы на запросы robots.txt: 200 (ОК), 404 (Не найдено).

  • 401/407 (неавторизованный) ❗

Страницы, возвращающие коды состояния 401/407, являются страницами, требующими авторизации (например, входа в кабинет). Их следует либо заблокировать от сканирования, либо - если они не предназначены для возврата статуса неавторизованного доступа - заменить их на обычные страницы, возвращающие 200 (OK). 

  • 5XX (ошибка сервера) ❗

Эта ошибка означает, что ваш сервер недоступен для Google. В редких случаях для действительно огромных сайтов ошибки сервера могут возникать из-за большой нагрузки сканирования Google.

  • 4XX (ошибка клиента, не 404) ❗
  • DNS не отвечает или любые другие ошибки DNS ❗ 
  • Ошибка загрузки
  • Страница недоступна ❗
  • Время вышло ❗
  • Ошибка перенаправления (цикл перенаправления, пустое перенаправление или слишком много перенаправлений)  ❗

В большинстве случаев вам следует изучить указанные выше ошибки и исправить их как можно быстрее, потому что они влияют на то, как Google сканирует ваш сайт. 

Что делать со статистикой об ответах сканирования?

Хорошие ответы не требуют никаких действий с вашей стороны. Когда дело доходит до возможных хороших и плохих ответов сканера, я предлагаю вам сделать следующее:

  • Проанализируйте любой, возможно, хороший ответ, чтобы убедиться, что это действительно то, чего вы добиваетесь. 
    • Например, если есть 404 страницы, убедитесь, что это не ценные страницы, которые не должны возвращать ошибку. 
    • То же самое и с ресурсами, заблокированными в robots.txt. Если у вас не огромный сайт (с сотнями тысяч или миллионами страниц), вам не нужно блокировать какие-либо ресурсы в robots.txt. 
  • Внимательно изучите все плохие ответы и постарайтесь исправить эти ошибки как можно быстрее. 
  • Наиболее важные проблемы, которые следует исправить в первую очередь:
    • Robots.txt недоступен (он не позволяет Google сканировать ваш сайт).
    • Ошибки сервера (которые могут замедлить сканирование вашего сайта).
ошибка dns

4. Используйте отчет для анализа просканированных типов файлов

GSC позволяет просматривать статистику для запросов сканирования, сгруппированных по типу файла. Проценты, которые вы видите рядом с каждым типом файлов, соответствуют проценту ответов, возвращаемых данным типом файлов.

статистика сканирования по типу файла

Чтобы просмотреть сведения о сканировании для каждого типа файлов, просто нажмите на тип файла, который вы хотите проанализировать. Вот подробности о файлах HTML для моего сайта. 

примеры сканирования GSC по типу

Вверху страницы находится диаграмма (похожая на ту, которую вы видите на главной странице статистики сканирования), которая показывает общее количество запросов на сканирование, общий загруженный размер и среднее время ответа для выбранного типа файла. В этом примере я показываю вам, что это файлы HTML (обыкновенные страницы, на одной из которых вы сейчас находитесь).

Типы файлов, которые Google может распознать и показать вам в этом отчете: HTML, изображения, видео, JavaScript, CSS, PDF, XML, JSON, Syndication (RSS or Atom), аудио, KML (или другие географические данные).

Что делать со статистикой?

Разбивка запросов на сканирование по типам файлов не только интересна для анализа, но также может помочь вам диагностировать серьезные проблемы сканирования на вашем сайте, такие как проблемы с доступностью сервера или медленная скорость ответа.

Вот несколько советов: 

  • Проверьте, какие типы ресурсов Google сканирует чаще всего на сайте (посмотрите на процент). Вопросы, которые стоит задать себе:
    • Это изображения? Если да, то действительно ли вы хотите, чтобы Google сканировал эти изображения? 
    • Это файлы JavaScript? 
    • Есть ли скачки среднего времени ответа? Пик означает, что время ответа было медленнее, чем обычно. 
пример долгого ответа сервера в GSC

Убедитесь, что вы действительно хотите, чтобы Google сканировал все эти ресурсы, которые он сканирует в настоящее время. Если нет, заблокируйте их в robots.txt. 

  • Проверьте среднюю скорость ответа для разных типов файлов. Вопросы, которые стоит задать себе:
    • Это больше (или намного больше), чем средний ответ на все запросы к вашему сайту? 
    • Есть ли всплески по времени?
  • Проверьте общий размер загрузки для разных типов ресурсов
    • Насколько он велик или мал по отношению к общему размеру загрузки для всех запросов? Обязательно сравните общее количество запросов на загрузку с общим загруженным размером, потому что чем больше запросов, тем больше общий размер загрузки.
сравнение сканирования в GSC

Ответы на приведенные выше вопросы должны дать вам представление о том, что вызывает проблемы со сканированием на вашем сайте. 

5. Используйте отчет, чтобы узнать о цели сканирования

Это просто разбивка запросов на сканирование по целям.

 Насколько мне известно, возможны две цели:

  • Обновление (для повторного сканирования известной страницы).
  • Обнаружение (для сканирования новых страниц).
статистика сканирования по цели

Щелкните на цель сканирования, чтобы узнать подробности о запросах на обновление и обнаружение. 

Вы увидите аналогичную диаграмму, но на этот раз показывающую общее количество запросов на сканирование, общий размер загрузки и среднее время ответа на запросы обновления или обнаружения. 

статистика сканирования GSC с целью обновления

Таблица покажет вам примеры url адресов, запрошенных для этой цели, время запроса и полученный ответ.

СОВЕТ ОТ ПРОФЕССИОНАЛА: помните, что примеры могут включать не все сделанные запросы. Это всего лишь образец.

Что делать со статистикой о цели сканирования? 

Вот несколько советов по использованию статистики цели сканирования:

  • Если у вас есть новостной сайт, который постоянно меняется, и вы не наблюдаете достаточной активности, связанной с поисковым сканированием, убедитесь, что у вас есть актуальная карта сайта (отправьте ее в GSC).
  • Вы должны увидеть резкие скачки в обнаружении сканирования после отправки карты сайта или добавления большого количества нового контента. 

6. Используйте отчет для анализа типов роботов Google

Наконец, что не менее важно, идет отчет со статистикой о типах робота Google, которые посетили сайт за последние 90 дней. 

статистика сканирования по типу робота googlebot

В этой таблице перечислены типы роботов Google с указанием процента запросов, сделанных каждым пользовательским агентом. Щелкните на конкретный пользовательский агент, чтобы просмотреть подробные сведения о его поведении. 

запросы на сканирование со смартфонов

Таблица с примерами предоставит вам информацию о времени запроса, запрошенном URL и полученном ответе. 

Вот пользовательские агенты Google, которые вы можете найти в отчете:

  • Смартфоны.
  • ПК.
  • Изображение.
  • Видео.
  • Загрузка ресурса страницы .
  • AdsBot.
  • StoreBot.
  • Другой тип агента.

Что делать со статистикой о типе Googlebot?

Вот несколько советов о том, как использовать информацию о пользовательских агентах Google, сканирующих ваш сайт: 

  • Ваш основной сканер (смартфон или ПК, но, скорее всего, смартфон) должен быть пользовательским агентом, который выполняет большинство запросов.
  • Важно отметить, что пользовательский агент загрузки ресурсов страницы сообщает о вторичной выборке ресурсов страницы. При сканировании страницы Google извлекает ключевые ресурсы, такие как CSS или изображения, для визуализации страницы перед индексированием. Пользовательский агент, о котором сообщается, как загрузка ресурса страницы, выполняет эти запросы. Если изображения или видео загружаются в качестве ресурса страницы для целей рендеринга, то их пользовательским агентом является загрузка ресурса страницы (а не изображение Google или видео Googlebot). 

7. Думайте сами

Google неплохо определяет и регулирует скорость сканирования вашего сайта. Однако бывают ситуации, когда даже Google не все понимает и сканирует либо слишком много, либо слишком мало.

Что делать, если скорость сканирования слишком низкая?

Вот несколько советов о том, что делать при слишком низкой скорости сканирования (Google сканирует слишком мало): 

  • Если у вас совершенно новый сайт, не ожидайте большой активности сканирования. Это обычная ситуация с новыми сайтами, на которых не так много обратных ссылок. В этом случае нужно сделать две вещи: 
    • создать карту сайта в формате XML и отправить ее через Google Search Console.
    • продолжайте создавать новый и качественный контент.
  • Вы не можете попросить Google увеличить скорость сканирования вашего сайта (к сожалению).
  • Проверьте свой robots.txt : 
    • Возможно, вы или кто-то из вашей команды добавили новое правило в файл robots.txt, и теперь оно блокирует те части вашего сайта, сканирование которых вы не хотите блокировать. 
    • А также убедитесь, что сканирование всего сайта не заблокировано. Удивительно, как часто это происходит!
  • Google не сможет сканировать страницы с поврежденным HTML или неподдерживаемыми типами мультимедиа. Чтобы убедиться, что Google может проанализировать вашу страницу, используйте инструмент проверки URL. 
  • Google может сканировать ваш сайт реже, если содержимое на нем не меняется часто или (упс) если оно не самого лучшего качества. Лучший способ оценить качество сайта - проанализировать критерии качества, изложенные в Руководстве по оценке качества Google.  

Что делать, если скорость сканирования слишком высока?

Хотите верьте, хотите нет, но Google, слишком много сканирующий ваш сайт, также может быть проблемой, особенно если он перегружает ваш сервер запросами. 

Вот что вы можете сделать, чтобы Google не перегружал ваш сайт запросами:

  • Выполните анализ логов сервера или проверьте раздел типа робота Google в отчете о статистике сканирования, чтобы узнать, какой тип робота Googlebot сканирует слишком много. 
  • Уменьшите скорость сканирования робота Googlebot в настройках скорости сканирования (она будет ниже в течение 90 дней). Дайте Google 1-2 дня на корректировку.  
  • Обратите внимание, что всплеск сканирования - это хорошо (если только это не убивает ваш сайт). Это может произойти, если вы добавите много нового контента на свой сайт или разрешите сканирование раздела, сканирование которого ранее было заблокировано. 

8. Сравните отчет статистики сканирования с логами вашего сервера

Это будет, наверное, самое интересное. Вот что вам нужно знать об отчете статистики сканирования и логах вашего сервера, чтобы правильно интерпретировать и то, и другое:

  • Статистика сканирования в Google Search Console не содержит всех запросов сканирования, которые Google отправлял вашему сайту. 
  • Однако в журналах вашего сервера будут содержаться все запросы робота Googlebot. 
  • Статистика сканирования Google Search Console, очевидно, даст вам статистику только о пользовательских агентах Google.
  • В логах вашего сервера вы увидите активность каждого пользовательского агента, который сканировал ваш сайт. Это, конечно, также включает пользовательских агентов других поисковых систем. И любые другие пользовательские агенты.
  • Если вы не работаете на собственном сайте и не имеете полного доступа к серверу и его логам, статистика сканирования Google Search Console может быть вашим единственным шансом взглянуть на то, как Google сканирует сайт. Если вы работаете с более крупным клиентом, получить логи серверов от их команды разработчиков может быть практически невозможно. Вот почему вы должны знать, как использовать и - при необходимости - действовать в соответствии с отчетом о статистике сканирования. 

Как НЕ использовать новый отчет по статистике сканирования: НЕЛЬЗЯ

И, наконец, вот несколько советов, как не использовать отчет статистики сканирования. НЕ используйте отчет по статистике сканирования: 

  • Чтобы найти неработающие (404) страницы на веб-сайте ❌

В отчете будет показан только пример url адресов, которые вернули 404, когда робот Googlebot сканировал сайт. Чтобы обнаружить все страницы 404, просканируйте сайт с помощью сканера, такого как Screaming Frog.  

  • Чтобы проверить, есть ли на сайте редиректы (301, 302 или другие) и правильно ли они реализованы ❌

Как и выше. Это только перенаправления, обнаруженные и просканированные роботом Googlebot. Чтобы увидеть полную картину, вам нужно самостоятельно просканировать сайт. 

  • Чтобы проанализировать скорость сайта ❌

В отчете показано среднее время ответа робота Googlebot. Чтобы получить полное представление о скорости веб-сайта, вам необходимо проверить ее с помощью инструментов скорости, таких как Google PageSpeed ​​Insights , GTmetrix или WebPageTest .  

  • Чтобы проверить рендеринг JavaScript  ❌

В таблице По типу файла вы увидите запросы на файлы JavaScript. Это не имеет ничего общего с тем, как робот Googlebot отображает JavaScript на сайте. Чтобы проверить это, вам нужно запустить тест для мобильных устройств или отобразить JavaScript с помощью какого-нибудь сканера веб-сайтов, например Screaming Frog. 

  • Чтобы проверить, посещают ли сайт в основном пользователи компьютеров или мобильных устройств  ❌

То, что вы видите в таблице по типу робота Google, не отражает процентное соотношение пользователей смартфонов и настольных компьютеров на вашем сайте. Эта информация доступна в Google Analytics. 

  • Чтобы проверить, переведен ли ваш сайт на mobile first index ❌

Не имеет значения, переведен ли ваш сайт на индексирование с мобильных устройств или нет. Как смартфон, так и компьютер Googlebot могут сканировать его. Чтобы проверить свой основной сканер, перейдите в Индекс - Покрытие. Вверху страницы вы увидите информацию об основном сканере для вашего сайта. 

основной робот на сайте

Вот и все.

Я хотел, чтобы это руководство было мини-справочником примерно из 1000 слов, но, как всегда, оно оказалось чуть больше. Поэтому я надеюсь, что вы сможете использовать это на благо своего сайта.

Понравилась статья?

Подпишись на канал в telegram, где еще больше полезной информации.

2 Comments

  1. Korneeva SaSha

    Очень помогло👍🏻

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *