UPD 26.11.2018: Статья обновлена.
UPD 26.07.2020: Screaming frog добавил функционал проверки, и не нужно никаких танцев с бубном:

проверка скорости загрузки сайта

Google делает отличную работу по предоставлению различных инструментов для SEO и веб-мастеров.  Хотя они не могут предоставить наиболее подробный анализ, но мы можем видеть, как Google просматривает наши веб-страницы.

Недостаток сервиса в том, что мы не можем массово проверить все страницы сайта. А проверять отдельно каждую страницу сайта не очень охота. И часто этот момент упускаем, не придавая скорости загрузки особенного значения.

Но я знаю как исправить это, и автоматизировать процесс получения метрик скорости загрузки сайта с помощью screaming frog.

URL адреса

Для начала нам необходимо получить весь список URL своего сайта. Или не весь, здесь суть не в этом. Покажу все на собственном примере, т.к. на своем сайте.

Парсим сайт, копируем все необходимые ссылки в Excel, столбец B.

Затем вам нужно добавить в ячейку А1 URL-адрес страницы по умолчанию для скорости страницы:
https://developers.google.com/speed/pagespeed/insights/?url=

В ячейку С1 добавьте формулу =$A$1&B1 и растяните на все строки которые есть в столбце B.

В итоге у вас должно выйти так:

массовый парсинг

Настройки

Теперь когда у вас есть необходимые урлы, необходимо настроить фрог так, что бы Google не понял, что вы используете бота и не показал вам Captcha:

  • переключаемся в режим списка (в меню Mode > List);
  • переходим к настройкам рендеринга находящий в разделе Configuration > Spider > Rendering - выбираем JavaScript, и увеличиваем тайм-аут AJAX с 5 секунд до 10 для безопасности;
  • так же уменьшаем скорость обхода страниц в меню Configuration > Speed. Устанавливаем 1 поток и максимум url/s между 0,1 и 0,5 секунды. Поиграйте с этим и найдите свое число.
ограничение на рендеринг

Extraction

Теперь когда мы все подготовили, необходимо настроить выборку данных, те самые оценки.

Переходим в меню Configuration > Custom > Extraction и вводим следующие коды XPath:

выбор extraction

Оценка мобильной оптимизации:

(//div[@class="lh-gauge__percentage"])[2]

Оценка оптимизации на ПК:

(//div[@class="lh-gauge__percentage"])[3]

Мобильный FCP:

(//div[@class="metric-value"]//text())[1]

ПК FCP:

(//div[@class="metric-value"]//text())[5]

Первая задержка мобильного ввода (FID):

(//div[@class="metric-value"]//text())[2]

Первая задержка ПК ввода (FID):

(//div[@class="metric-value"]//text())[6]

Время загрузки первого контента для мобильных:

(//div[@class="lh-metric__value"]//text())[1]

Время загрузки первого контента для ПК:

(//div[@class="lh-metric__value"]//text())[7]

Время загрузки достаточной части контента для мобильных:

(//div[@class="lh-metric__value"]//text())[4]

Время загрузки достаточной части контента для ПК:

(//div[@class="lh-metric__value"]//text())[10]

Индекс скорости загрузки для мобильных:

(//div[@class="lh-metric__value"]//text())[1]

Индекс скорости загрузки для ПК:

(//div[@class="lh-metric__value"]//text())[8]

Время окончания работы ЦП для мобильных:

(//div[@class="lh-metric__value"]//text())[5]

Время окончания работы ЦП для ПК:

(//div[@class="lh-metric__value"]//text())[11]

Время загрузки для взаимодействия для мобильных:

(//div[@class="lh-metric__value"]//text())[3]

Время загрузки для взаимодействия для ПК:

(//div[@class="lh-metric__value"]//text())[9]

Приблизительное время задержки при вводе для мобильных:

(//div[@class="lh-metric__value"]//text())[6]

Приблизительное время задержки при вводе для ПК:

(//div[@class="lh-metric__value"]//text())[12]

Если вы все сделали правильно, у вас должна быть зеленая галочка рядом с каждой записью:

готовая настройка

Не забудьте выбрать XPath и Extract Text что бы все заработало как нужно.

Жмем ОК.

Запускаем парсинг

Копируем подготовленный список из Excel и вставляем его через кнопку Upload > Paste.

Проснувшись и выпив чашечку кофе на следующее утро можно приступать к экспорту и анализу полученных данных:

Делаем через меню Custom> Filter> Extraction и экспортируем в таблицу .xls:

экспорт данных

После того как файл экспорта открыт, в первом столбце заменяем https://developers.google.com/speed/pagespeed/insights/?url= ничем. Так мы вернем все прежние url адреса нашего сайта.

автозамена

После небольшого форматирования вы должны получить таблицу, которая выглядит примерно так:

готовая таблица

Я надеюсь, что это краткое руководство было полезно, и если у вас возникнут какие-либо проблемы или какие-либо другие полезные трюки с функцией extraction, то дайте мне знать в комментариях ниже.

P.S. Работает только на версии 9.0 и выше.

Author

Владислав Политай

SEO с 2012 года. На данный момент занимаюсь клиентским SEO и популяризацией науки seo в массы через мой блог.

21 комментарий

  1. Макс
    14.08.2018 Ответить

    Огонь! Всё разжевано и готов к употреблению)) Спасибо!

  2. Павел
    15.08.2018 Ответить

    Реально полезный кейс - без воды и по факту. Одна статья полезней всех гуру-выступающих на каких-то условных 8P или других конференциях

  3. Евгений
    16.08.2018 Ответить

    Спасибо, реальный кейс. до этого пользовался данными в гугл аналитикс, но такой подход тоже норм

  4. Nata
    17.08.2018 Ответить

    Спасибо, очень доступно все описано

  5. Иван
    21.08.2018 Ответить

    Последнее время, в большинстве проектов, Page Speed - Unavailable . Это как-то решается?)

    • admin
      21.08.2018 Ответить

      Скорость определяется через Chrome User Experience Report. На сайт должны реальные пользователи зайти, а Insights потом покажет средние значения.

  6. Людмила
    28.08.2018 Ответить

    спасибо огромное 🙂

  7. Вася
    02.11.2018 Ответить

    Если вы все сделали правильно, у вас должна быть зеленая галочка рядом с каждой записью - все правильно делаю, но красный крестик не пускает(

  8. Артём
    07.05.2019 Ответить

    Привет, хороший кейс.
    Только у меня чего-то не работает.
    Делаю все как у тебя в описании, не подскажешь что не так могу делать ?

    • Артём
      07.05.2019 Ответить

      http://prntscr.com/nllyk4 — вот собственно и сама суть . Зеленых галочек напротив не получается добиться, ни с Extract Text, ни с Extract Inner HTML .

      • Vladislav
        08.05.2019 Ответить

        Прошу прощения, но видимо Elementator сменил кавычки на елочки. Теперь все должно быть ок, теперь код правильный)

        • Артём
          08.05.2019 Ответить

          Спасибо большое за оперативный ответ ! 🙂
          Теперь все гуд, все работает ! :))))

  9. Георгий
    08.05.2020 Ответить

    А не проще ли сделать через API?

    • Vladislav
      13.05.2020 Ответить

      Мы не ищем легкий путь)

  10. Роман
    16.06.2020 Ответить

    Отличная инструкция, все понятно. Однако, почему-то не работает! Было все сделано по инструкции, результата нет. Колонки есть, данные не отображаются
    Скриншот: http://joxi.ru/Dr87YpkIzB3PJA

    • Vladislav
      16.06.2020 Ответить

      Сложно дать оценку почему не работает только по скрину) напишите в телегу

  11. Иван
    13.08.2020 Ответить

    Здравствуйте! Добавьте, пожалуйста, что теперь проверить показатели Page Speed, в программе Screaming frog, можно через Google API

    • Vladislav
      13.08.2020 Ответить

      Добрый день, спасибо за бдительность, я как раз недавно добавил в начале статьи)

Leave a comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *