Массовое тестирование PageSpeed ​​Insights

UPD 26.11.2018: Статья обновлена.

Google делает отличную работу по предоставлению различных инструментов для SEO и веб-мастеров.  Хотя они не могут предоставить наиболее подробный анализ, но мы можем видеть, как Google просматривает наши веб-страницы.

Недостаток сервиса в том, что мы не можем массово проверить все страницы сайта. А проверять отдельно каждую страницу сайта не очень охота. И часто этот момент упускаем, не придавая скорости загрузки особенного значения.

Но я знаю как исправить это, и автоматизировать процесс получения метрик скорости загрузки сайта с помощью screaming frog.

URL адреса

Для начала нам необходимо получить весь список URL своего сайта. Или не весь, здесь суть не в этом. Покажу все на собственном примере, т.к. на своем сайте.

Парсим сайт, копируем все необходимые ссылки в Excel, столбец B.

Затем вам нужно добавить в ячейку А1 URL-адрес страницы по умолчанию для скорости страницы:
https://developers.google.com/speed/pagespeed/insights/?url=

В ячейку С1 добавьте формулу =$A$1&B1 и растяните на все строки которые есть в столбце B.

В итоге у вас должно выйти так:

Настройки

Теперь когда у вас есть необходимые урлы, необходимо настроить фрог так, что бы Google не понял, что вы используете бота и не показал вам Captcha:

• переключаемся в режим списка (в меню Mode > List);
• переходим к настройкам рендеринга находящий в разделе Configuration > Spider > Rendering — выбираем JavaScript, и увеличиваем тайм-аут AJAX с 5 секунд до 10 для безопасности;
• так же уменьшаем скорость обхода страниц в меню Configuration > Speed. Устанавливаем 1 поток и максимум url/s между 0,1 и 0,5 секунды. Поиграйте с этим и найдите свое число.

Extraction

Теперь когда мы все подготовили, необходимо настроить выборку данных, те самые оценки.

Переходим в меню Configuration > Custom > Extraction и вводим следующие коды XPath:

Оценка мобильной оптимизации:

(//div[@class=»lh-gauge__percentage»])[2]

Оценка оптимизации на ПК:

(//div[@class=»lh-gauge__percentage»])[3]

Мобильный FCP:

(//div[@class=»metric-value»]//text())[1]

ПК FCP:

(//div[@class=»metric-value»]//text())[5]

Первая задержка мобильного ввода (FID):

(//div[@class=»metric-value»]//text())[2]

Первая задержка ПК ввода (FID):

(//div[@class=»metric-value»]//text())[6]

Время загрузки первого контента для мобильных:

(//div[@class=»lh-metric__value»]//text())[1]

Время загрузки первого контента для ПК:

(//div[@class=»lh-metric__value»]//text())[7]

Время загрузки достаточной части контента для мобильных:

(//div[@class=»lh-metric__value»]//text())[4]

Время загрузки достаточной части контента для ПК:

(//div[@class=»lh-metric__value»]//text())[10]

Индекс скорости загрузки для мобильных:

(//div[@class=»lh-metric__value»]//text())[1]

Индекс скорости загрузки для ПК:

(//div[@class=»lh-metric__value»]//text())[8]

Время окончания работы ЦП для мобильных:

(//div[@class=»lh-metric__value»]//text())[5]

Время окончания работы ЦП для ПК:

(//div[@class=»lh-metric__value»]//text())[11]

Время загрузки для взаимодействия для мобильных:

(//div[@class=»lh-metric__value»]//text())[3]

Время загрузки для взаимодействия для ПК:

(//div[@class=»lh-metric__value»]//text())[9]

Приблизительное время задержки при вводе для мобильных:

(//div[@class=»lh-metric__value»]//text())[6]

Приблизительное время задержки при вводе для ПК:

(//div[@class=»lh-metric__value»]//text())[12]

Если вы все сделали правильно, у вас должна быть зеленая галочка рядом с каждой записью:

Не забудьте выбрать XPath и Extract Text что бы все заработало как нужно.

Жмем ОК.