UPD 26.11.2018: Статья обновлена.
UPD 26.07.2020: Screaming frog добавил функционал проверки, и не нужно никаких танцев с бубном:
Google делает отличную работу по предоставлению различных инструментов для SEO и веб-мастеров. Хотя они не могут предоставить наиболее подробный анализ, но мы можем видеть, как Google просматривает наши веб-страницы.
Недостаток сервиса в том, что мы не можем массово проверить все страницы сайта. А проверять отдельно каждую страницу сайта не очень охота. И часто этот момент упускаем, не придавая скорости загрузки особенного значения.
Но я знаю как исправить это, и автоматизировать процесс получения метрик скорости загрузки сайта с помощью screaming frog.
URL адреса
Для начала нам необходимо получить весь список URL своего сайта. Или не весь, здесь суть не в этом. Покажу все на собственном примере, т.к. на своем сайте.
Парсим сайт, копируем все необходимые ссылки в Excel, столбец B.
Затем вам нужно добавить в ячейку А1 URL-адрес страницы по умолчанию для скорости страницы:
https://developers.google.com/speed/pagespeed/insights/?url=
В ячейку С1 добавьте формулу =$A$1&B1 и растяните на все строки которые есть в столбце B.
В итоге у вас должно выйти так:
Настройки
Теперь когда у вас есть необходимые урлы, необходимо настроить фрог так, что бы Google не понял, что вы используете бота и не показал вам Captcha:
- переключаемся в режим списка (в меню Mode > List);
- переходим к настройкам рендеринга находящий в разделе Configuration > Spider > Rendering — выбираем JavaScript, и увеличиваем тайм-аут AJAX с 5 секунд до 10 для безопасности;
- так же уменьшаем скорость обхода страниц в меню Configuration > Speed. Устанавливаем 1 поток и максимум url/s между 0,1 и 0,5 секунды. Поиграйте с этим и найдите свое число.
Extraction
Теперь когда мы все подготовили, необходимо настроить выборку данных, те самые оценки.
Переходим в меню Configuration > Custom > Extraction и вводим следующие коды XPath:
Оценка мобильной оптимизации:
(//div[@class=»lh-gauge__percentage»])[2]
Оценка оптимизации на ПК:
(//div[@class=»lh-gauge__percentage»])[3]
Мобильный FCP:
(//div[@class=»metric-value»]//text())[1]
ПК FCP:
(//div[@class=»metric-value»]//text())[5]
Первая задержка мобильного ввода (FID):
(//div[@class=»metric-value»]//text())[2]
Первая задержка ПК ввода (FID):
(//div[@class=»metric-value»]//text())[6]
Время загрузки первого контента для мобильных:
(//div[@class=»lh-metric__value»]//text())[1]
Время загрузки первого контента для ПК:
(//div[@class=»lh-metric__value»]//text())[7]
Время загрузки достаточной части контента для мобильных:
(//div[@class=»lh-metric__value»]//text())[4]
Время загрузки достаточной части контента для ПК:
(//div[@class=»lh-metric__value»]//text())[10]
Индекс скорости загрузки для мобильных:
(//div[@class=»lh-metric__value»]//text())[1]
Индекс скорости загрузки для ПК:
(//div[@class=»lh-metric__value»]//text())[8]
Время окончания работы ЦП для мобильных:
(//div[@class=»lh-metric__value»]//text())[5]
Время окончания работы ЦП для ПК:
(//div[@class=»lh-metric__value»]//text())[11]
Время загрузки для взаимодействия для мобильных:
(//div[@class=»lh-metric__value»]//text())[3]
Время загрузки для взаимодействия для ПК:
(//div[@class=»lh-metric__value»]//text())[9]
Приблизительное время задержки при вводе для мобильных:
(//div[@class=»lh-metric__value»]//text())[6]
Приблизительное время задержки при вводе для ПК:
(//div[@class=»lh-metric__value»]//text())[12]
Если вы все сделали правильно, у вас должна быть зеленая галочка рядом с каждой записью:
Не забудьте выбрать XPath и Extract Text что бы все заработало как нужно.
Жмем ОК.
Запускаем парсинг
Копируем подготовленный список из Excel и вставляем его через кнопку Upload > Paste.
Проснувшись и выпив чашечку кофе на следующее утро можно приступать к экспорту и анализу полученных данных:
Делаем через меню Custom> Filter> Extraction и экспортируем в таблицу .xls:
После того как файл экспорта открыт, в первом столбце заменяем https://developers.google.com/speed/pagespeed/insights/?url= ничем. Так мы вернем все прежние url адреса нашего сайта.
После небольшого форматирования вы должны получить таблицу, которая выглядит примерно так:
Я надеюсь, что это краткое руководство было полезно, и если у вас возникнут какие-либо проблемы или какие-либо другие полезные трюки с функцией extraction, то дайте мне знать в комментариях ниже.
P.S. Работает только на версии 9.0 и выше.
Похожие посты
21 Comments
Добавить комментарий Отменить ответ
Владислав Политай

Привет, меня зовут Владислав Политай. Я основатель Politay.PRO. Моя цель - помочь владельцам сайтов получить максимальную отдачу от их поисковой оптимизации и помочь в развитии их бизнеса. По любым вопросам в телеграм - https://t.me/Politay
Огонь! Всё разжевано и готов к употреблению)) Спасибо!
Реально полезный кейс — без воды и по факту. Одна статья полезней всех гуру-выступающих на каких-то условных 8P или других конференциях
Спасибо, реальный кейс. до этого пользовался данными в гугл аналитикс, но такой подход тоже норм
Спасибо, очень доступно все описано
Последнее время, в большинстве проектов, Page Speed — Unavailable . Это как-то решается?)
Скорость определяется через Chrome User Experience Report. На сайт должны реальные пользователи зайти, а Insights потом покажет средние значения.
спасибо огромное 🙂
козырно
Если вы все сделали правильно, у вас должна быть зеленая галочка рядом с каждой записью — все правильно делаю, но красный крестик не пускает(
А можно скрин?)
спасибо
Привет, хороший кейс.
Только у меня чего-то не работает.
Делаю все как у тебя в описании, не подскажешь что не так могу делать ?
http://prntscr.com/nllyk4 — вот собственно и сама суть . Зеленых галочек напротив не получается добиться, ни с Extract Text, ни с Extract Inner HTML .
Прошу прощения, но видимо Elementator сменил кавычки на елочки. Теперь все должно быть ок, теперь код правильный)
Спасибо большое за оперативный ответ ! 🙂
Теперь все гуд, все работает ! :))))
А не проще ли сделать через API?
Мы не ищем легкий путь)
Отличная инструкция, все понятно. Однако, почему-то не работает! Было все сделано по инструкции, результата нет. Колонки есть, данные не отображаются
Скриншот: http://joxi.ru/Dr87YpkIzB3PJA
Сложно дать оценку почему не работает только по скрину) напишите в телегу
Здравствуйте! Добавьте, пожалуйста, что теперь проверить показатели Page Speed, в программе Screaming frog, можно через Google API
Добрый день, спасибо за бдительность, я как раз недавно добавил в начале статьи)