Страница-сирота - это страница на сайте, которая не имеет родительских ссылок. Другими словами, она существует, но внутренних ссылок на нее нет. Таким образом, она не может быть найдена ни пользователем, ни поисковой системой.
Почему они важны?
Небольшое количество страниц-сирот является обычным явлением и не является большой проблемой, однако, в масштабе, они могут внести свой вклад в расход краулингового бюджета, привести к каннибализации или просто плохой работе, если страница является устаревшей.
Из этого туториала Вы узнаете, как с помощью Screaming Frog SEO Spider найти страницы-сироты из трех источников: XML Sitemap, Google Analytics и Search Console.
1. Выберите ‘Crawl Linked XML Sitemaps’ в разделе ‘Configuration > Spider > Crawl’
Чтобы сканировать Sitemap.XML, вы можете выбрать автоматическое обнаружение через директиву в robots.txt или указать url адрес карты сайта xml.
2. Подключитесь к Google Analytics в разделе ‘Configuration > API Access’
Вы можете подключиться к Google Analytics API и получить данные непосредственно во время сканирования. Чтобы найти страницы-сироты из органического поиска, не забудьте выбрать «Organic Traffic».
Вы можете установить диапазон дат для анализа, который в идеале должен составлять не менее месяца, а также другие показатели, которые лучше оставить по умолчанию. Сегмент можно настроить на «Все пользователи» или «Платный трафик», если вы хотите найти страницы-сироты через другие источники.
3. Выберите «Crawl New URLs Discovered In Google Analytics»
Если этот параметр не включен, новые url адреса, обнаруженные с помощью Google Analytics, будут доступны только для просмотра в отчете "Страницы-сироты". Они не будут добавлены в очередь сканирования, доступны для просмотра и отображаются под соответствующими вкладками и фильтрами.
4. Подключитесь к GSC в «Configuration > API Access»
Вы можете подключиться к API Google Search Console и получать данные, такие как показы, клики, CTR и позиции, непосредственно во время сканирования. Все это для того, чтобы найти потерянные страницы, которые получают показы и клики в поиске, но не имеют внутренних ссылок.
По датам аналогично с Google Analytics - не меньше месяца.
5. Выберите «Crawl New URLs Discovered In Google Search Console»
Опять же, если этот параметр не включен, новые url адреса, обнаруженные с помощью GSC, будут доступны только для просмотра в отчете "Страницы-сироты". Они не будут добавлены в очередь сканирования, доступны для просмотра и отображаются под соответствующими вкладками и фильтрами.
6. Запускаем сканирование
На этом этапе сложностей не должно быть.
Можно следить за ходом работы API на соответствующей вкладке.
Дождитесь полного 100% сканирования.
7. Нажмите «Crawl Analysis > Start», чтобы найти страницы-сироты
Большинство фильтров в SEO Spider доступны для просмотра во время сканирования. Однако на вкладках «Sitemaps», «Analytics» и «Search Console» есть три соответствующих фильтра «Страницы-сироты (Orphan urls)», которые можно просмотреть только в конце сканирования.
По окончанию все данные можно просмотреть в соответствующей вкладке.
8. Анализируйте страницы-сироты на вкладках «Sitemap», «Analytics» и «Search Console»
Теперь вы можете просматривать каждую вкладку и соответствующий фильтр 'Orphan URLs', чтобы найти страницы-сироты. Например, в нашем случае есть несколько таких страниц, которые нашла Google Аналитика.
В нашем случае все страницы отдают 404 код, но бывают случаи и с 200.
Что делать с такими страницами - решать уже вам, или обращайтесь к нам. Мы поможем.
