Як проаналізувати логи сервера щодо SEO, на що звернути увагу і які інструменти використовувати.
Що таке логі сервера
Логи сервера - це файл (або кілька файлів), який автоматично створюється та підтримується сервером і складається зі списку виконаних ним дій.
З метою SEO нас цікавить журнал веб-сервера, який містить історію запитів сторінок сайту як від людей, так і від роботів.
Дані файлу логів виглядають приблизно так:
Так, спочатку дані виглядають трохи заплутаними, тому давайте розглянемо їх уважніше.
Приклад запису
165.225.36.80 - - [20/Feb/2019:00:03:25 +0200] "GET /wp-content/uploads/2018/05/zagruzka-sitov.png.pagespeed.ce.52gczG4nQH.png HTTP/1.1" 200 83191 "https://politay.pro/parsim-kontent-konkurenta/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.96 Safari/537.36"
Тут ми бачимо, що для кожного запиту нам дається ключова інформація, така як дата та час, код відповіді запитаної URL (в даному випадку 200) та User agent, з якого надійшов запит. Як ви вже зрозуміли, файли логів складаються з тисяч звернень щодня, тому що кожного разу, коли користувач або бот заходить на ваш сайт, для кожної сторінки, що запитується, записується багато звернень, включаючи зображення, CSS, JS і будь-які інші файли, необхідні для візуалізації сторінки.
Чому вони важливі
Тепер ви знаєте, що таке логи сервера, але чому варто їх проаналізувати?
Існує лише один достовірний запис про те, як пошукові системи, наприклад Googlebot, обробляють ваш сайт – під час перегляду лог файлів сервера для вашого сайту.
Google Search Console, сторонні сканери та пошукові оператори не дадуть нам повної картини про те, як пошукові системи взаємодіють із сайтом. ТІЛЬКИ файли логів сервера можуть надати нам цю інформацію.
Як використовувати аналіз логів для SEO
Аналіз файлу логів дає нам безліч корисних відомостей:
- що можна чи не можна сканувати;
- переглянути відповіді, з якими зіткнулися пошукові системи під час сканування, наприклад, 302, 404, 500;
- визначити недоліки сканування, які можуть мати великі наслідки для сайту (наприклад, ієрархія чи структура внутрішніх посилань);
- подивитися, які сторінки пошуковики розставляють за пріоритетами, і можуть вважати важливішими;
- контролювати краулінговий бюджет.
Як отримати лог файли
Для аналізу вам потрібні необроблені логи із серверів вашого домену без фільтрації або внесених змін. В ідеалі вам знадобиться великий обсяг даних, щоб зробити корисний аналіз. Скільки днів/тижнів варто аналізувати, залежить від розміру, авторитету вашого сайту та кількості трафіку, що він генерує. Для деяких сайтів може бути достатньо тижня, а для інших сайтів може знадобитися місяць або більше.
Мій хостинг підтримує вивантаження логів через свій інтерфейс, тому дістати логи свого сайту мені не склало труднощів.
Які інструменти потрібно використовувати
Я використовую Screaming Frog Log File Analyzer, так як його зручний інтерфейс дозволяє швидко і легко виявляти будь-які проблеми.
Також можна використовувати Splunk і GamutLogViewer.
Як аналізувати лог-файли для SEO
1. Знайдіть, де витрачається марно краулінговий бюджет
По-перше, що таке краулінговий бюджет? Google визначає це як:
Беручи до уваги швидкість сканування та потребу у скануванні, ми визначаємо бюджет сканування як кількість URL-адрес, які робот Googlebot може і хоче сканувати.
По суті - це кількість сторінок, які пошукова система скануватиме щоразу, коли відвідує ваш сайт. Залежить від авторитету домену та пропорційно до кількості посилань на сайті.
Критично важливо, що при аналізі ліг краулінговий бюджет може іноді витрачатися на нерелевантні сторінки. Якщо у вас є новий контент, який ви хочете проіндексувати, але не залишилося бюджету, Google не буде індексувати новий контент.
Ось чому варто відстежувати, куди ви витрачаєте свій бюджет сканування сайту за допомогою аналізу логів сервера.
Оптимізація краулінгового бюджету допоможе пошуковим системам сканувати та індексувати найважливіші сторінки вашого сайту.
Чинники, що впливають на бюджет сканування
Наявність безлічі URL-адрес з неякісним контентом може негативно вплинути на сканування та індексування сайту. URL-адреси з неякісним контентом можуть належати до таких категорій:
- ідентифікатори сеансу;
- дубльований контент;
- посилання на 404 сторінку;
- зламані сторінки;
- низька якість та спам.
Втрата краулінгового бюджету на таких сторінках призведе до виснаження активності сканування сторінок, які справді мають цінність, що може призвести до значної затримки у виявленні якісного контенту на сайті.
2. Відповісти на технічні питання SEO
Аналізуючи файли логів, ми можемо відповісти на наступні питання з набагато більшою впевненістю, ніж якби ми намагалися використовувати інші методи/інструменти:
Як часто скануються сторінки? Наприклад, службові сторінки, блог, сторінка автора.
Чи всі пошукові роботи отримують доступ до ваших сторінок?
Які сторінки не відображаються правильно? Шукайте сторінки з HTTP-статусами 3xx, 4xx та 5xx
І багато іншого!
3. Дізнайтеся, чи перейшов сайт на індекс Google для мобільних пристроїв.
Ви також можете використовувати логі сервера сайту, щоб дізнатися, чи ваш сайт підвищений перегляд Googlebot для смартфонів, що вказує на те, що він був переключений на Mobile First Index.
Як правило, сайт, який все ще знаходиться в звичайному індексі, матиме близько 80% сканування Google, яке виконує сканер для настільних комп'ютерів, і 20% мобільний. Якщо ви перейшли на мобільний індекс, ці цифри поміняються місцями.
Ви можете знайти цю інформацію, переглянувши вкладку User Agents у Screaming Frog Log Analyzer - ви побачите більшість подій, що відбуваються з Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome /41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html):
Аналіз логів: короткий приклад
Наприклад, я виконав аналіз логів свого сайту з використанням Screaming Frog Log Analyzer. Нижче наведено огляд, який містить дані домену:
Я виявив, що Google дуже часто сканує дивну сторінку https://politay.pro/xmlrpc.php:
та розставляє пріоритети над іншими важливими сторінками.
Звичайно, в ідеалі найважливіші сторінки мають скануватися, наприклад, головна сторінка.
Вивчивши скрін вище, ви побачите, що я знайшов ще й такі сторінки: 301 та 404.
Я також виявив, що Google отримує доступ і сканує велику кількість динамічних URL-адрес.
Тепер я ясно бачу кілька технічних виправлень, у тому числі виключення обходу URL-адрес шляхом блокування URL-адрес, що містять певні шаблони, у файлі robots.txt, оновлення програмних 404-х та багато іншого.
Все це допоможе покращити доступність сайту для ПС.
