Як знайти контент, що дублюється, на сайті

Дублі сторінок і контенту на сайті повинні бути відсутніми, оскільки це може утруднити пошуковим системам вибір сторінки для запиту.

Хоча покарання за дублювання контенту є міфом у SEO, дублі сторінок можуть спричинити витрати краулінгового бюджету та послабити PageRank.

Варто пам'ятати, що дубльований та схожий контент є природною частиною інтернету, і не є проблемою для пошукових систем, які канонізують URL-адреси та фільтрують їх за потреби. Однак у масштабі це може бути більш проблематичним.

Запобігання дублювання контенту дозволяє вам контролювати те, що індексується та ранжується, а не залишати вибір релевантної сторінки пошуковим системам.

З цього туторіалу ви дізнаєтеся, як за допомогою Screaming Frog SEO Spider можна знайти як точний дубльований контент, так і майже дубльований контент, коли контент на сторінці частково дублюється по сайту.

1. Увімкніть Near Duplicates через Config > Content > Duplicates

За замовчуванням SEO Spider автоматично шукає дублікати сторінок. Проте, для ідентифікації «Майже дублюючий контент» має бути увімкнена функція, яка дозволяє зберігати вміст кожної сторінки.

SEO Spider шукає близькі дублікати із збігом на 90%, який можна налаштувати для пошуку контенту з нижчим порогом подібності.

SEO Spider також перевірятиме лише індексовані сторінки на наявність дублікатів (як точних, так і майже).

Це означає, що якщо у вас є дві URL-адреси, але один з них канонізований з іншим (і, отже, не індексується), контент не буде враховуватися - якщо ця опція не відключена.

2. Налаштуйте «Content Area» через «Config > Content > Area»

SEO Spider автоматично виключить елементи навігації та футери, щоб зосередитися на основному змісті. Однак не кожен сайт побудований з використанням елементів HTML5, тому за потреби ви можете уточнити область вмісту, яка використовується для аналізу. Ви можете вибрати "включити" або "виключити" HTML теги, класи та ідентифікатори в аналізі.

Наприклад, можна виключити повторюваний текст привітання під моїм фото. Хоча це не є великою проблемою, в даному випадку, але подібним чином ми наголошуємо на основному контенту сторінок сайту.

3. Скануйте сайт

Відкрийте SEO Spider, введіть url адресу сайту в полі та натисніть "Пуск".

Зачекайте, доки сканування завершиться, але ви також можете переглянути аналіз у режимі реального часу.

4. Перейдіть на вкладку «Content»

На вкладці «Content» є 2 фільтри, пов'язані з вмістом, що дублюється, «точні дублі» і «майже дублі».

Тільки "точні дублікати" доступні для перегляду під час сканування. Для майже дублі потрібно обчислення в кінці сканування через функцію Crawl Analysis.

5. Натисніть "Crawl Analysis" > "Start", щоб заповнити фільтр "Майже дублі".

Зніміть прапорці з інших елементів, які вимагають аналізу після сканування, щоб прискорити цей крок.

Після закінчення аналізу ви можете переглянути майже дублі сторінок.

6. Аналіз вкладок 'Content', 'Exact', 'Near'

Після виконання аналізу після сканування, фільтри «Near Duplicates (майже дублі)», «Closest Similarity Match (найближчий збіг)» і «No. Near Duplicates (кількість дублів)» будуть заповнені стовпці. Тільки url-адреси зі змістом вище обраного порогу подібності міститимуть дані, решта залишаться порожніми. У разі c promodo маємо 7 дублів контенту.

Виправляйте, якщо це читаєте.

Сканування більших сайтів покаже більше проблем, особливо різні сайти новин.

Майже однакові сторінки слід перевіряти вручну, оскільки існує безліч причин, через які деякі сторінки дуже схожі за змістом, наприклад, варіації одного товару, теги, архіви, відео без контенту тощо.

Однак url-адреси, помічені як майже дублі, слід переглянути, щоб визначити, чи повинні вони існувати як окремі сторінки через їхню унікальну цінність для користувача, чи їх слід видалити, об'єднати або покращити, щоб зробити контент більш опрацьованим та унікальним.

7. Аналіз вкладки "Dublicate Details"

Для "Майже дублі" натисніть вкладку "Dublicate Details" у нижній частині.

Наприклад, тут можна переглянути всі URL-адреси сторінок, що дублюють конкретну сторінку.

У правій частині вкладки «Dublicate Details» відображатиметься дубльований контент, виявлений на сторінках, і виділятимуться відмінності між сторінками при натисканні на кожний url.

Поради

1. Щоб отримати більш точні результати, дізнайтесь область вмісту для аналізу та налаштуйте поріг для різних груп сторінок.
2. Виключайте класи css, які виводять меню, футер, хедер для більш правильного аналізу.
3. Аналізуйте усі майже дублі вручну.
4. Поріг подібності 90% - за умовчанням, використовуйте свій.