Повний технічний аудит сайту за допомогою програми Screaming Frog

Технічний аудит сайту – це один з найважливіших етапів у SEO просуванні сайту, який полягає у знаходженні помилок на ресурсі і їх усуненні.

Адже всі помилки, які допущені на цьому сайті, негативно впливають на його індексацію і ранжування у ТОПі. Незамінним інструментом для допомоги кожного веб-майстра і seo-фахівця є програма Screaming Frog. Вона не призначена для великих сайтів і до 50 000 url є безкоштовною.

Базовий функціонал й інтерфейс програми

Як і з будь-якою іншою програмою, спочатку ознайомимося з її інтерфейсом.

Для початку аудиту вводимо URL сайту в поле для адреси і натискаємо на кнопку “Start”.

Якщо у вас невеликий сайт, то сканування займе всього пару хвилин.

У підсумку ми бачимо головне вікно з розділеними областями на 4 частини:

  • у вікні №1 – табличка, зі списком всіх сторінок сайту;
  • у вікні №2 – кількість сторінок сайту і їх співвідношення у відсотках;
  • у вікні №3 – детальна інформація про конкретну сторінку, яка обрана у вікні №1;
  • у вікні №4 – структура сайту у вигляді діаграми.


Давайте більш детально ознайомимося з функціоналом цієї програми і дізнаємося як вона нам допоможе аналізувати наш сайт.

Вкладка Internal

У вкладці Internal показуються всі внутрішні сторінки, тому тут можна подивитися наступну інформацію:

1. Індексування сторінок

У стовпці Indexability можна побачити які у нас сторінки доступні для індексації, а які закриті від пошукового бота.

Дуже важливо, щоб основні сторінки серверів, каталогу і товарів були доступні для індексації, а якщо ні, то обов’язково розібратися у причинах і усунути цей дефект.

2. Коди відповідей сторінок і їх аналіз

Всі сторінки сайту повинні віддавати правильні коди відповіді сервера: корисні сторінки (такі, як категорії товарів, товари, сторінки послуг) повинні віддавати відповідь 200, сторінки, що відсутні – віддавати 404 (перевірте, щоб вони були виключені з перелінкування сайту), сторінки, які змінили свою адресу назавжди – відповідь 301, сторінки, які змінили свою адресу тимчасово (такі, як акції) – відповідь 302.

Це все можна побачити у стовпці Status Code (де показується інформація про код відповіді сервера), і у сусідньому стовпі Status – розшифровка коду сервера (наприклад, для коду 200 – статус ОК і т.д).

Ідеальна ситуація, коли 100% сторінок сайту повертають код відповіді сервера 200, але на практиці цього домогтися складно. Також, це допоможе збільшити швидкість завантаження сайту.

Наприклад, розберемо сторінку https://uaateam.agency/about-us. Як ми бачимо, у неї стоїть статус коду 301, а значить, що вона назавжди змінила свою адресу.

Нам необхідно дізнатися, куди вона тепер перенаправляє користувача, щоб не виявилося, що вона посилається на відсутню або невідповідну сторінку. Для цього натискаємо на потрібний нам рядок, і у нижньому вікні для нас відобразиться більш детальна інформація.

Вибираємо вкладку Outlinks, де знаходиться інформація на які url посилається ця сторінка, і бачимо, що вона веде на ту ж сторінку, тільки зі слеш.

Також, це можна зробити набагато зручніше у вкладці Response Code, де показується інформація про коди відповіді для внутрішніх і зовнішніх посилань.

Вибравши фільтр, можна переглядати та аналізувати окремо сторінки з 301-відповіддю, з 404-відповіддю тощо. Такий варіант підійде для дуже великих сайтів, і якщо у вас дуже багато сторінок з не 200-ю відповіддю.

Увага! Краще уникати наявності зайвих редиректів всередині сайту, бо це суттєво уповільнює швидкість завантаження сторінок і має негативний вплив на передачу ваги за сторінками.

Відбувається це тому, що при відкритті конкретної сторінки спочатку витрачається час на її завантаження, потім тільки здійснюється редирект на іншу сторінку, який займає теж деякий час, а тільки потім завантажується вже цільова сторінка, необхідна для користувача.

Вкладка External

Тут показується список всіх ресурсів, на які посилається аналізований сайт. Для детальної інформації про те, з яких IP-адрес і на які сайти посилається ваш сайт, вибираємо вкладку Inlinks, яка знаходиться внизу в 3-му вікні.

3. Перевірка файлу robots.txt

Якщо на сайті доданий файл robots.txt, то обов’язково необхідно перевірити, щоб там випадково не опинилися важливі сторінки, які закриті від індексації.

У нашому випадку закриті в robots.txt потрібні сторінки від пошукового бота (такі, як фільтри й угрупування сторінок у блозі).
Якщо ви знайдете важливі сторінки тут, необхідно буде скорегувати файл robots.txt, тобто відкрити заховані сторінки для пошукових роботів.

4. Теги Title і Description

Необхідно перевірити, щоб для всіх сторінок був згенерований унікальний Title і Description, і вони містили у собі ключові слова, які користувач без проблем зможе знайти і потрапити на потрібну сторінку.

Загальна інформація за кількістю Title (Page Title) і Description, скільки з них є порожніми на сторінках (Missing) і скільки дубльованими (Duplicate), та в якому відношенні – можна подивитися у вікні № 2.

Щоб подивитися докладніше на яких сторінках пропущені ці важливі мета-теги, повертаємося у перше вікно.

На вкладці Page Titles (Description) можна подивитися для кожної сторінки сніппети і, обравши необхідний фільтр, (Missing і Duplicate) ознайомитися зі сторінками, для яких необхідно буде додати або переписати дані мета-тегу.

SEO-фахівці займаються оптимізацією Title і Description у рамках просування сайту.

5. Тег H1

За аналогією з мета-тегами Title і Description дивимося, щоб на кожній сторінці був присутній унікальний тег h1, який містить найменування послуги, категорії, товару. Це допоможе користувачам краще орієнтуватися на сайті, а пошуковим роботам краще ранжувати її.

Також необхідно перевірити, щоб цей тег був один на сторінці.

6. Оптимізація картинок

Images – це вкладка, яка містить відомості про картинки.

Швидкість завантаження сайту безпосередньо залежить від розміру картинок. Тому великі за вагою картинки, а саме понад 100 кb, дуже сповільнюють його. Тому рекомендується не використовувати даний тип зображення.

Також, необхідно перевірити, щоб на картинках послуг і товарів були заповнені Alt і Title. Це допоможе краще ранжуватися у пошуку за картинками.

7. Перевірка атрибута rel = “canonical”

Для боротьби з дубльованим контентом, необхідно для всіх категорій товарів або послуг прописати атрибут rel = “canonical” між тегами <head> </ head>. Завдяки цьому пошукові роботи почнуть вважати її більш пріоритетною.

8. Аналіз карти сайту Sitemap.xml

Якщо на сайті є файл sitemap.xml, то рекомендується перевірити чи не включені помилково сторінки з 301-редиректом, 404-помилками і дублями у ньому.
Як правило, карту сайту можна знайти за адресою:

[Назва сайту] /sitemap.xml.

Для аналізу сайту програмою Seo Frog необхідно змінити режим: Mode – List.

І потім обрати варіант завантаження:

Висновок

У цій статті ми розглянули основні моменти, які необхідно перевіряти під час проведення аудиту сайту за допомогою Screaming Frog SEO Spider.

Такі міні-аудити також рекомендується періодично здійснювати для оперативного виявлення і виправлення помилок у роботі сайту.

Якщо у вас виникають труднощі або питання з приводу проведення технічного аудиту вашого сайту, то ви завжди можете звернутися до наших професійних SEO-фахівців компанії UAATeam, які з радістю допоможуть вам.