Що таке індексація сайту Google?
Ви замислювалися, як швидко з’являються результати в Google після введення пошукового запиту? Скільки часу йде у пошукача на відображення списку посилань? Варто тільки натиснути Enter і моментально збираються мільйони релевантних результатів.
Насправді, Google не шукає результати по всіх сайтах в Інтернеті. Він шукає їх у своєму індексі. Якщо власник сайту не додав сторінки в індекс пошукової системи, користувачі не зможуть їх знайти.
Індекс Google. Що це?
Індекс простіше порівняти з величезною бібліотекою. В її каталозі містяться мільярди сторінок. Коли користувачі хочуть щось знайти, Google зі своєї бібліотеки вибирає найбільш відповідні посилання і формує з них видачу.
«Проіндексована» веб-сторінка потенційно може з’явитися в результатах пошуку. Без індексації в Google ніхто не зможе знайти сторінку, навіть якщо вона на 100% підходить під запит користувача.
Як Google індексує сторінки?
Процес індексування Google складний. У ньому багато впливаючих один на одного етапів, але можна виділити три основних:
- Виявлення — власник сайту відправляє пошуковому роботу файл XML sitemaps. У ньому записані всі адреси сторінок, розміщених на вашому сайті. Якщо Google бачить нові адреси, він ставить їх в чергу на сканування.
- Сканування — пошуковик переглядає кожну виявлену сторінку. Проводиться сканування контенту для визначення, на які релевантні запити він відповідає. Знайдена інформація передається в каталог індексації.
- Індексація — виконується аналіз вмісту і візуалізація сторінки. Google визначає, на яку позицію в рейтингу помістити вас. Далі сторінка відправляється в відповідний каталог або індекс.
Мета пошукової системи Google — знайти найкращі відповіді на запити користувачів.
Як перевірити, чи проіндексована сторінка в Google?
Найпростіший спосіб — ввести в пошуковий рядок Google URL-адресу сторінки, яку потрібно перевірити. Якщо сторінка проіндексована, вона з’явиться на першій позиції. Другий спосіб — використовувати команду «site:» перед посиланням (це вузький пошук тільки по вашому сайту).
Якщо сторінка не з’явилася, значить ще знаходиться в «черзі на сканування».
Повний список непроіндексованої сторінок можна знайти в Google Search Console.
Як прискорити індексацію?
Якщо на сайті часто публікується контент, пошуковик сам періодично сканує його сторінки. Це добре видно по новинним ресурсам. Зміни в пошуковій видачі з’являються в перші кілька годин після публікації.
Швидше за все, на вашому сайті немає такого обсягу контенту. Тому Google приділяє сайту менше уваги, а автоматична індексація займає 1-2 тижні. Хочете швидше? Є кілька способів.
Google Search Console
Якщо потрібно проіндексувати одну сторінку, введіть її URL у верхньому рядку Search Console. Система виконає пошук адреси у своїй базі. Якщо він новий, ви побачите повідомлення «URL немає в Google».
Натисніть кнопку «Запросити індексування» і якщо робот не знайде помилок, запуститься процес індексації. Це займе від доби до декількох тижнів. Конкретніше сказати складно. Залежить від репутації сайту і планової роботи, яку належить виконати Google.
Якщо виявиться, що URL є неіндексованим, запросити індексування буде неможливо. В такому випадку використовуйте файл Sitemap.xml.
Файл Sitemap.xml
Щоб прискорити індексацію великої кількості нового контенту або нових сторінок сайту, додайте їх у файл Sitemap.xml. Готовий файл також потрібно відправити в Google з Search Console на індексацію.
Для цього необхідно набрати в браузері:
https://www.google.com/ping? sitemap = https://www.ваш сайт.xxx/sitemap_index.xml
(Замість sitemap_index.xml може бути sitemap.xml. Це залежить від вашого SEO-фахівця або веб-майстра. Просто потрібен шлях до вашого файлу Sitemap)
Search Console показує загальну кількість URL-адрес, включених в Sitemap, і дату їх останнього сканування.
Перелінковка (внутрішні посилання)
Індексація контенту пройде швидше, якщо створити на нього посилання з інших статейя. Важливо! Вони повинні бути вже проіндексованими і регулярно приводити органічний трафік.
Як це правильно зробити? Знайдіть в Google Analytics сторінки з регулярним органічним трафіком. Відкрийте потрібну в адмінці і додайте в текст посилання на нову сторінку.
Google Adwords
Ще один варіант, за допомогою якого ви можете спробувати «виявити» URL-адресу в Google, це використовувати інструмент Google Adwords.
У планувальнику ключових слів зробіть добірку ключів через вкладку «Вказати сайт». Рекламний кабінет тісно пов’язаний з пошуковим роботом, тому додавання в нього нового посилання допоможе звернути на себе увагу Google.
Сайти статистики і пінгу
В Інтернеті існує безліч статистичних служб. Вони займаються скануванням сайтів, щоб збирати дані типу реєстратора домену, хостинг і т.д. Ці служби можна використовувати, щоб поширювати вашу URL-адресу та отримувати тимчасові беклінки:
- Indexkings.com.
- Linkcentaur.com (потрібно створити обліковий запис).
- Pingfarm.com.
- Bulklink.org.
Ще спробуйте розширення для браузера Chrome: Mass Fast Pinger.
Соціальні мережі
Переходи користувачів за новим посиланням допоможуть звернути увагу пошукового робота. Для цього підійдуть соціальні мережі з платним і безкоштовним трафіком. Можна розміщувати URL у власних акаунтах і в чужих блогах, але тут варто бути обережним. Можна потрапити під бан модераторів.
Для корпоративних сайтів добре підійдуть:
- Facebook.
- Linkedin.
- Twitter.
Для творчості й захоплень:
- Pinterest.
- Instagram (посилання в шапці профілю).
- Behance.
Якщо є власний SMM-ник, а контент гнучкий, ніхто не заважає комбінувати обидва списки. Головне — живі переходи.
YouTube
Опублікуйте відео на YouTube з посиланням на сторінку, яку Google потрібно проіндексувати. Найкраще це працює в популярних каналах з регулярною публікацією нових роликів.
Якщо ваш аккаунт не популярний, можна піти через сторонні канали. Є друзі-блогери? Відмінно, можливо вони безкоштовно додадуть посилання. Немає друзів-блогерів? Можна пошукати тематичні канали домовитися про платне розміщення. Правда це вже з області реклами 😉
5 помилок, які заважають індексації сторінок
Google відкрито говорить — навіть якщо пошукова система знайде і повністю просканує URL-адресу, це не гарантія включення сторінки до «каталогу». Ось кілька причин, чому сторінки не потрапляють в індекс:
- Якість — відсутність унікального, цінного контенту, який Google хоче показати користувачам.
- Дубльовані сторінки — якщо на сайті є дублі, використовуйте атрибут canonical або 301 редирект. Атрибут canonical вказує, які сторінки є основними, канонічними. Він зробить так, що пошукач не буде лаятися на повтори та видасть користувачеві сторінку тільки з канонічним тегом.
- Краулінговий бюджет (Crawl Budget) — Googlebot, сканує тільки певну (невідому) кількість URL-адрес на кожному сайті. Витративши «бюджет» на непотрібні сторінки, бот може піти, так і не відвідавши сторінки з важливим контентом. Цей параметр варто враховувати, якщо потрібно проіндексувати відразу багато сторінок.
- Сторінки з відповіддю сервера 404 — помилка 404 означає, що на індексацію відправлена віддалена або неіснуюча сторінка.
- Проблеми індексації — часто з самим сайтом є технічні проблеми, які не дозволяють провести сканування. Однією з важливих є проблема з robots.txt. Якщо Googlebot знаходить robots.txt, але не може отримати до нього доступ, він ігнорує сайт взагалі.
Які сторінки необхідно виключати з індексу?
У ваших інтересах виключити деякі сторінки з індексації. До них відносяться: старі URL-адреси, неактуальні статті, сторінки з особистими даними користувачів, всі можливі дублі і т.д. Попадання таких сторінок в список індексації погіршить її якість.
Видалити сторінки від індексу можна двома способами:
- Файл robots.txt. — він розташований в кореневому каталозі сайту. Через директиви «Allow» і «Disallow» він дозволяє або забороняє пошуковим системам індексувати сторінки сайту.
- Тег “NoIndex” — це рядок коду, який додається в HTML-код сторінки сайту. Наприклад: <meta name = “robots” content = “noindex, follow” />. Для правильної роботи він повинен розміщуватися в розділі head.
Висновки
Індексація пошуковим роботом — необхідна умова для отримання органічного трафіку від Google. Нехитрими маніпуляціями цей процес можна прискорити.
Хоч ми всі представляємо Google як пошукового монополіста, він постійно конкурує з менш розвиненими пошуковими системами. Йому потрібен корисний контент, щоб показати його користувачам. Якщо ви його зробите і будете слідувати вищеописаним інструкціям, органічний трафік прийде на сторінки дуже швидко.