How Indexing Works

find_in_page Що показує вкладка Indexing

Indexing показує статус кожної відомої вам сторінки в Google index: проіндексована чи ні, з якої причини, коли востаннє Googlebot заходив, який канонікал обрав Google, є структуровані дані чи ні.

Дані тягнемо через URL Inspection API Google Search Console — той самий endpoint який живить кнопку "Inspect URL" у GSC. Кожен URL ми перевіряємо окремо, не bulk.

На відміну від метрик (clicks/impressions, які агреговано тягнуться одним запитом), URL Inspection робиться per-URL. Тобто для 5000 URL — 5000 окремих API-викликів.

list_alt Звідки беремо список URL для перевірки

Це найважливіше що треба зрозуміти про Indexing. Google не дає нам ніякого API endpoint виду "поверни всі URL які ти знаєш для цього сайту". Такого endpoint не існує.

URL Inspection працює так: "спитаєш про конкретний URL — отримаєш відповідь по ньому". Тобто щоб дізнатись статус, ми мусимо вже знати URL і явно його запитати.

Звідки ми беремо URLs для запитів:

Підсумок: наш feed = site_pages ∪ sitemap_urls. Більше нічого. Якщо URL немає ні в одному з джерел — Google може його знати, але ми про нього не запитаємо, бо ми його не знаємо.

balance Чому числа можуть відрізнятись від GSC

Якщо у Google Search Console написано "проіндексовано 4 270, не проіндексовано 1 950" (всього ~6 220), а у нас на вкладці Indexing видно тільки 683 URL — це не баг. Розгадка проста:

• GSC показує всі URL які знає Google для вашого сайту (включно з discovered, crawled-not-indexed, soft 404 — все що Googlebot колись бачив)
• Ми показуємо URL які ми про себе знаємо через свій feed (site_pages + sitemap_urls)

Якщо sitemap не додано — наш feed = тільки URL з impressions. А 1 950 "не проіндексованих" сторінок за визначенням мають 0 impressions (Google їх не показує в пошуку) → у наш feed ніколи не потрапляють. Звідси і різниця.

map Sitemap — ключ до повної картини

Site Settings → Sitemaps дозволяє додати один або кілька sitemap-URL. Що далі:

• Ми скачуємо XML, парсимо всі <loc> елементи
• Підтримуються gzipped sitemap-и (.xml.gz) і sitemap-index файли (рекурсивно розгортаємо до конкретних URL-sitemap-ів)
• Також парсимо <xhtml:link rel="alternate" hreflang="..."> — для multilingual сайтів це принципово, без цього втрачаємо в 3-5 разів URL
• Парсений список зберігаємо у sitemap_urls — він тепер частина нашого URL-feed для inspections
• Refresh кожні 24 години автоматично, або вручну кнопкою

Що ще робить додавання sitemap

• Auto-ping Google: після кожного refresh ми викликаємо GSC Sitemaps API ("я оновив, перечитай") — Google швидше додає нові URL у crawl-чергу. Потребує Full / Owner permission у GSC; Restricted-юзери побачать 403 з поясненням
• "Submit all to Google" у вкладці Sitemaps — одночасний submit всіх sitemap-ів сайту
• Action banner на /indexing у фільтрах "Discovered, not indexed" / "Unknown to Google" — один клік submit всіх sitemap-ів → Google починає re-crawl

hourglass_top Daily quota 2000/site — чому йде поступово

Google ставить жорсткий ліміт: 2 000 URL Inspections на день на сайт. Це окрема квота від Search Analytics (clicks/impressions, 1200/хв), і її не можна збільшити — це ліміт Google.

Що це означає для різних розмірів сайтів:

Стратегія: ми пріоритезуємо нові / un-inspected URL. Якщо ви вчора додали sitemap з 5 000 нових URL — сьогодні ми спробуємо взяти 2000 з них, завтра ще 2000, післязавтра решту.

Уже-inspected URL ми оновлюємо раз на 7 днів (TTL у нас), бо Google не часто змінює статус сторінки. Якщо потрібно швидше — натисніть Refresh у Site Settings.

grid_view KPI-картки і що вони означають

Зверху сторінки Indexing — 9 карток з ключовими цифрами:

tab Sub-tabs всередині Indexing

1. Coverage Overview

Stacked-bar чарт з динамікою indexed / not indexed / excluded / unknown по днях. Видно тренд і регресії після релізів.

2. Why pages aren't indexed

Групує проблемні сторінки по причинах від Google: Discovered, Crawled, noindex, robots, 4xx, soft 404, тощо. Кожна група клікабельна — розкривається список конкретних URL.

3. WoW Drift (Week-over-week)

Дві таблиці: by verdict (загальний tier indexed/not-indexed) + by coverage reason (по конкретних причинах GSC). Показує куди тренд рухається тиждень до тижня — типовий signal для регресій.

4. Sitemap gaps

URL які Google проіндексував але немає у задекларованих sitemap-ах. Сигнал що sitemap incomplete — наприклад, мовні версії /de/, /en/ не задекларовані.

5. Sections breakdown

Розбивка індексації по секціях сайту (/blog/, /tag/, /products/, ...) з відсотком indexed. Дозволяє побачити цілу секцію де системно не індексується.

6. All URLs (повна таблиця)

Всі URL з фільтрами та пошуком: All / Indexed / Not indexed / Excluded / Pending / Discovered, not indexed / Unknown to Google / 4xx / 5xx / No Rich Results. Можна exportувати not-indexed список у CSV.

schedule Розклад і коли запускається

help Часті питання

У GSC показано 4 270 indexed, у вас 683 — чому?

Тому що ви не додали sitemap. Без нього наш feed = тільки URL з impressions (683 — це ті що отримували покази в Google пошуку за останні ~488 днів). Додайте sitemap у Site Settings → через 1-3 ночі картина стане повна.

Я додав sitemap, але цифри не змінились

• Перевірте Site Settings → Sitemaps: чи парсинг успішний (status = green, url_count > 0)
• Подивіться "Last fetched at" — якщо >1 години — потерпіть наступний синк
• Inspect новий URL береться у межах daily quota 2000/site — для 5000 нових URL це 2-3 ночі

Чому "Discovered, not indexed" сторінок так багато?

Найчастіші причини:

• Thin content: сторінка є, але Google вважає що там мало унікального контенту
• Crawl budget exhausted: Googlebot не встиг проіндексувати все, поверне пізніше
• Duplicate content: Google вважає сторінку дублем іншої і не хоче обидві в index
• Low quality signals: мало внутрішніх лінків, слабкий схему

Якщо у вас багато Discovered URL — це сигнал на serious work над якістю контенту. Натисніть "Submit all to Google" може допомогти, але не вирішує root cause.

"Last crawl" дата стара — Google не заходить?

URL Inspection повертає останній crawl Googlebot. Якщо там дата 3 місяці тому — Google свідомо не повертається до цього URL. Найчастіше це low-quality / low-traffic сторінки. Submit through sitemap може спровокувати re-crawl, але без поліпшення сторінки повторно її швидко знов "забудуть".

Canonical mismatches — це баг чи проблема?

Це сигнал. Google переписав ваш canonical (наприклад, ваш ?utm=...-URL знов написав на чистий URL) — це майже завжди правильно. Якщо Google переписав на конкурентний URL або на іншу мовну версію — тоді це проблема для виправлення (зазвичай hreflang setup або дублі контенту).

Що таке "Unknown to Google"?

URL відомий нам (з вашого sitemap), але Googlebot ще ніколи не заходив. Це нормально для нових URL. Якщо >7 днів і URL Discovered — Submit sitemap може допомогти.

Я бачу 5xx errors — це наша проблема?

Ні, це статус Googlebot crawl-ів. Якщо у вас 5xx — це означає ваш сервер віддав error code коли Googlebot заходив. Перевірте логи сервера за дату з "Last crawl".

Чи можна вручну запустити indexing scan?

Поки що ні — тільки нічний автомат. На roadmap є кнопка "Refresh indexing" — це наступний крок після Refresh для Performance. Поки що — Site Settings → Sitemaps → Refresh запускає sitemap re-parse + ping Google, що частково ефект "пришвидш" індексацію (через ping API), але не власний URL Inspection scan.

Як експортувати not-indexed URL для роботи?

У табі "All URLs" виберіть фільтр "Not indexed" (або конкретну причину) → натисніть Export CSV. Список можна далі вантажити у Indexing API (через бот або скрипт) для масової відправки на crawl.