Особливості статусу в Google “Сторінка просканована, але поки що не проіндексована”
Визначення цього статусу в Довідці Google виглядає наступним чином:
Пересічному користувачеві мало що говорить подібне пояснення. Майданчик Google не розшифровує, що сталося і як розв’язати проблему власнику сайту. Він лише вказує на те, що Googlebot здійснив сканування сторінки, але чомусь не проіндексував її.
За нашою інформацією, подібний статус – помилка у звіті про індексування, яка зустрічається найчастіше.
Оскільки рано чи пізно ви обов’язково зіткнетеся з такою помилкою, слід зрозуміти, як ефективно знайти рішення в такій ситуації. Адже сторінка, яка не пройшла індексацію, не відображається в пошуковій видачі та не зможе приносити власнику сайту органічний трафік із пошуковика.
Нижче ми розповімо про особливості чому виникає подібна ситуація й опишемо способи її вирішення.
Як знайти статус “Сторінка просканована, але поки що не проіндексована”
Подібний статус міститься у двох місцях: звіті про індексування та у веб-сервісі Google Search Console, що дає змогу веб-розробникам перевіряти URL і здійснювати інші важливі завдання.
Звіт про індексування
Уніфікований покажчик ресурсу, що має такий статус, занесено до категорії виключених. Крім того, на думку Google відсутність такої сторінки в індексі не є помилкою.
Довідкова документація видає таке визначення цього статусу:
Після того як користувач клацне по статусу, він побачить перелік усіх подібних URL. Для веб-майстра слід спочатку розібратися зі сторінками, що становлять найбільшу цінність для веб-ресурсу.
Звіт доступний для вивантаження. Однак слід врахувати, що експортувати дозволено не більше 1000 URL. Щоб обійти це обмеження, можна відфільтрувати URL за Sitemap, таким чином збільшивши їхню кількість. Приміром, якщо у веб-ресурсу є кілька файлів Sitemap, що містять 1000 URL, які можна завантажити окремо.
Інструмент перевірки URL
Побачити проскановані, проте сторінки, що не пройшли індексацію, можна також, скориставшись інструментом перевірки URL.
У звіті (верхній розділ) зазначено, чи можна знайти сторінку в Гугл. Якщо URL, який перевіряється, внесено до категорії “Виключено” у звіті про індексування, то система видасть повідомлення, що сторінки немає в індексі, хоча це не є помилкою.
Баг у звіті: сторінка дійсно проіндексована
Коли вебмайстер бачить подібний статус, найголовніше, що він повинен зробити – перевірити є чи ні сторінка в індексі. У низці випадків буває, що вона позначається як просканована, а інструмент перевірки URL зазначає, що сторінка дійсно проіндексована.
Також за допомогою цього інструменту можна отримати й іншу інформацію:
- програмні помилки в індексації;
- баги структурованих даних;
- оптимізація для мобільних та інше.
Ще можна подивитися завантажені сторінки, зробити запит на індексування і подивитися оброблений варіант веб-сторінки.
Слід врахувати, що інформація про статус індексації веб-сторінки в інструменті перевірки URL і в звіті про індексацію може відрізнятися одна від одної. Подібні відмінності пояснюються тим, що в 1-му випадку інформація оновлюється по-іншому порівняно з 2-м і з набагато меншою швидкістю. Такий стан речей може бути як повільною роботою системи, так і помилкою у звітності.
Цій проблемі торік приділили увагу і фахівці, зокрема Lily Ray:
Які кроки зробити для усунення проблеми і до якого звіту більша довіра
Ми рекомендуємо під час аналізу ситуації брати до уваги інформацію, отриману інструментом перевірки URL, оскільки він показує більш актуальні та свіжі дані.
Чому з’являється помилка і що робити для її зникнення
У Google немає точної відповіді, чому певна сторінка отримує подібний статус. Але існують певні причини, через які може виникнути ця помилка:
- повільна індексація;
- сторінка, що перевіряється, виявилася низької якості;
- недостатньо хороша архітектура веб-ресурсу;
- сторінка була деіндексована;
- наявність дубльованого контенту.
Затримка індексації
Такий стан речей складається через величезну кількість сторінок в Internet, які Google має опрацювати для визначення тих сторінок, що будуть проіндексовані насамперед.
Зарубіжні вебмайстри проводили дослідження, в результаті якого було отримано таку інформацію:
Google здійснює індексування лише 56% індексованих URL-адрес через добу після розміщення;
тільки через два тижні пошукова система індексує 87% URL
Тому після публікації сторінки слід почекати певний час, і вона може бути проіндексована.
Шляхи вирішення
Вебмайстер не зможе одразу впоратися з цією проблемою, але існує кілька кроків для її усунення в довгостроковій перспективі. Для цього потрібно виконати таке:
- Розробити стратегію індексування, метою якої є допомога Google у встановленні пріоритетів особливо важливих сторінок ресурсу. Вебмайстер вирішує, які зі сторінок підлягають індексації та обирає оптимальні способи сповіщення про це Гугл.
- Перевірити наявність гіперпосилань на сторінки, що становлять найбільшу цінність. Це потрібно для пошуку Google цих сторінок і оптимального розуміння їхнього змісту.
- Розробити якісно оптимізовану карту ресурсу (Sitemap), де перерахувати всі URL-адреси, які мають бути проіндексовані. Даний файл буде використовуватися платформою як дорожня карта, що допоможе швидше шукати сторінки.
Невідповідність сторінок критеріям якості
Через обмежене сховище, Google не здатний здійснити індексацію всіх сторінок у мережі Internet. Внаслідок цього система відфільтровує контент, що не відповідає стандарту якості.
Завдання Гугл – надання користувачам сторінок із високоякісним контентом, що оптимально відповідає їхнім намірам. Простими словами, якщо на сторінці розміщено поганий контент, Гугл може не проіндексувати її, залишаючи запас для високоякісного контенту.
Шляхи вирішення
Вебмайстер або власник інтернет-ресурсу повинен здійснити перевірку, чи опубліковано на його сайті високоякісний контент і чи задовольняє він наміри користувачів. Якщо відповідь негативна, слід подбати про розміщення на ресурсі контенту, що відповідає стандартам якості.
Для визначення цінності контенту, слід скористатися довідковою документацією з оновлень Google. Вона дає перелік запитань, що дають змогу визначити якість контенту. Перелічимо окремі з них:
- Чи є на ресурсі унікальні матеріали (факти, репортажі, аналітичні дані, дослідження).
- Чи розміщені на вашому ресурсі цікаві факти та детальний аналіз даних?
- За наявності контенту зі сторонніх джерел, чи пройшов він якісну переробку чи ні?
- Чи достатньо гарна ваша сторінка, щоб ви поділилися нею зі своїми друзями, додали в закладки, рекомендували б її іншим користувачам?
Для поліпшення сайту вебмайстри також можуть почерпнути інформацію з Керівництва для асесорів Google.
UGC-контент
Навіть у генерованого користувачами контенту можуть виникнути проблеми з якістю. Наприклад, на вашому форумі користувач ставить запитання, але відразу на нього ніхто не відповідає. Через відсутність відповідей Google може порахувати контент низькоякісним, не враховуючи того, що через деякий час у гілці виникнуть відповіді.
Що робити?
Соціальний сервіс обміну знаннями Quora знайшов розв’язання цієї проблеми: кожне запитання, що залишилося без відповіді, має префікс /unanswered/ в URL. Наприклад:
Через блокування файлом robots.txt сторінок з подібним префіксом, Googlebot не здатний здійснювати їх сканування. Але коли на запитання в гілці починають відповідати інші користувачі, URL видозмінюється і його вже можна просканувати.
Видалення Google сторінки з індексу
У низці випадків буває, що сторінка була проіндексована раніше, проте через певний час Google прийняв рішення видалити її з індексу. Тоді у сторінки теж з’являється статус “Сторінка просканована, але поки не проіндексована”. Одна з причин такого стану речей – Гугл здійснює заміну сторінки на контент вищої якості.
Не варто забувати і про оновлення пошукових алгоритмів. Іноді деіндексація може бути підсумком одного з подібних update.
Сторінки зникають з індексу також через збої в роботі Google. Приміром, система може видалити веб-ресурс, якщо у неї з’являється підозра його у зломі.
Шляхи вирішення
У більшості випадків індексація сторінок залежить від її якості. Не варто думати, що проблема не виникне, якщо сторінка вже проіндексована. Тому постійно стежте, щоб на вашому ресурсі публікувався якісний контент, моніторте сайт і робіть різні нововведення.
Після того як питання з контентом буде вирішено, зробіть знову запит на індексацію URL. Так Гугл швидше помітить зміни, що відбулися.
Погана архітектура веб-ресурсу
На думку Джона Мюллера, який працює в Google, ще одна причина появи такого статусу – неякісна структура сайту.
Наприклад, на вашому ресурсі є сторінка з високоякісним контентом, проте Гугл може її відшукати лише через Sitemap. Після відвідин і сканування Googlebot цієї сторінки, він приймає рішення про те, що вона не відповідає стандартам якості. Причина цього криється у відсутності внутрішніх посилань. Googlebot не здатний зробити правильну оцінку сторінки, якщо на ресурсі відсутній семантичний або структурний зміст.
Шляхи вирішення
Імовірність індексації підвищується, коли сайт має якісну архітектуру і продуману структуру. У такому разі пошукові роботи знаходять контент і правильніше його розуміють. Саме тому слід не забувати про внутрішні посилання на ваш сайт і продумати якісну архітектуру вашого ресурсу.
Дубльований контент
Минулого року Adam Gent опублікував цікавий кейс. Веб-сторінка цього SEO-фахівця отримала статус “Сторінка просканована, але поки не проіндексована” через те, що Google вирішив, що вона є дублікатом.
Оскільки в пріоритеті Google показувати юзерам високоякісний оригінальний контент, якщо система виявляє, що певні сторінки є ідентичними, вона може здійснити індексацію лише однієї з них.
У низці випадків такі сторінки у звіті індексування позначаються статусом “Сторінка є копією”. Хоча так відбувається далеко не завжди. Нерідко їм присвоюється статус “Сторінка просканована, але поки що не проіндексована”.
Немає будь-якого чіткого розуміння чому Google так робить. Однією з можливих причин можна назвати те, що статус через деякий час може змінитися, якщо система виявить, що є більш відповідний URL.
Іноді такий статус – баг у роботі Google. Призначаючи статус, система може просто зробити помилку.
Є кілька кроків, як перевірити, чи відображається дубль у пошуковій видачі:
- Перейти на сторінку, що не пройшла індексацію, виділити шматок тексту і скопіювати його.
- Взяти текст у “” і вставити його в пошуковик (“Загуглити”).
- Зробити аналіз отриманих підсумків. Якщо в пошуковій видачі виявлено інший URL з подібним текстом, ваша сторінка не пройшла індексацію через вибір Гугл іншого URL.
Шляхи вирішення
Перевірте, що ви створюєте оригінальні сторінки. За необхідності, розмістіть унікальний контент. Однак повністю позбутися дубльованого змісту не вийде. Це особливо стосується тих випадків, коли у власника сайту є desktop і mobile версії. Існують деякі фішки, як дати Google розуміння того, яка з версій оригінальна.
Під час індексування Google дублікатів, здійсніть перевірку таких складових:
- канонічних посилань (вони допомагають пошуковикам зрозуміти, відмінність оригінальних версій сторінок від дублікатів);
- внутрішніх посилань (перевірте внутрішні посилання – вони мають вказувати на оригінальний зміст сторінок);
- файлів Sitemap (у цих файлах має відображатися виключно канонічна версія веб-сторінки).
Слід врахувати, що все перераховане є підказками для системи, і Гугл не буде їх враховувати в обов’язковому порядку. У кейсі Адама Гента описано, що Гугл обрав для індексування RSS-фід, не зважаючи на те, що низка факторів вказувала на інший URL. Гент знайшов вихід із ситуації в налаштуванні помилки 404, щоб у підсумку залишилася лише оригінальна версія веб-сторінки. Ще він здійснив налаштування HTTP-заголовка X-Robots-Tag на URL-фідах так, щоб була заборона на індексування.
Проблема статусу “Виявлено, не проіндексовано”
Нерідко статус “Сторінка просканована, але поки що не проіндексована” плутають з іншою ситуацією, коли сторінці присвоюють статус “Виявлено, не проіндексовано”.
У цих двох випадках система не здійснює індексацію сторінки. Однак у 1-му випадку пошукова система відвідала і просканувала сторінку, а у 2-му – маючи інформацію про URL, не здійснила сканування.
Висновки:
Підсумовуючи перераховане вище, скажемо, що статус “Сторінка просканована, але поки що не проіндексована” здебільшого виникає через низькоякісний контент. Однак цій проблемі також сприяє й низка інших чинників, зокрема погана структура веб-ресурсу або розміщення дубльованого контенту. Для усунення проблеми, слід:
- додати на веб-ресурс оригінальний контент, що становить цінність для користувачів;
- здійснити перевірку архітектури та упевнитися в наявності внутрішніх посилань на цінні сторінки сайту;
- визначити сторінки, що підлягають і не підлягають індексації.
Дотримуючись цих простих рекомендацій, у довгостроковій перспективі можна уникнути проблем з індексацією.
