Як видалити сторінки з Google або Яндекс

Власники веб-сайтів і SEO фахівці витрачають дуже багато свого часу на додавання нового або поліпшення наявного контенту. Ця робота вимагає сил, часу, енергетичних і грошових витрат. Але, незважаючи на це, все ж варто іноді видаляти застарілі сторінки з індексу пошукових систем. Навіщо і як це зробити ми розповімо в цій статті.

Навіщо видаляти старий неактуальний контент

Чи може старий і неактуальний контент знижувати загальний авторитет веб-сайту? SEO фахівці вважають, що може. Варто покращувати старий контент, а якщо це неможливо, то і зовсім видалити з сайту. Якщо все зробити правильно, це дасть позитивний результат з точки зору: трафіку, залученості, конверсії, видимості в пошуку.

Застаріла інформація не несе ніякої користі. Правка і видалення старого контенту необхідна, коли:

Відбувається оновлення асортименту інтернет-магазину

Практично будь-який онлайн-магазин має величезний асортимент. Але протягом певного часу деякі позиції можуть бути зняті з виробництва, замінені тощо. Одним словом – товар відсутній. А якщо таких товарних сторінок безліч? Це може призвести до негативних відгуків і зниження CTR, а це – втрата позицій у ПС (відповідно і трафіку). Залежно від специфіки виробництва або потреб бізнесу, товар варто видалити з пошукового індексу безповоротно або на якийсь певний термін. У такому разі власник сайту отримає економію краулінгового бюджету: пошуковий бот не буде використовувати ресурси на нерелевантні сторінки, а проіндексує тільки важливі й актуальні.

Сайт містить застарілі новини та статті

Новини завжди цікаві, коли вони свіжі та своєчасні. Новинні портали наповнюються контентом постійно, щоб надавати свіжу інформацію для відвідувачів. Завдяки цьому вони утримують свою популярність і високі позиції в Інтернеті. Але з часом новини стають неактуальними і не несуть ніякої корисності. Варто зазначити, що статті теж застарівають. Якщо матеріал все ж таки містить корисні відомості, його можна актуалізувати, розвинути ширше цю тему, або поставити редирект на цю тему. У разі, якщо тема не важлива, немає сенсу її допрацьовувати. Такі тексти можна сміливо видаляти. Застарілі новини та статті вже не несуть первісної значущості для читача, а отже, не приносять трафік власникові сайту. Відповідно, підлягають видаленню.

Юридичне регулювання галузей

Існують галузі, робота яких ґрунтується на законних вимогах. Медичні, фінансові сайти постійно додають нові документи, угоди, поправки. У зв’язку з цим, контент постійно змінюється. Наявність старих документів тягне за собою санкції і навіть блокування.

Обмежені за часом акції

Як правило, до закінчення сезону, перед святами, або в “Чорну п’ятницю”, інтернет-магазини влаштовують акційні розпродажі. До майбутніх заходів власники створюють спеціальні окремі сторінки з певним терміном дії. По закінченню терміну дії вони втрачають свою актуальність. Ба більше, побачивши низькі ціни, покупці засмучуються, що не скористалися вигідною пропозицією. Такі сторінки також не потрібні.

Як правильно видалити неактуальний контент

Коли йдеться про видалення контенту, це не обов’язково означає його безповоротне видалення. Існує безліч різних способів. Наприклад, ви можете:

• прибрати сторінку з сайту безповоротно або перемістити в архів на певний час;
• прибрати тільки з індексу ПС – у такому разі сторінка не видаляється, відвідувачі її можуть знайти за посиланнями з інших сторінок або в закладках;
• ви можете виключити сторінку з певної пошукової системи, наприклад, з Гугла, тоді як у Яндексі вона буде індексуватися;
• також ви можете надати доступ до сторінки певній групі користувачів (друзі, адміністратори, журналісти, користувачі з певної країни…).

Поширені способи видалення контенту

Використовуємо Тег noindex

Noindex – просте рішення для виключення небажаних сторінок із результатів пошуку. Тег блокує появу сторінки в результатах пошуку. Він використовується, коли ми не хочемо, щоб роботи індексували наш веб-сайт. Тег розміщується у вихідному коді сайту і повідомляє пошуковим системам не індексувати сторінку.

Метод працює відносно швидко і означає, що користувачі, як і раніше, зможуть отримати доступ до сторінки безпосередньо або за внутрішніми посиланнями на вашому сайті. Якщо ви використовуєте WordPress теги Noindex можна легко налаштувати за допомогою плагінів, наприклад, Yoast SEO або All in One SEO Pack.

Теги Noindex можна легко видалити, тому це чудове рішення, якщо ви хочете, щоб сторінка знову з’являлася в індексі в майбутньому. Майте на увазі, що якщо ви виключите індексовану сторінку з гарним рейтингом, немає гарантії, що вона знову посяде ті самі позиції, коли тег буде видалено.

Як видалити сторінки сайту за допомогою Яндекс Вебмайстра

Швидко і просто видалити URL з ПС Яндекс можна використовуючи інструмент “Видалення сторінок з пошуку”. Заходимо у Вебмайстер, обираємо сайт, сторінки якого потрібно заборонити для індексації (або видалити з індексу), переходимо в інструменти (меню зліва), далі обираємо “Видалення сторінок з пошуку”, у вікні, що з’явилося, вказуємо адреси сторінок (за добу дозволено вносити 500 урл.).

Для видалення групи сторінок використовуйте вкладку “За префіксом”: відбудеться видалення всіх сторінок, що містять певні параметри в URL. Дозволено видалення 20 префіксів на добу.

Як видалити сторінки за допомогою Гугл Серч Консоль

У Гугл Серч Консоль також є інструмент видалення URL-адрес. Він має 3 функції:

• Тимчасово видалити сторінки та заборонити їхній показ у Google.
• Показує, який контент не відображається в Google через застарівання.
• Показує, який контент фільтрується Google SafeSearch.

Тимчасове видалення URL

Тимчасове видалення не видаляє сторінку з індексу, а тільки блокує її відображення в результатах пошуку приблизно на 6 місяців.

Є 2 способи видалити URL:

Тимчасове видалення: видалення сторінки з результатів пошуку приблизно на 6 місяців. Ви можете видалити одну URL-адресу або всі URL-адреси, що починаються з певного префікса

Видалити URL з кешу: фрагмент сторінки буде видалено з результатів пошуку до наступної індексації.

Зверніть увагу!

Використовувати тимчасове видалення рекомендується, коли:

• ви хочете швидко видалити URL-адресу з результатів пошуку;
• коли ви видаляєте контент на сторінці й хочете видалити його з результатів пошуку, але водночас не хочете, щоб усю сторінку було видалено;

Не слід використовувати тимчасове видалення:

• для безповоротного видалення URL;
• для видалення контенту з Інтернету (інструмент видаляє контент із результатів пошуку, сторінки все одно будуть в індексі).

Усі запити на видалення буде видно в Search Console протягом 6 місяців. Ви також можете скасувати запит на видалення адреси.

Видалення застарілого контенту

Ще одна особливість інструменту – відображати всі запити на видалення застарілого контенту з вашого сайту протягом 6 місяців. Такі запити надсилаються людьми, які не володіють сторінкою, коли в результаті індексу відображається інформація, якої більше немає. Затвердження такого запиту призведе до видалення URL-адреси з результатів пошуку. Як і в попередньому випадку, ви можете видалити сторінку з результатів пошуку або з кешу.

Видалення контенту за допомогою Безпечного пошуку

SafeSearch – це інструмент, що дає змогу повідомляти про сторінки зі змістом тільки для дорослих. Сторінки, про які повідомляє цей інструмент, будуть включені в інструмент видалення URL.

301 або 302 редирект

Якщо виробництво певного продукту призупинено, цей варіант дасть змогу утримати користувачів і перенаправити на інші аналогічні сторінки, тобто запропонувати інше рішення. Плюсом є те, що сторінка не випаде одразу з пошуку. У разі відновлення виробництва редирект можна прибрати.

Цей спосіб підійде і для інформаційних ресурсів: якщо контент втратив актуальність, користувачів можна переспрямувати на інші сторінки, які профілюють цю ж тему.

Видалення сторінки з ресурсу

Просте і швидке рішення – повне видалення непотрібної сторінки з ресурсу. Коли робот під час звернення до сторінки отримує 404, 403, 410 HTTP-код, він виключає її з індексу.

Неактуальні сторінки – коли їх можна не видаляти

Є ситуації, коли сторінка потрібна з якоюсь періодичністю. Наприклад:

• сезонні розпродажі,
• регулярні акції,
• Чорна п’ятниця.

Найбільш правильним рішенням буде залишити цю сторінку активною і розмістити на ній анонс наступного розпродажу/акції. Термін можна вказати будь-який. За цей досить тривалий відрізок часу сторінка досить себе прокачає і вийде на перші позиції.

Інші способи видалення (не завжди ефективні)

Канонічні теги також можуть використовуватися для видалення URL-адрес із пошукових систем, але вони набагато корисніші для видалення схожого контенту, ніж просто застарілого. Також немає гарантії, що Google буде враховувати ваш канонічний тег.

Також можна використовувати файл robots.txt, щоб зупинити сканування певної сторінки пошуковими системами, але сам по собі цей спосіб не дасть необхідного ефекту, тому що Гугл сприймають його як рекомендацію, а не правило. Якщо ви хочете, щоб сторінка була видалена з пошуку, вам потрібно буде використовувати один з описаних вище методів у поєднанні з директивою robots.txt.

Висновок

Є багато способів видалити URL-адреси з пошукових систем. Ваш вибір має залежати від цінності контенту і від того, чи хочете ви, щоб сторінка була видалена назавжди або тимчасово. Також варто звернути увагу на відмінності між видаленням контенту тільки для пошукових систем і видаленням контенту для користувачів. Вибирайте з розумом! У будь-якому разі, перш ніж видалити контент з індексу пошукової системи, оцініть його значущість і актуальність на даний момент, продумайте, на який термін ви бажаєте з ним розпрощатися.

Зверніть увагу! Якщо ви помітили, що видалена вами сторінка все ще відображається в результатах пошуку, не варто панікувати, можливо роботи Гугл і Яндекса ще не відвідували ваш сайт. Внесені зміни не буде видно відразу, процес може зайняти кілька тижнів.