Как закрыть от индексации старые архивные страницы в WordPress без потери нужного трафика

Старые архивные страницы в WordPress обычно всплывают не сразу: сначала сайт растёт, потом появляются теги без контента, архивы авторов, даты, внутренний поиск, страницы пагинации и служебные URL. В индексе они начинают конкурировать с нормальными страницами, размывают краулинговый бюджет и создают мусор в отчётах Search Console. Проблема не в самом архиве, а в том, что не все такие страницы должны быть доступны поиску.

Ниже разберём, как отличить полезные архивы от лишних, чем закрывать их от индексации и как проверить, что после правки сайт не потерял важные страницы.

Какие архивы обычно нужно проверить в первую очередь

В WordPress под «старыми архивными страницами» часто скрываются разные типы URL. Одни нужны для навигации и могут оставаться открытыми, другие лучше убрать из индекса или вообще отключить. Ошибка здесь типовая: закрывают всё подряд и потом удивляются, что из поиска пропали полезные разделы.

Чаще всего проблема возникает с такими страницами

• архивы по датам: /2024/05/, /2023/;
• архивы авторов на сайтах, где у автора нет отдельной ценности;
• теги, если они создаются автоматически и почти пустые;
• страницы пагинации архивов и рубрик;
• внутренний поиск WordPress;
• служебные страницы вроде вложений, если они индексируются отдельно.

Если у вас уже есть статья про дубли страниц и отдельная про XML Sitemap, это не тот же сценарий. Здесь задача другая: убрать из индекса именно архивные и служебные URL, которые не несут самостоятельной ценности.

Диагностика: как понять, что именно мешает индексации

Перед правками откройте Search Console и посмотрите, какие типы страниц уже попали в индекс или в отчёт «Страницы». Если там много URL с датами, тегами, пагинацией или поисковыми запросами, это хороший сигнал. Дополнительно проверьте сайт через поиск по оператору site:example.com и сравните, что реально индексируется.

Полезно пройтись по сайту вручную и ответить на три вопроса:

• есть ли у страницы уникальный смысл для поиска;
• есть ли на ней содержательный текст, а не только список записей;
• может ли она конкурировать с рубрикой, статьёй или посадочной страницей.

Если ответ «нет» хотя бы на два пункта, такую страницу обычно имеет смысл закрывать от индексации или переводить в noindex.

Что лучше: noindex, robots.txt или удаление страницы

Для архивов и служебных страниц не существует одного универсального решения. Важно понимать разницу между запретом обхода и запретом индексации. Если закрыть URL в robots.txt, поисковик может не увидеть мета-тег noindex на самой странице. Если удалить страницу совсем, нужно быть уверенным, что на неё нет полезных ссылок и трафика.

Пошаговое решение через код темы или мини-плагин

Если задача точечная и вы не хотите тащить лишний плагин, удобнее сделать это кодом. Для небольшого набора правил достаточно мини-плагина или functions.php дочерней темы. Ниже пример, который закрывает от индексации архивы дат, автора, поиска и вложений, а также добавляет noindex,follow для пагинации архивов.

<?php
add_action('wp_head', function () {
    if (is_search() || is_author() || is_date() || is_attachment()) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }

    if (is_paged() && (is_home() || is_archive() || is_category() || is_tag())) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }
}, 1);

Этот вариант не идеален для всех тем, но он рабочий и понятный. Если у вас SEO-плагин уже управляет robots-мета, не дублируйте правила в двух местах одновременно. Иначе получите конфликтующие директивы.

Если нужно закрыть только отдельные типы архивов

Иногда авторские архивы нужны, а даты — нет. Тогда лучше не ставить общий шаблон, а ограничить правило только нужным типом страниц. Например, можно закрыть архивы по датам и поиск, но оставить рубрики и теги открытыми, если они реально наполнены.

<?php
add_action('wp_head', function () {
    if (is_date() || is_search()) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }
}, 1);

Если нужно убрать вложения из индекса, лучше не только ставить noindex, но и перенаправлять attachment-страницы на родительскую запись. Это уменьшает количество пустых URL в индексе и убирает лишние точки входа.

Как сделать это через SEO-плагин

Если на сайте уже стоит SEO-плагин, часто проще управлять индексированием архивов там, а не через код. Это особенно удобно, когда правки должны делать редакторы или контент-менеджеры без доступа к теме.

В большинстве случаев ищите настройки для:

• архивов авторов;
• архивов дат;
• меток;
• страниц поиска;
• медиа-вложений;
• пагинации архивов.

Если нужен более широкий набор технических чисток, можно посмотреть в сторону Clearfy Pro: у него есть инструменты для удаления дублей и технической оптимизации, но применять их всё равно нужно после проверки структуры сайта, а не «на всякий случай». Ссылка: Clearfy Pro.

Проверка результата после внедрения

После правок не ограничивайтесь визуальной проверкой. Нужно убедиться, что поисковик видит именно то, что вы задумали.

1. Откройте несколько закрытых архивов в браузере и проверьте исходный код страницы.
2. Убедитесь, что в <head> есть нужный meta robots.
3. Проверьте, не отдаёт ли страница случайно noindex вместе с каноникалом на другой URL.
4. Посмотрите заголовки ответа сервера, если используете серверные правила.
5. В Search Console отправьте страницу на переобход через проверку URL, если она уже была в индексе.

Для быстрой проверки на сервере можно использовать curl:

curl -I https://example.com/2024/05/

Если вы настраивали noindex через HTML, откройте не только заголовки, но и саму страницу:

curl -s https://example.com/2024/05/ | grep -i robots

Если в ответе нет нужного мета-тега, значит правило не срабатывает или тема не выводит wp_head() корректно.

Частые ошибки и как их исправить

Закрыли в robots.txt, но страницы всё равно в индексе

Это частая путаница. Запрет в robots.txt не равен noindex. Если URL уже известен поисковику, он может оставаться в выдаче без содержимого. Для удаления из индекса обычно нужен именно noindex или редирект/404, если страница больше не нужна.

Поставили noindex на всё подряд

Иногда под раздачу попадают рубрики, которые реально приводят трафик. Так бывает, когда используют слишком общий шаблон вроде is_archive() без уточнений. Исправление простое: сузьте условие и отдельно проверьте рубрики, теги и пагинацию.

Конфликтуют SEO-плагин и код темы

Если один инструмент ставит index,follow, а другой — noindex, поисковик может увидеть противоречивые сигналы. Оставьте один источник управления robots-мета. Второй отключите или уберите из шаблона.

Закрыли архив, но оставили на него внутренние ссылки

Это не критично, но лишний шум остаётся. Если архив не нужен пользователю, уберите его из меню, виджетов и хлебных крошек. Иначе вы продолжите вести на страницу, которую сами же закрыли от индексации.

Практические советы по безопасности и производительности

Если правите functions.php, делайте это в дочерней теме или через мини-плагин. Так вы не потеряете изменения при обновлении темы. Перед правкой сохраните резервную копию и проверьте сайт на staging-копии, если она есть.

Не ставьте несколько SEO-решений одновременно без необходимости. Каждый лишний плагин — это ещё один слой логики, который может вмешиваться в robots, canonical и sitemap. Для технически перегруженных сайтов лучше держать один понятный источник правил и документировать, что именно он делает.

Если после закрытия архивов вы заметили падение обхода важных страниц, проверьте внутреннюю перелинковку и sitemap. Иногда проблема не в noindex, а в том, что поисковик слишком долго тратил ресурсы на мусорные URL и теперь медленнее доходит до новых материалов.

Когда архив лучше не закрывать

Не все архивы надо убирать из поиска. Если у вас сильная рубрика с уникальным описанием, полезной подборкой материалов и стабильным спросом, она может работать как посадочная страница. То же касается авторских архивов на медиа-сайтах, где страница автора реально помогает пользователю ориентироваться в контенте.

В таких случаях лучше не ставить автоматический noindex, а доработать сам архив: добавить текст, нормальную пагинацию, понятный заголовок и каноническую структуру. Тогда страница будет полезной и для людей, и для поиска.