На живых WordPress-сайтах чаще всего индексируются не только нужные страницы, но и архивы, пагинация, страницы авторов, метки и служебные URL. Проблема не в самом факте индексации, а в том, что поисковик тратит обход на слабые страницы, а в выдаче появляются дубли и мусорные сниппеты. Если задача — оставить в индексе записи и важные посадочные, а архивы и страницы /page/2/ закрыть, это лучше делать точечно, а не одним грубым правилом для всего сайта.
Что именно нужно закрывать, а что оставлять
Перед правками разделите URL на три группы. Это экономит время и снижает риск случайно закрыть полезные страницы. На большинстве проектов под запрет попадают архивы дат, меток, авторов, внутренний поиск, пагинация архивов и иногда страницы вложений. А вот сами записи, рубрики с трафиком и важные посадочные страницы обычно должны оставаться открытыми.
Типовые кандидаты на noindex
- архивы по датам, если они не дают трафик;
- страницы меток, если теги используются хаотично;
- архивы авторов на сайтах с одним автором;
- страницы поиска по сайту;
- пагинация архивов, если она не нужна в поиске;
- страницы вложений, когда они дублируют медиафайл или запись.
Что не стоит закрывать без проверки
Не отключайте индексацию рубрик и архивов только потому, что они «похожи на дубли». Если рубрика собирает переходы из поиска, у неё есть нормальный контент и она полезна пользователю, закрывать её не нужно. То же касается пагинации в больших каталогах материалов: иногда именно она помогает поисковику добраться до старых публикаций.
Диагностика: где у вас уже есть проблема
Сначала посмотрите, какие URL реально попали в индекс. Для этого удобно использовать site:-запросы, отчёт «Страницы» в Google Search Console и список URL в Яндекс Вебмастере. Если в выдаче всплывают страницы вида /tag/..., /author/... или /page/2/, значит закрытие нужно делать не на уровне robots.txt, а через мета-теги и корректные канонические адреса.
Отдельно проверьте исходный код страниц. Если на архиве уже стоит noindex, но поисковик всё равно показывает URL, причина может быть в старом индексе, в отсутствии nofollow на внутренних ссылках не будет смысла, или в том, что страница доступна по нескольким адресам. В таком случае сначала убирают дубли URL, а потом уже закрывают индексацию.
Рабочая схема: закрываем архивы через код темы или мини-плагин
Самый предсказуемый вариант — добавить условную логику в wp_head. Так вы управляете конкретными типами страниц и не зависите от того, как плагин SEO собрал мета-теги. Ниже пример для архива меток, авторов, дат, поиска и пагинации архивов.
<?php
add_action( 'wp_head', function () {
if ( is_admin() ) {
return;
}
$noindex = false;
if ( is_tag() || is_author() || is_date() || is_search() ) {
$noindex = true;
}
if ( is_paged() && ( is_category() || is_tag() || is_author() || is_date() ) ) {
$noindex = true;
}
if ( $noindex ) {
echo '<meta name="robots" content="noindex,follow" />' . "\n";
}
}, 1 );
Здесь важен именно noindex,follow. Он говорит поисковику не добавлять страницу в индекс, но при этом не обрывать передачу веса по внутренним ссылкам. Для архивов это обычно безопаснее, чем noindex,nofollow.
Если нужен более точный контроль по рубрикам
Иногда закрывать нужно не все рубрики, а только служебные. Тогда лучше проверять конкретный термин по slug или ID. Это полезно, когда одна рубрика — SEO-страница, а другая — технический архив без ценности.
<?php
add_action( 'wp_head', function () {
if ( is_category( array( 'news', 'uncategorized' ) ) ) {
echo '<meta name="robots" content="noindex,follow" />' . "\n";
}
}, 1 );
Когда лучше использовать SEO-плагин, а когда код
Если на сайте уже стоит SEO-плагин, проще сначала проверить его настройки. Многие плагины умеют закрывать архивы и таксономии без кода. Но код полезен там, где нужна точечная логика: например, закрывать архивы только для части таксономий или только на определённом типе контента.
| Подход | Когда подходит | Компромисс |
|---|---|---|
| Настройки SEO-плагина | Нужно быстро закрыть стандартные архивы | Меньше гибкости, зависит от интерфейса плагина |
| Код в теме или мини-плагине | Нужны точные условия для отдельных URL | Нужно следить за обновлениями и тестировать шаблон |
| robots.txt | Нужно ограничить обход служебных разделов | Не гарантирует исключение из индекса, если URL уже известен |
Если нужен именно технический контроль над дублями и служебными страницами, в связке с SEO-настройками часто используют Clearfy Pro: он помогает управлять частью типовых дублей и чисткой сайта, не разбрасывая логику по шаблонам. Смотрите только на то, что реально нужно вашему проекту: Clearfy Pro.
Проверка результата после внедрения
После правки откройте несколько страниц вручную и посмотрите исходный код. На закрытых URL должен появиться тег <meta name="robots" content="noindex,follow" />. Затем проверьте, не дублируется ли он несколькими плагинами одновременно. Если в коде есть два разных robots-тега, поисковик может интерпретировать страницу непредсказуемо.
Дальше проверьте заголовки ответа сервера. Для этого удобно использовать curl:
curl -I https://example.com/tag/sample/
Если вы закрываете страницу только мета-тегом, статус ответа останется 200 OK — это нормально. Важно, чтобы в HTML был правильный robots-тег и чтобы страница не была случайно закрыта в robots.txt раньше времени.
В Search Console и Вебмастере изменения обычно видны не сразу. Поэтому проверяйте не только индексацию, но и обход: если закрытые URL продолжают активно сканироваться, значит на них слишком много внутренних ссылок или они доступны по нескольким адресам.
Частые ошибки и как их исправить
- Закрыли страницу в robots.txt вместо noindex. Поисковик может не увидеть запрет и оставить URL в индексе без контента. Если цель — убрать страницу из выдачи, используйте
noindex, а не только запрет обхода. - Поставили
nofollowна всё подряд. Это ломает передачу веса по внутренним ссылкам и часто не даёт пользы. Для архивов обычно достаточноnoindex,follow. - Закрыли рубрики, которые приносят трафик. Сначала проверьте отчёты по страницам входа. Если рубрика ранжируется, не трогайте её без причины.
- Оставили доступными страницы вложений. Они могут плодить тонкие страницы без пользы. Если медиа-страницы не нужны, лучше перенаправить их на файл или запись.
- Добавили robots-тег в нескольких местах. Конфликт между темой, SEO-плагином и кастомным кодом часто приводит к тому, что на странице одновременно есть
indexиnoindex.
Практические советы по безопасности и производительности
Не вносите правки прямо в родительскую тему. Используйте дочернюю тему или маленький плагин с одним файлом, чтобы обновление не затёрло изменения. Если проект уже на продакшене, сначала проверьте правку на staging-копии и только потом переносите на боевой сайт.
С точки зрения производительности сам meta robots почти ничего не стоит, но лишние проверки в wp_head лучше не раздувать. Не делайте десяток сложных запросов к базе ради одного тега. Если нужна большая матрица правил, вынесите её в отдельную функцию и держите список условий компактным.
Мини-чек-лист перед публикацией
- проверить, какие архивы реально нужны в индексе;
- убедиться, что на закрытых URL стоит один robots-тег;
- не закрывать полезные рубрики и посадочные страницы;
- посмотреть исходный код и ответ сервера;
- переобойти несколько URL в Search Console после правки;
- проверить, не ломает ли правило пагинацию важных архивов.
Если после внедрения закрытые страницы всё ещё появляются в выдаче, не спешите менять стратегию. Сначала проверьте, нет ли на них внешних ссылок, канонического адреса на другую страницу и старых копий в индексе. В таких случаях проблема не в самом noindex, а в том, как сайт был устроен до правки.