Почему страница не индексируется в Google? 12 причин и решений

Вы опубликовали страницу, подождали, поискали — а её нигде нет. Прежде чем беспокоиться о позициях, проверьте основу: чтобы вообще появиться в результатах поиска, страница должна быть проиндексирована.

В этом руководстве разобраны самые частые причины, по которым Google не индексирует страницу, в том порядке, в каком их стоит проверять.

Сначала: проверьте, проиндексирована ли страница

Надёжный способ — инструмент проверки URL в Google Search Console. Вставьте URL, и он покажет, есть ли страница в Google, когда её последний раз сканировали, какой канонический URL выбрал Google и почему страница может быть исключена.

Быстрая приблизительная проверка — поиск с оператором site:, например site:example.com/blog/my-post, хотя результаты не всегда полны.

1. Директива noindex

Тег noindex прямо просит поисковики не включать страницу в индекс:

<meta name="robots" content="noindex">

Его также можно передать HTTP-заголовком (X-Robots-Tag: noindex), который не виден в исходном коде страницы. Частые причины: настройка CMS вроде опции WordPress «Попросить поисковые системы не индексировать сайт», настройка SEO-плагина для типа записей или конфигурация тестовой среды, попавшая на рабочий сайт.

2. Блокировка в robots.txt

Если robots.txt запрещает URL, Google не может его просканировать. Иногда он всё же индексирует «голый» URL по ссылкам, но без контента такая страница не будет ранжироваться. Удалите или сузьте правило Disallow.

3. Страница возвращает ошибку или редирект

Индексируются только страницы, которые возвращают 200 OK. Страницы с ответами 404, 410, ошибками 5xx или редиректами индексироваться не будут. Периодические ошибки сервера тоже могут привести к выпадению страниц из индекса.

4. Canonical указывает на другую страницу

Если тег canonical страницы указывает на другой URL, Google обычно индексирует вместо неё тот URL. В Search Console это отображается как «Альтернативная страница с правильным тегом canonical». Убедитесь, что у страниц, которые вы хотите видеть в индексе, canonical указывает на них самих.

5. Дубль без выбранного канонического URL

«Страница является копией. Канонический вариант не выбран пользователем» или «Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают» означает, что Google считает страницу копией другой. Сделайте контент уникальным, объедините дубли редиректами или настройте canonical последовательно.

6. Обнаружена, не проиндексирована

Google знает, что URL существует, но ещё не сканировал его. Это часто бывает на новых или крупных сайтах и может означать, что Google не считает эти URL приоритетными. Помочь можно так:

• Добавить внутренние ссылки с важных, часто сканируемых страниц
• Включить URL в карту сайта
• Ускорить сервер, чтобы Google мог сканировать больше
• Сократить количество малоценных URL, которые конкурируют за внимание (фильтры, параметры, скудные страницы)

7. Просканирована, но пока не проиндексирована

Google загрузил страницу и решил её не индексировать — по крайней мере пока. Обычно это решение о качестве или ценности. Спросите себя:

• Предлагает ли эта страница что-то, чего ещё нет на вашем сайте или в других местах?
• Скудный ли контент, сгенерирован ли он автоматически или в основном скопирован?
• Не является ли страница почти копией других страниц вашего сайта?

Обычные решения — улучшить и расширить контент, объединить похожие страницы и усилить внутренние ссылки. Повторные запросы на индексирование не отменят решения, принятого из-за качества.

8. Soft 404

Soft 404 — это страница, которая возвращает 200, но выглядит как ошибка или пустая страница: например, страница товара с надписью «нет в наличии, информации нет», пустая категория или редирект на нерелевантную страницу. Либо добавьте полезный контент, либо возвращайте настоящий 404/410.

9. Контент зависит от JavaScript

Если основной контент появляется только после выполнения JavaScript, Google должен отрендерить страницу, чтобы его увидеть. Рендеринг может задерживаться, а ошибки скриптов могут полностью скрыть контент. Проверьте, что важный контент есть в исходном HTML, или используйте серверный рендеринг.

10. Страницы-сироты

На страницу, на которую не ссылается ни одна другая страница, Google трудно попасть, и это намекает, что она не важна. Поставьте на неё ссылки с релевантных страниц и категорий.

11. Сайт новый или у него мало авторитета

Новые сайты с небольшим количеством внешних ссылок сканируются реже, и поначалу Google может проиндексировать лишь часть их страниц. Сосредоточьтесь на меньшем количестве сильных страниц, заработайте несколько естественных ссылок и упоминаний — и со временем индексация обычно расширяется.

12. Ручные меры или проблемы безопасности

Изредка страницы удаляются из-за ручных мер (за спам) или проблем безопасности (взлом, вредоносное ПО). Проверьте отчёты «Меры, принятые вручную» и «Проблемы безопасности» в Search Console.

Чек-лист для диагностики

1. Проверьте URL в Search Console и прочитайте точный статус
2. Поищите noindex в HTML и заголовках
3. Проверьте URL по robots.txt
4. Убедитесь, что он возвращает 200 без редиректов
5. Проверьте тег canonical
6. Убедитесь, что контент есть в исходном HTML
7. Проверьте, что на страницу есть внутренние ссылки и она есть в карте сайта
8. Честно оцените, уникален ли и полезен ли контент
9. Устраните проблему, затем нажмите «Запросить индексирование» в инструменте проверки URL

Сколько ждать?

Новые страницы на устоявшихся сайтах часто индексируются за несколько дней. На новых сайтах это может занять несколько недель. Если страница не проиндексирована через несколько недель, хотя прошла все технические проверки, проблема обычно в обнаружении (мало внутренних ссылок) или в воспринимаемой ценности.

Диагностика индексации в больших масштабах

Когда не индексируется много страниц, ищите закономерности, а не проверяйте URL по одному:

1. Откройте отчёт «Индексирование страниц» в Search Console и отметьте самые крупные категории в блоке «Почему эти страницы не индексируются».
2. Откройте каждую причину и посмотрите на примеры URL. Все ли они из одного раздела, шаблона или с одинаковой структурой URL?
3. Отфильтруйте по карте сайта, чтобы сосредоточиться на URL, которые вы действительно хотите индексировать.
4. Просканируйте проблемный раздел, чтобы одновременно проверить коды ответа, canonical, теги noindex и объём текста.

Частые закономерности:

• Все статьи блога исключены из-за noindex → настройка шаблона или плагина
• Тысячи URL с параметрами в статусе дублей → фасетная навигация без canonical или ограничений сканирования
• Большинство страниц товаров просканированы, но не проиндексированы → скудные описания от производителя, повторяющиеся на множестве сайтов
• Новые страницы застряли в статусе «обнаружена, не проиндексирована» → слабая перелинковка или медленный сервер

Как улучшить просканированные, но не проиндексированные страницы

Когда Google увидел страницу и решил её не индексировать, одни технические исправления не помогут. Спросите себя, что сделало бы страницу действительно достойной индекса:

• Добавьте уникальную ценность: оригинальную информацию, конкретные детали, примеры, изображения или данные, которых нет на других страницах
• Объедините: если несколько скудных страниц освещают похожие темы, соберите их в одну полноценную страницу и настройте редиректы с остальных
• Удалите: если у страницы нет реальной ценности для пользователей (страницы тегов с одной записью, пустые категории), закройте её noindex или удалите
• Усильте сигналы: поставьте на страницу ссылки с релевантных важных страниц, чтобы её значимость была очевидна

После улучшения страницы запросите индексирование и подождите несколько недель.

Индексация новых сайтов

У только что запущенных сайтов поначалу часто индексируется лишь часть страниц. Ускорить процесс можно так:

• Подтвердить сайт в Search Console, Яндекс Вебмастере и Bing Webmaster Tools и отправить карту сайта
• Запускаться с меньшим количеством сильных, полноценных страниц, а не с сотнями скудных
• Убедиться, что на каждую страницу ведёт ссылка с главной или со страницы категории
• Заработать несколько естественных ссылок — размещение в профильных каталогах, сайты партнёров, местные СМИ или отраслевые ассоциации
• Публиковать регулярно, чтобы краулеры привыкли, что сайт часто обновляется

Проверка индексации без Search Console

Если доступа к Search Console нет — например, при анализе конкурента, — поиск site: по точному URL даёт приблизительное представление, а проверка индексируемости подтвердит, не мешает ли индексации что-то техническое. Для вашего собственного сайта единственный достоверный источник — Search Console.

Главное

• Используйте инструмент проверки URL в Search Console, чтобы точно узнать, почему страница не проиндексирована.
• Сначала проверьте технические блокеры: noindex, robots.txt, коды ответа и теги canonical.
• Убедитесь, что важный контент есть в исходном HTML, а на страницу есть внутренние ссылки.
• «Просканирована, но пока не проиндексирована» обычно связано с ценностью — улучшайте, объединяйте или удаляйте скудные страницы.
• Ищите закономерности среди множества URL; большинство проблем с индексацией идут от шаблонов и настроек.
• Запросите индексирование после устранения проблемы и дайте Google время на повторное сканирование.

Часто задаваемые вопросы

Гарантирует ли «Запросить индексирование» индексацию?

Нет. Это просьба к Google просканировать страницу раньше. Решение об индексации Google всё равно принимает сам.

Почему проиндексированные страницы выпали из индекса?

Частые причины — новый noindex или проблема с canonical, ошибки сервера, объединение дублированного контента или переоценка Google качества скудных страниц после core-апдейта.

Нормально ли, что часть страниц не проиндексирована?

Да. На каждом сайте есть страницы, которые Google решает не индексировать, например дубли и малоценные URL. Важно, чтобы были проиндексированы ваши важные страницы.

Решает ли отправка карты сайта проблемы с индексацией?

Карта сайта помогает обнаружению, но не может обойти теги noindex, блокировки, проблемы с canonical или низкое качество.