Почему сайта нет в поиске: 17 причин и как проверить за 10 минут

«Сайта нет в поиске» — это три разные проблемы, и лечатся они по-разному. Либо Яндекс о сайте не знает, либо знает, но не пускает в выдачу, либо сайт в выдаче есть — но не по тем запросам, по которым вы его ищете. За десять минут можно понять, какой это случай, а дальше — по списку из 17 причин. Мы разбираем такие ситуации на аудитах каждую неделю, и в девяти из десяти причина типовая.

Сначала проверьте за 10 минут: сайт не в поиске или не по вашему запросу

1. Наберите в Яндексе site:вашсайт.ru. Если результатов ноль — сайта в индексе нет, идите к причинам из групп 1–2. Если страницы есть — сайт в поиске, проблема в запросах или конкретных страницах.
2. Откройте Яндекс Вебмастер → «Индексирование» → «Страницы в поиске». Видно, сколько страниц в выдаче, какие исключены и почему: «Малополезный контент», «Дубль», «Редирект», «Ошибка HTTP». Это самый точный диагноз, и он бесплатный. Если сайт в Вебмастер не добавлен — добавьте сейчас, это первый шаг любого лечения.
3. Проверьте раздел «Диагностика» там же: критичные ошибки и санкции показываются прямо здесь.
4. Наберите свой запрос с городом и посмотрите ТОП-30. Если сайт в индексе, но по запросу его нет, — вопрос не индексации, а ранжирования: нет страницы под запрос или она слабее конкурентов.

Сколько ждать индексации нового сайта

Новый сайт без ссылок Яндекс может обходить неделями. С добавлением в Вебмастер, файлом sitemap.xml и отправкой главных страниц на переобход первые страницы появляются в выдаче за несколько дней, полный обход занимает 2–4 недели. Дальше — регулярный обход по мере обновлений. Если через месяц после всех действий в индексе ноль — это уже не «ждать», а одна из причин ниже.

17 причин, по которым сайта нет в поиске

Группа 1. Сайт закрыт от роботов

1. Disallow в robots.txt. Классика: разработчик закрыл сайт на время работ и забыл открыть. Проверьте файл по адресу вашсайт.ru/robots.txt — строка Disallow: / закрывает всё. Правильный файл можно собрать в генераторе robots.txt.
2. Мета-тег noindex. В коде страницы стоит запрет индексации — часто это галочка «Попросить поисковые системы не индексировать сайт» в настройках WordPress.
3. Заголовок X-Robots-Tag. Тот же запрет, но на уровне сервера; в коде страницы его не видно, виден в Вебмастере в проверке ответа сервера.
4. Пароль или тестовый домен. Сайт живёт на test.вашсайт.ru или закрыт базовой авторизацией — робот не пройдёт.
5. Ответ сервера не 200. Страницы отдают 403, 500 или 503 роботам, хотя людям открываются: блокировка по user-agent на хостинге, защита от ботов, файрвол.

Группа 2. Яндекс о сайте не знает

6. Сайт не добавлен в Вебмастер. Робот найдёт его и сам, но позже; с Вебмастером — быстрее и с диагностикой.
7. Нет sitemap.xml. Карта сайта — список страниц для робота. Сгенерировать можно в генераторе sitemap, ссылку на неё указывают в robots.txt и в Вебмастере.
8. Ни одной ссылки снаружи. Сайт, на который никто не ссылается, робот обходит редко. Карточка в Яндекс Бизнесе, соцсети, каталоги, партнёры — первые ссылки.
9. Домен только что зарегистрирован. Молодые сайты обходятся осторожнее — это нормально, просто дольше.

Группа 3. Технические ошибки

10. Дубли: www и без, http и https. Четыре версии одного сайта без редиректа на главную — Яндекс выбирает главное зеркало сам, и часто не то. Должен быть один адрес и 301-редиректы на него.
11. Canonical на другую страницу. Тег указывает, что «главная версия» этой страницы — другая; страница выпадает. Частая ошибка после переезда или в плагинах.
12. Сайт медленный или падает. Робот приходит, сайт не отвечает — страница исключается. Смотрите «Статистику обхода» в Вебмастере и ускоряйте сайт.
13. Контент только через JavaScript. Если текст появляется только после выполнения скриптов, робот может увидеть пустую страницу. Проверьте: отключите JS в браузере — что осталось?

Группа 4. Контент

14. «Малополезный контент, спам или дорвей» — статус в Вебмастере, по которому Яндекс исключает страницы без спроса и без пользы: тонкие тексты, дубли по смыслу, страницы под запросы, которых никто не задаёт. У нас такое было: 79 страниц выпали разом, потому что были сделаны под нулевой спрос, — вернулись после объединения и удаления лишнего. Лечится не «дописать 500 символов», а честным ответом на вопрос, зачем страница нужна.
15. Скопированный текст. Описания с сайта производителя, тексты «как у конкурента» — Яндекс знает первоисточник и вашу копию не показывает.

Группа 5. Санкции

16. Фильтры за накрутку или ссылки. Покупные ссылки, накрутка поведения, переспам — сайт проседает по всем запросам или вылетает. В Вебмастере это видно в «Диагностике» и «Безопасности и нарушениях».
17. Взлом и вирусы. На сайте появились чужие страницы, редиректы на казино, вредоносный код — Яндекс помечает сайт как опасный и убирает из выдачи. Лечится чисткой и закрытием дыры: лечение сайта от вирусов берём вне очереди.

Статусы исключённых страниц в Вебмастере: что значат и что делать

Полезная привычка: раз в неделю открывать этот раздел и смотреть, что добавилось в исключённые. Так проблемы находятся до того, как трафик упал.

Новый сайт: чек-лист первого дня

1. Открыть robots.txt: нет Disallow: /, есть ссылка на sitemap.
2. Снять запрет индексации в настройках CMS.
3. Выбрать главное зеркало с https и настроить редиректы с остальных версий.
4. Добавить сайт в Яндекс Вебмастер, подтвердить права, задать регион.
5. Загрузить sitemap.xml, отправить главную и ключевые страницы на переобход.
6. Поставить Метрику, настроить цели.
7. Создать карточку в Яндекс Бизнесе — первая ссылка на сайт и локальная видимость.
8. Проверить, что у каждой страницы есть title, description и один H1.
9. Убедиться, что тексты свои, а не с сайта производителя или шаблона.
10. Через неделю — «Страницы в поиске» и «Статистика обхода»: пошёл ли робот.

Сайт в индексе, но не по вашим запросам

Самый частый случай у работающих сайтов. Причины: под запрос нет отдельной страницы (одна страница «Услуги» на всё); страница есть, но слабее конкурентов по полноте, ценам и условиям; регион не задан в Вебмастере и нет адреса на сайте, а запрос региональный; запрос конкурентный, и до ТОП-30 сайт просто не дотягивает. Это уже не индексация, а продвижение: что делать, — в статье как попасть в ТОП-3 Яндекса, а почему трафик есть, а заявок нет, — в отдельном разборе.

Что делать: план по шагам

1. Добавить сайт в Яндекс Вебмастер и подтвердить права.
2. Проверить robots.txt, мета-теги и ответ сервера — открыть сайт для роботов.
3. Настроить главное зеркало: один адрес, 301-редиректы с остальных.
4. Сделать sitemap.xml, указать в robots.txt и в Вебмастере.
5. Отправить главные страницы на переобход.
6. Задать регион в Вебмастере, создать карточку в Яндекс Бизнесе.
7. Прочитать «Страницы в поиске» → исключённые: по каждому статусу — своё действие.
8. Убрать копипаст и пустые страницы, объединить дубли по смыслу.
9. Подключить Метрику, чтобы видеть переходы из поиска: инструкция.
10. Через две недели — снова «Страницы в поиске» и «Статистика обхода». Если не сдвинулось — аудит: причина обычно находится за день.

Полный список того, что смотреть на сайте самостоятельно, — в чек-листе аудита из 20 пунктов.

Частые вопросы

Как проверить, есть ли сайт в поиске Яндекса?

Наберите в Яндексе site:вашсайт.ru — увидите проиндексированные страницы. Точнее — в Яндекс Вебмастере: раздел «Страницы в поиске» показывает, что в выдаче, что исключено и почему.

Сколько ждать, пока новый сайт появится в поиске?

С Вебмастером, sitemap и переобходом первые страницы — за несколько дней, полный обход — 2–4 недели. Без этого — от нескольких недель до пары месяцев. Если через месяц в индексе ноль, ждать бесполезно — ищите причину.

Почему страницы сайта исключены как «малополезный контент»?

Яндекс так помечает страницы, у которых нет пользы для людей: тонкие тексты, дубли по смыслу, страницы под запросы без спроса. Дописывание текста не помогает. Помогает объединить похожие страницы, удалить лишние и оставить те, что отвечают на реальные вопросы.

Сайт был в поиске и пропал. Что случилось?

Смотрите «Диагностику» в Вебмастере. Типовые причины: случайно закрыли robots.txt после обновления, сменили адреса без редиректов, сайт долго не отвечал, взлом, санкции за ссылки или накрутку. По каждой в Вебмастере есть сообщение.

Как ускорить индексацию страниц?

Добавить в sitemap, отправить на переобход в Вебмастере, поставить ссылки с уже проиндексированных страниц сайта, включить IndexNow — протокол, по которому сайт сам сообщает Яндексу о новых страницах.

Остался вопрос по вашей ситуации? Задайте его в комментариях — отвечаю лично, обычно в течение рабочего дня. — Дмитрий Гугуян, Rekkom