robots.txt — это текстовый файл в корне сайта (site.ru/robots.txt) с правилами для поисковых роботов: какие разделы можно обходить, какие — не нужно. Важно понимать его природу: это рекомендация по обходу, а не замок на двери. Робот может послушаться, а страница, закрытая в robots.txt, всё равно способна остаться в выдаче — жёсткий запрет индексации делается другим инструментом.
Основные директивы robots.txt
| Директива | Что делает | Пример |
|---|---|---|
| User-agent | Кому адресованы правила ниже | User-agent: * или User-agent: Yandex |
| Disallow | Просит не обходить путь | Disallow: /wp-admin/ |
| Allow | Разрешает путь внутри закрытого | Allow: /wp-admin/admin-ajax.php |
| Sitemap | Указывает путь к карте сайта | Sitemap: https://site.ru/sitemap.xml |
| Clean-param | Только для Яндекса: склеивает URL с GET-параметрами (метки, фильтры) | Clean-param: utm_source&utm_medium |
Что robots.txt может — и чего не может
Может: экономить квоту обхода (робот не тратит время на служебные разделы), прятать от обхода корзины, фильтры, поиск по сайту, дубли с параметрами; для Яндекса — аккумулировать поведенческие сигналы на «чистом» URL через Clean-param.
Не может: удалить страницу из индекса. Для Яндекса Disallow — мягкая рекомендация, а Google может держать закрытый URL в выдаче с пометкой «описание недоступно». Жёсткий запрет — только meta robots noindex на самой странице, причём страница должна быть ОТКРЫТА в robots.txt, иначе робот не увидит запрет. Подробнее — что такое индексация.
Типовые ошибки
- Disallow: / на боевом сайте — классика после переезда с тестового домена: сайт закрыт целиком и вылетает из поиска;
- закрытые CSS и JS — поисковик не может отрендерить страницу и хуже её оценивает;
- попытка «удалить» страницы из выдачи через Disallow — они остаются, просто без описания;
- Disallow, перекрывающий Clean-param у Яндекса — склейка параметров перестаёт работать;
- нет строки Sitemap — роботу сложнее найти карту.
Проверить свой файл можно в Яндекс.Вебмастере («Инструменты → Анализ robots.txt»). Ревизия robots.txt входит в технический аудит — вместе с sitemap, редиректами и индексацией, а системно это часть SEO-продвижения.
Частые вопросы
Где находится robots.txt и как его создать?
Строго в корне сайта: site.ru/robots.txt. Это обычный текстовый файл — создаётся вручную или генерируется CMS/плагином. В WordPress виртуальный robots.txt отдаётся автоматически, но лучше положить свой файл с нужными правилами.
Как проверить, правильно ли настроен robots.txt?
В Яндекс.Вебмастере есть «Анализ robots.txt»: вставляете список URL и видите, какие правила их закрывают. Аналогичный тестер есть в Google Search Console. Плюс просто откройте site.ru/robots.txt и убедитесь, что там нет Disallow: / и закрытых CSS/JS.
Нужен ли robots.txt, если закрывать нечего?
Да, минимальный: User-agent: * с пустым Disallow и строкой Sitemap. Отсутствие файла — это ошибки 404 в логах робота и потерянная возможность указать карту сайта; вреда от корректного минимального файла нет.
Не тратьте недели на выбор — начните с бесплатного разбора
Посмотрим ваш сайт и конкурентов, честно скажем, что мешает получать заявки, и пришлём 3 варианта расчёта. Без обязательств и звонков без спроса.
Удобнее в мессенджере? Напишите в Telegram или позвоните +7 928 463-45-36.
