Генератор robots.txt

Собирает robots.txt под ваш движок: готовые наборы служебных путей для WordPress, Битрикса, OpenCart, Tilda и MODX, закрытие меток и фильтров, Clean-param для Яндекса и ссылка на карту сайта. Можно скопировать или скачать готовый файл.

Что такое robots.txt и чего он не делает

Это текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы обходить не нужно. Важно понимать ограничение: robots.txt управляет обходом, а не индексацией. Закрытая в нём страница всё равно может попасть в выдачу, если на неё ведут ссылки. Чтобы страницы точно не было в поиске, нужен мета-тег noindex — и тогда страницу нельзя закрывать в robots.txt, иначе робот не увидит запрет.

Что закрывают обычно

• Служебные разделы движка — админка, системные папки, файлы установки.
• Результаты поиска по сайту — бесконечные страницы, которые ничего не добавляют.
• Корзина, оформление заказа, личный кабинет — их незачем обходить.
• Адреса с метками и параметрами — иначе одна страница плодит десятки копий.

Clean-param вместо запретов — приём для Яндекса

Если закрыть адреса с UTM-метками через Disallow, Яндекс просто не будет их обходить. А директива Clean-param работает умнее: робот понимает, что параметр не меняет содержимое, и склеивает все версии адреса в одну — вес не теряется, дубли не плодятся. Для меток это правильнее, чем запрет. Google такую директиву не понимает, но ему она и не нужна: он справляется через canonical.

Не закрывайте CSS и JavaScript

Старый совет «закрыть от роботов папки с темой и скриптами» сегодня вреден. Поисковик рендерит страницу как браузер: без стилей и скриптов он видит сломанную вёрстку и может решить, что сайт неудобен для мобильных. Поэтому в наборах правил нашего генератора эти файлы явно разрешены.

Ошибки, которые убивают трафик

• Disallow: / на боевом сайте. Классика: закрыли на время разработки и забыли открыть. Сайт выпадает из поиска целиком за пару недель.
• Закрыт раздел, который приносит трафик — например, блог целиком «чтобы не мешал».
• Нет ссылки на sitemap — не критично, но лишает поиск быстрого списка страниц.
• Разные правила для Яндекса и Google без причины — усложняет поддержку и рождает ошибки.

Как проверить

После загрузки файла в корень сайта откройте адрес вашсайт.ру/robots.txt — он должен отдаваться как обычный текст. Затем проверьте его в Яндекс Вебмастере: там есть инструмент, который показывает, разрешён ли конкретный адрес к обходу. Это снимает большинство сомнений за минуту.

Если не уверены, что именно закрывать на вашем сайте, — посмотрим и настроим: мелкие работы по сайту. Комплексная проверка технической части — аудит сайта.

Частые вопросы

Обязателен ли robots.txt?

Формально нет: без него сайт индексируется целиком. Но на любом движке есть служебные разделы, которым в поиске делать нечего, поэтому файл почти всегда нужен.

Закрытая в robots.txt страница точно не попадёт в поиск?

Не точно. Файл управляет обходом, а не индексацией: если на страницу ведут внешние ссылки, она может появиться в выдаче без описания. Гарантированный способ — мета-тег noindex, при этом страница должна оставаться открытой для обхода.

Нужно ли закрывать страницы пагинации?

Зависит от сайта. В большинстве каталогов пагинацию лучше оставить открытой — через неё робот находит товары, — но закрыть от индексации мета-тегом и правильно проставить canonical. Слепое закрытие в robots.txt может отрезать роботу путь к карточкам.

Что такое Clean-param и зачем он?

Директива Яндекса: она говорит, что параметр в адресе не меняет содержимое страницы. Робот склеивает такие адреса в один, вместо того чтобы считать их дублями. Для UTM-меток это лучше, чем запрет обхода.

Как часто нужно обновлять файл?

При смене движка, добавлении новых разделов с параметрами или переезде на другой домен. В остальное время он живёт без изменений годами.