Генератор sitemap.xml

Обходит сайт по внутренним ссылкам и собирает карту в формате sitemap.xml. Начинает с главной, идёт по ссылкам внутри домена, пропускает файлы и страницы, закрытые от индексации. Результат можно скачать готовым файлом.

Зачем нужна карта сайта

Sitemap — список адресов, которые вы считаете важными. Он не заставляет поиск индексировать страницы, но помогает их найти: особенно те, на которые мало внутренних ссылок или которые лежат глубоко в структуре. Для нового сайта это ускоряет первое попадание в индекс, для большого — помогает роботу не потерять разделы.

Что делать с файлом

1. Положите sitemap.xml в корень сайта, чтобы он открывался по адресу вашсайт.ру/sitemap.xml.
2. Добавьте строку Sitemap: https://вашсайт.ру/sitemap.xml в robots.txt.
3. Укажите адрес карты в Яндекс Вебмастере и Google Search Console — там же видно, сколько страниц из неё попало в индекс.

Если сайт на популярной CMS

У WordPress, Битрикса и большинства движков карта генерируется автоматически и обновляется при добавлении страниц — это удобнее статического файла. Наш генератор полезен в других случаях: сайт самописный, карта сломалась, нужно быстро посмотреть реальную структуру глазами или проверить, какие страницы вообще доступны роботу по ссылкам.

Что включать в карту, а что нет

• Включать: страницы, которые должны быть в поиске и отдают код 200.
• Не включать: редиректы, страницы с noindex, служебные адреса, дубли с параметрами, корзину и личный кабинет.
• Ограничения формата: до 50 000 адресов и 50 МБ в одном файле. Больше — разбивают на несколько карт и собирают индексный sitemap.

Как проверить, что всё в порядке

В Яндекс Вебмастере в разделе «Файлы Sitemap» видно, когда карта считана, сколько в ней адресов и есть ли ошибки. Полезное наблюдение: если в карте тысяча страниц, а в поиске сотня, дело почти никогда не в карте — значит, поиск считает остальные страницы малоценными. Карта показывает адреса, но не делает страницы нужными.

Если после проверки выяснилось, что половина сайта не в индексе, — это чинится не картой: смотрите аудит сайта. Мы через это проходили на собственном сайте: 187 тонких страниц из 311 не индексировались, пока их не переписали.

Частые вопросы

Почему найдено меньше страниц, чем на сайте?

Обход ограничен 100 страницами и 20 секундами, чтобы инструмент оставался бесплатным и не нагружал ни наш сервер, ни ваш сайт. Кроме того, робот идёт только по обычным ссылкам: страницы, доступные лишь через фильтры, поиск или JavaScript, он не увидит — и это, кстати, повод задуматься о перелинковке.

Страницы с noindex попадают в карту?

Нет, они отфильтровываются. Держать в карте страницы, закрытые от индексации, — распространённая ошибка: поиск считает такую карту противоречивой.

Как часто обновлять карту?

Если карта статическая — при каждом добавлении раздела. Поэтому на живых сайтах лучше динамическая генерация средствами CMS: она обновляется сама.

Нужны ли теги priority и changefreq?

Поисковики их фактически игнорируют. Достаточно loc и lastmod, причём lastmod должен быть честным: если дата меняется каждый день без изменений на странице, доверие к ней теряется.

Не навредит ли обход моему сайту?

Нет. Обход идёт последовательно, не более 100 страниц, с обычным темпом запросов — это меньше нагрузки, чем один визит поискового робота.