Генератор карты сайта sitemap.xml с проверкой страниц

Что умеет решение

Генератор карты сайта sitemap.xml без мусора: в неё попадают только страницы, которые действительно открываются, с проверкой адресов, правил robots.txt и прав доступа, а также с формированием отчёта и автоматической пересборкой.

Модуль формирует файл sitemap.xml на основе инфоблоков и статических страниц сайта, проверяя каждый адрес перед добавлением в карту. Поисковые системы считают ошибкой наличие в карте ссылок, возвращающих код 404, перенаправляющих пользователя или закрытых в файле robots.txt. Модуль отсеивает такие адреса и отображает в отчёте причину их исключения.

Модуль решает проблему попадания в карту страниц удалённых разделов, пустых списков, ссылок-редиректов и страниц, закрытых для гостей. Он проверяет, что сайт действительно обслуживает адрес: наличие файла или правила urlrewrite с существующим обработчиком, отсутствие блокировки в файле .access.php и получение ответа с кодом 200.

Если шаблон URL инфоблока не совпадает с тем, как адреса формирует компонент на сайте, модуль обнаруживает это (адреса не обслуживаются или не отвечают) и позволяет задать собственный шаблон URL для списка, разделов и элементов.

Модуль устраняет необходимость ручной пересборки карты: процесс выполняется автоматически по расписанию, а также после изменения товаров и статей.

Модуль выявляет ошибки настройки сайта, препятствующие индексации: правила URL-переписывания, перехватывающие любые адреса (например, #^# от компонента с пустой папкой ЧПУ), и возврат кода 200 для несуществующих страниц (soft 404). О таких проблемах сообщается в итоговом отчёте.

Профили: каждому файлу карты сайта соответствует отдельный профиль, содержащий настройки сайта, домена, протокола, имени файла, источников, фильтров и расписания. В многосайтовых установках можно создавать неограниченное число профилей. При установке для каждого сайта автоматически формируется черновой профиль с предварительно отмеченными инфоблоками.

Инфоблоки: для страницы списка, разделов и элементов задаются индивидуальные значения частоты обновления (changefreq) и приоритета (priority). Доступны фильтры разделов: все, кроме выбранных, или только выбранные (включая подразделы). Реализована возможность пропуска пустых разделов, генерации только доступных к покупке товаров, добавления изображений товаров и статей (image:image), а также использования собственного шаблона URL.

Статические страницы: модуль сканирует файлы сайта, находя папки с index.php, подключающими шаблон. Служебные скрипты, обработчики AJAX, редиректы, закрытые для гостей папки и страницы с директивой robots=noindex игнорируются. Дополнительно поддерживается добавление произвольных адресов в формате строки, например «/promo/ 0.8 weekly».

Модуль генерирует карту сайта sitemap.xml с проверкой страниц. Приоритет страниц определяется их вложенностью: главная страница получает 1.0, первый уровень — 0.8, далее с шагом 0.1 вниз. Эти значения настраиваются. Для отдельных разделов можно задать минимальный приоритет, например, для /catalog/ не ниже 0.6. Для любой страницы доступны свои настройки частоты обновления и приоритета.

Фильтрация работает через маски исключений в синтаксисе robots.txt (символы *, $) и учитывает правила robots.txt для выбранного поискового робота (все, Yandex, Googlebot).

Формат файлов соответствует протоколу sitemaps.org. Включает дату последнего изменения (lastmod). Максимальный размер — 50 000 адресов или 50 МБ на файл. При превышении лимитов или по настройке «файл на источник» создаются части карты и индексный файл. Кириллические домены конвертируются в punycode, адреса кодируются через percent-encoding. Файл заменяется атомарно, чтобы поисковые системы никогда не получали неполные данные.

Генерация запускается из административной панели с индикатором прогресса, работающим короткими шагами без таймаутов даже на больших каталогах. Также возможна автоматическая генерация агентом: по расписанию (от 1 часа до недели) или через 10 минут после изменения элементов и разделов инфоблоков профиля.

После каждой генерации формируется отчёт: количество адресов от каждого источника, число пропущенных адресов и причины их пропуска с примерами.

По желанию модуль добавляет директиву Sitemap в файл robots.txt.

Управление правами доступа: просмотр профилей и отчётов или полная настройка настраивается отдельно для групп пользователей.

Генератор карты сайта sitemap.xml с проверкой страниц

Требования к среде: PHP версии 8.2 и новее, основной модуль системы версии 22.0 и выше, активный модуль «Информационные блоки» и расширение PHP dom. Расширение dom доступно в среде BitrixVM и на большинстве хостинг-провайдеров. Внешние библиотеки сторонних разработчиков не применяются.

Проверка ответов сервера требует, чтобы сайт был доступен с самого сервера по его домену, при этом проверяется валидность HTTPS-сертификата. Запросы направляются исключительно на домены, указанные в настройках сайта. Если сайт защищен паролем, автоматическая проверка ответов отключается, остальные функции модуля продолжают работать.

Адреса, обрабатываемые маршрутизацией D7 или правилами веб-сервера (в отличие от файлов и скрипта urlrewrite.php), не проходят проверку «сайт обслуживает адрес». Для таких проектов эту проверку можно отключить в профиле модуля.

Рекомендуется запускать агенты через cron. Это позволяет генерировать большие каталоги целиком за один запуск, избегая фрагментарной обработки по 8 секунд на каждое посещение сайта.

Модуль не передает данные сайта третьим лицам. Исходный код полностью открыт, зашифрованных частей не содержит.

Модуль прошел проверку по методике marketplace-security-skills 1С-Битрикс: файл security-journal.json имеет статус ready_for_submission.

General iT может установить «Генератор карты сайта sitemap.xml с проверкой страниц», настроить параметры модуля и проверить его работу в существующем проекте.