Метатег Robots и X-Robots-Tag

Что умеет решение

Модуль «Метатег Robots и X-Robots-Tag» управляет индексацией и отображением страниц сайта в поисковых системах через HTML-метатеги robots и HTTP-заголовок X-Robots-Tag. Настройка выполняется без изменения шаблонов, компонентов и участия разработчика.

На сайтах с каталогами, фильтрами и сложной структурой URL часто возникают технические страницы и дубликаты. Они попадают в индекс поисковых систем Яндекс, Google и Bing, конкурируют с важными разделами, создают дубли в выдаче и затрудняют SEO-продвижение. Модуль позволяет управлять не только индексацией, но и поведением поисковых систем при отображении страниц: переходом по ссылкам, формированием сниппетов, сохранением копий, индексацией изображений и сроком показа.

Администратор или SEO-специалист через административную панель создаёт правило, указывает URL или условие и выбирает необходимые директивы. Система автоматически применяет их к подходящим страницам через метатег robots или HTTP-заголовок X-Robots-Tag.

Основные возможности

Управление robots-директивами для любых страниц

Можно задавать правила индексирования:

- для конкретной страницы;

- для раздела сайта;

- по маске URL, например /catalog/*;

Настройка правил осуществляется с использованием регулярных выражений, например #^/catalog/.*/filter/#. Это позволяет гибко управлять индексацией как обычных страниц, так и технических URL, которые не должны попадать в поисковую выдачу.

Модуль поддерживает два метода передачи директив поисковым роботам: через HTML-метатег robots или через HTTP-заголовок X-Robots-Tag. Эти способы можно применять одновременно или выбирать подходящий для каждого конкретного правила.

Система позволяет задавать отдельные директивы для различных поисковых систем: общие правила для всех роботов, а также специфичные настройки для Яндекса (yandex), Google (googlebot) и Bing (bingbot).

В модуле реализован базовый набор директив, востребованных в техническом SEO: index и noindex для управления индексацией страниц, а также follow и nofollow для контроля перехода по ссылкам.

Модуль управляет метатегами Robots и заголовками X-Robots-Tag для гибкой настройки индексации страниц. Доступны следующие директивы:

noarchive — запрещает показ сохранённой копии страницы в результатах поиска;

nosnippet — запрещает отображение текстового фрагмента (сниппета) в поисковой выдаче;

noimageindex — исключает изображения со страницы из индекса;

notranslate — отключает предложение автоматического перевода;

unavailable_after — позволяет указать дату, после которой страница должна быть исключена из поиска.

Модуль поддерживает учёт GET-параметров при формировании правил. Это позволяет управлять индексацией страниц фильтрации, сортировки, поиска и пагинации, которые часто создают дубликаты контента. Вы можете настраивать правила индивидуально для конкретных параметров: разрешать индексацию одних URL с параметрами и закрывать другие от поисковых систем.

Для работы с большими объёмами данных реализован импорт и экспорт правил в форматах CSV и XLSX. Функционал полезен при масштабировании проектов, проведении SEO-аудитов и быстрой настройке множества правил. Инструменты импорта и экспорта позволяют массово создавать правила, переносить конфигурации между сайтами, готовить списки в табличном виде и оперативно внедрять рекомендации по итогам аудита.

Модуль позволяет создавать резервные копии настроек и анализировать правила управления индексацией вне административной панели. SEO-специалист может загрузить таблицу с готовыми правилами, исключая необходимость ручного создания каждого пункта.

Работа осуществляется без изменения шаблонов сайта, компонентов или серверных конфигураций для типовых сценариев, так как модуль интегрируется через системные события 1С-Битрикс. После установки администратор или SEO-специалист сразу получает возможность управлять индексацией страниц через административную панель, не привлекая разработчиков для каждой правки и экономя бюджет на технических доработках.

Поддерживается режим многосайтовости 1С-Битрикс. Настройки могут быть общими для всех сайтов, индивидуальными для каждого домена или привязанными к конкретному сайту. Это решение удобно для проектов с несколькими доменами, региональными версиями или разветвленной структурой на одной платформе.

Важно: модуль управляет директивами HTML-метатега robots и HTTP-заголовка X-Robots-Tag, что отличает его от стандартного файла robots.txt.

Файл robots.txt регулирует доступ поисковых роботов к URL, определяя возможность сканирования страницы. Метатег robots и заголовок X-Robots-Tag управляют индексацией и отображением уже просканированных страниц: они определяют, можно ли показывать страницу в результатах поиска, переходить по ссылкам, формировать сниппет, сохранять копию и применять иные правила.

Если страница заблокирована в файле robots.txt, поисковая система может не получить директивы метатега robots или заголовка X-Robots-Tag. Следовательно, для корректной работы этих директив страница должна быть доступна для сканирования.

Технические требования и совместимость

Поддержка PHP 8.x.

Работоспособность на актуальных версиях платформы 1С-Битрикс.

Поддержка многосайтовых конфигураций.

Совместимость с композитным режимом.

Корректная работа с готовыми шаблонами и индивидуальным дизайном.

General iT поможет установить модуль, настроить его и проверить работу на твоём сайте.