Защита от парсинга (Парсеров и ботов)

Что умеет решение

Модуль «Защита от парсинга» обеспечивает комплексную безопасность сайта на 1С-Битрикс от автоматического сбора данных, скрейпинга и агрессивных ботов. Он предотвращает кражу контента, перегрузку сервера и утечку базы товаров и цен к конкурентам. Решение работает на стороне PHP и объединяет многоуровневую защиту в едином интерфейсе: ограничение частоты запросов, поведенческий анализ, проверка браузера, фильтрация по географии и IP, защита API и контента, интеграция с Cloudflare, а также система уведомлений и мониторинга.

Модуль готов к использованию сразу после установки с безопасными настройками по умолчанию. Предусмотрены щадящие режимы для тестирования без риска блокировки реальных посетителей. Решение корректно функционирует в кластерных средах и за балансировщиками нагрузки, оказывая минимальное влияние на работу кэша и индексацию поисковыми системами.

Модуль защиты от парсинга и ботов Kommutator.net обеспечивает контроль нагрузки и фильтрацию нежелательного трафика. Лимитирование запросов по IP настраивается с использованием Redis, Memcache или файловых хранилищ, что гарантирует атомарный подсчёт и корректную работу в кластерных средах. При превышении заданного порога система предлагает пройти проверку CAPTCHA: стандартная Bitrix, Google reCAPTCHA v3 или Yandex SmartCaptcha.

Обнаружение и блокировка ботов

Система распознаёт более 40 паттернов вредоносных User-Agent и выявляет headless-браузеры. Методика Threat-scoring оценивает угрозу в диапазоне от 0 до 100, блокируя трафик по совокупности признаков, что минимизирует количество ложных срабатываний. Проверка легитимных поисковых ботов (Google, Bing, Yandex, Apple, Baidu, DuckDuckGo, Facebook) выполняется через forward-confirmed reverse DNS, что исключает подмену Googlebot. Для безопасного внедрения предусмотрен мягкий режим, работающий только с логированием. Пользователь может настраивать собственные белые и чёрные списки User-Agent.

JS-проверка браузера и поведенческий анализ

Фрикционная JS-проверка эффективно отсекает примитивные парсеры и автоматизированные браузеры, не затрагивая проверенные поисковые системы и API. Поведенческий анализ подтверждает реальное взаимодействие пользователя через подписанную cookie, дополнительно снижая риск ложных блокировок. Система также анализирует «холодные» прямые заходы с возможностью выбора режима: отключение, мониторинг или блокировка.

IP-блокировка

Реализованы функции управления белыми и чёрными списками для отдельных IP-адресов, подсетей CIDR, масок и адресов IPv6.

Модуль защиты от парсинга и ботов Kommutator автоматически блокирует IP-адреса при превышении лимита нарушений в час с обеспечением кластерной согласованности.

Гео-блокировка

Реализована через чёрные и белые списки стран. Определение местоположения пользователя происходит по цепочке источников: заголовок Cloudflare, заголовки веб-сервера (nginx/apache GeoIP и GeoIP2), встроенный GeoIP 1С-Битрикс (SypexGeo, MaxMind и др.), компонент Bitrix\Sale\Location\GeoIp, PHP-расширение geoip или база MaxMind. Для корректной работы достаточно наличия хотя бы одного источника.

Защита контента

Включает три уровня защиты, блокировку копирования текста и контекстного меню, а также настраиваемое уведомление «Копирование запрещено». Для защиты форм применяются honeypot-ловушки, а контактные данные (e-mail и телефоны) подвергаются обфускации.

Защита API

Обеспечивается ограничением частоты запросов, проверкой токена X-API-Token, управлением политикой CORS и защитой по путям.

Интеграция с WAF

Позволяет синхронизировать правила блокировки IP с сервисом Cloudflare.

Уведомления

Поддерживают отправку сообщений через E-mail, Telegram и Webhook с настройкой пороговых значений, защитой от спама (cooldown) и механизмом повторных попыток.

Мониторинг и логи

Предоставляют дашборд с графиками активности по часам и дням, топ-списками стран, IP-адресов и событий, а также фильтрами. Данные экспортируются в CSV и Fail2Ban, логи ведутся в файлы и/или базу данных с разделением статистики по людям и ботам.

Многосайтовость

Модуль поддерживает работу с несколькими сайтами.

Настройки поведения защиты задаются отдельно для каждого сайта с возможностью отката к глобальным значениям. Инфраструктура (ключи капчи, списки IP, Redis, WAF, уведомления) является общей.

Модуль объединяет все необходимые функции защиты в одном решении, исключая необходимость сборки из нескольких инструментов. По умолчанию используются безопасные значения и мягкие режимы, что позволяет внедрять защиту без риска блокировки реальных посетителей. Проверенные поисковые системы проходят все проверки, индексация не страдает.

Решение готово к высокой нагрузке и работе в кластере. Используются общие счётчики в Redis или Memcache, реализована защита от спуфинга заголовка X-Forwarded-For, а ленивые сессии не нарушают работу композитного кэша. Модуль автоматически интегрируется с существующей инфраструктурой, включая штатный GeoIP Битрикса и Cloudflare.

Доступ к настройкам осуществляется через раздел «Сервисы → Защита от парсинга» или через путь «Настройки → Настройки продукта → Настройки модулей → Защита от парсинга».

Внимание: некорректная конфигурация может привести к потере доступа к сайту. Модуль предназначен для блокировки нежелательного трафика, однако чрезмерно агрессивные или ошибочные настройки способны заблокировать реальных пользователей и затруднить доступ к ресурсу.

Риски неправильной настройки защиты от парсинга

Слишком низкий лимит запросов может заблокировать обычных пользователей и легитимные интеграции. Гео-блокировка в режиме «белый список» с неверным перечнем стран или с активированной блокировкой для неопределённых регионов способна полностью закрыть доступ к сайту. Добавление в чёрный список IP-адресов или подсетей, используемых клиентами, CDN, платёжными шлюзами или сторонними интеграциями, также ведёт к потере трафика. Включение агрессивных режимов, таких как блокировка ботов или прямых заходов, без предварительного тестирования повышает риск сбоев. Ошибки в списке доверенных прокси за балансировщиком нагрузки могут привести к тому, что весь трафик будет восприниматься как исходящий с одного IP-адреса.

Важно: по умолчанию запросы из командной строки (CLI), cron-задач и от авторизованных администраторов не проходят проверку. Это снижает риск полной блокировки доступа к административной панели. Однако при ошибочных правилах публичная часть сайта может стать недоступной для посетителей, а неверная конфигурация сервера (прокси, кэш, права доступа) способна усугубить последствия.

Обязательное создание резервных копий

Перед установкой модуля и перед любыми изменениями его настроек необходимо создавать резервную копию сайта и базы данных. Резервная копия должна обеспечивать возможность полного восстановления системы.

Модуль защищает файлы сайта, включая каталог самого модуля и файлы конфигурации, а также базу данных, в частности таблицы настроек «b_option» и журналы работы.

Перед установкой убедитесь в наличии рабочего способа восстановления и доступа к серверу или хостингу без использования веб-интерфейса (SSH, файловый менеджер хостинга, панель управления). Это необходимо для оперативного отключения модуля или отката изменений в случае сбоя.

Рекомендации по безопасному внедрению:

1. Создайте полную резервную копию системы.

2. Активируйте механизмы защиты поэтапно, начиная с мягких режимов: блокировку ботов включайте в режиме «только лог», анализ прямых заходов — в режиме «мониторинг».

3. В течение нескольких дней отслеживайте данные на Дашборде: оценивайте список заблокированных пользователей и проверяйте отсутствие ложных срабатываний.

4. После подтверждения корректности работы переключайте механизмы в активный режим блокировки.

5. Заранее добавьте в белые списки доверенные IP-адреса (офисные сети, системы мониторинга, интеграционные шлюзы, платёжные системы) и необходимые подсети.

6. Если модуль установлен за балансировщиком нагрузки, корректно настройте раздел «Доверенные прокси».

7. Запомните алгоритм экстренного отключения: использование глобального переключателя в настройках или удаление/переименование каталога модуля на сервере.

Экстренное отключение

В случае недоступности сайта из-за настроек модуля:

Для отключения модуля используйте глобальный переключатель в настройках, если доступен доступ к административной панели. Альтернативный способ — переименование или удаление каталога модуля на сервере. В случае необходимости снимите регистрацию модуля или восстановите сайт из резервной копии.

Для «Защита от парсинга (Парсеров и ботов)» команда General iT может выполнить подключение, настройку и контрольную проверку после установки.