Пантеон: Создание RSS-ленты из любой веб-страницы и мониторинг новинок

Что умеет решение

Модуль Пантеон формирует RSS-ленту из веб-страниц, не имеющих собственной подписки, например из каталогов конкурентов, новостных разделов поставщиков или отраслевых ресурсов. Система автоматически проверяет указанные страницы по заданному расписанию с интервалом от 15 минут и мгновенно уведомляет о появлении новых записей или важных новостей. Актуальные данные отображаются в гаджете на рабочем столе административной панели. Создание ленты осуществляется в визуальном конструкторе: алгоритм самостоятельно определяет структуру записей и их поля, включая название, цену, изображение и ссылку. Ошибки в определении полей исправляются одним кликом. Несколько лент можно объединить в единый поток, а превью новых записей импортировать в гаджет или инфоблок.

Бизнесу важно первым узнавать о новинках конкурентов, поступлениях от поставщиков и важных отраслевых новостях. Однако у таких сайтов почти никогда нет RSS-лент, из-за чего сотрудникам приходится ежедневно вручную проверять множество ресурсов. В результате новые данные обнаруживаются с задержкой в один-два дня, когда возможность оперативной реакции уже упущена.

Модуль Пантеон превращает любую веб-страницу в RSS-ленту и выполняет мониторинг по заданному расписанию. Как только появляется новая запись, система сразу уведомляет пользователя. Это позволяет реагировать в тот же час: добавлять товары в каталог, запускать акции или связываться с поставщиками.

Модуль Пантеон позволяет создавать RSS-ленты из произвольных веб-страниц и отслеживать появление новых данных. Это решение подходит для компаний, которым необходимо оперативно получать уведомления о важных изменениях у поставщиков: новых поступлениях товаров, переносах сроков поставок или обновлении условий сотрудничества.

Для создания ленты перейдите в раздел Сервисы, затем Пантеон, выберите Конструктор RSS-лент и нажмите Добавить ленту. В открывшейся форме укажите имя создаваемой ленты и адрес веб-страницы, содержащей список товаров или новости.

Нажмите кнопку «Определить автоматически». Страница откроется в административной панели. Модуль найдёт повторяющиеся записи — в данном случае семь новостей — и автоматически определит в них заголовок, анонс, изображение, ссылку и дату. Результат отображается в зелёной плашке под кнопкой. Найденные записи обводятся пунктиром, соответствующие поля подсвечиваются, а на кнопках управления полями появляются галочки.

3. Отредактируйте поле кликом. Если поле не найдено или выбрано неверно, нажмите кнопку поля и укажите нужный элемент в любой одной записи. Лишнее поле удаляется нажатием крестика на его кнопке. Подсказка под кнопками поясняет, на какой элемент следует нажать. Модуль самостоятельно находит аналогичные элементы в остальных записях. Для работы не требуется знание HTML или XPath.

4. Уточнение извлекаемых данных. В таблице под конструктором для каждого поля отображаются используемое выражение и источник значения: текст, адрес ссылки, адрес изображения или атрибут. Пользователи, владеющие XPath, могут редактировать выражения вручную.

5. Проверьте предпросмотр перед сохранением. В режиме предпросмотра отображаются заголовок, краткое описание, изображение, ссылка и дата публикации для каждой записи. После сохранения лента получает постоянный адрес и становится доступной через гаджет на рабочем столе.

Для каждой ленты включён автоматический мониторинг. Модуль проверяет страницу по заданному расписанию с интервалом от 15 минут. Можно указать рабочие дни недели и часы активности. При появлении новой записи — товара, новости или тендера — система сразу отправляет уведомление. Первая проверка фиксирует существующий контент, чтобы не генерировать ложные оповещения о ранее опубликованных материалах. Если сайт перестанет отвечать или изменится его структура, модуль сообщит об ошибке.

Модуль Пантеон позволяет создавать RSS-ленты из любой веб-страницы и отслеживать появление новых записей. При обнаружении обновления система мгновенно отправляет уведомление по электронной почте или передает данные через вебхук в CRM, пользовательский скрипт или сервис автоматизации. Ссылка в сообщении ведет непосредственно к найденной новости. Пример реального уведомления от модуля при публикации поставщиком важной информации представлен ниже.

Модуль Пантеон позволяет создавать сборные RSS-ленты, объединяющие несколько источников в единый поток. Например, можно включить новости поставщика, новинки производителя и отраслевые события. В форме создания достаточно отметить нужные ленты-источники, чтобы получить одну ссылку и один виджет для всех устройств. Записи из разных источников выводятся в едином списке: новые сообщения находятся сверху. Если одна и та же ссылка встречается в нескольких лентах, она отображается только один раз. К каждой записи добавляется метка, указывающая, из какого именно источника она поступила.

Модуль Пантеон формирует RSS-ленту или сводную ленту из любой веб-страницы и отображает её прямо на рабочем столе административной панели. В интерфейсе доступны название, изображение и описание материалов. Специальный режим «Только новинки» фильтрует контент, оставляя исключительно новые записи. Это позволяет мгновенно отслеживать обновления у поставщиков, конкурентов и в отрасли при входе в систему, не открывая внешние сайты.

Модуль Пантеон собирает все обнаруженные записи на одной странице, отображая дату появления, источник ленты и ссылку на первоисточник. Доступны фильтры по временному периоду, конкретной ленте, агрегированной ленте и тегу. Интерфейс содержит отдельную колонку для отметки новых записей. Реализована возможность экспорта данных в формат Excel.

Модуль Пантеон позволяет создавать RSS-ленты из веб-страниц, не имеющих собственного формата, и отслеживать появление новых материалов. Решение работает непосредственно в административной панели 1С-Битрикс, что устраняет необходимость во внешних сервисах и отдельных аккаунтах. Сформированные ленты доступны на рабочем столе администратора и в разделе «История записей».

Модуль приобретается единовременно без абонентской платы или тарифных ограничений; количество создаваемых лент не ограничено. Проверка страниц на наличие обновлений настраивается с интервалом от 15 минут с возможностью указания временных окон и дней недели.

При обнаружении новых записей система отправляет уведомления по электронной почте или через вебхук в CRM-системы и сервисы автоматизации. Поддерживается создание сводных лент, объединяющих несколько источников в одну ссылку и один гаджет. Новые материалы можно импортировать в гаджет или инфоблок, получая превью с прямой ссылкой на первоисточник.

Модуль Пантеон позволяет создавать RSS-ленту из любой веб-страницы и отслеживать появление новых материалов. Система поддерживает три формата вывода: RSS 2.0 с изображениями, Atom 1.0 и JSON Feed 1.1. Доступ к ленте осуществляется по постоянной ссылке, защищенной секретным ключом. Подписку можно оформить в любой программе для чтения RSS или интегрировать ленту в сервисы автоматизации.

Фильтры по словам

Укажите слова, которые должны присутствовать в записи, и слова, которые приводят к её исключению. Например, искать только по терминам «тендер» и «закупка», исключая записи со словом «архив».

Импорт в гаджет или инфоблок

Модуль извлекает только превью записи: заголовок, изображение, краткое описание и ссылку. Полный текст страницы не загружается. Превью отображаются в гаджете на рабочем столе или добавляются в инфоблок как элементы со ссылкой на первоисточник. По умолчанию элементы неактивны и требуют проверки менеджером. Система автоматически предотвращает создание дубликатов.

Контроль источника

Модуль отслеживает доступность сайта-источника и изменения в его структуре. При сбое доступа или изменении вёрстки система уведомляет о проблеме и о её устранении. Над списком лент отображается уведомление «Новые записи не приходят».

Изменения в записях

Отметьте галочкой поле «Следить» для отслеживания изменений значений в уже опубликованных записях. Модуль уведомит о смене данных, например цены, в формате «было → стало».

Модуль Пантеон позволяет создавать RSS-ленты из любых веб-страниц и отслеживать появление новых материалов. Для работы со сложными источниками доступны настройки выбора User-Agent и языка страницы. Система корректно обрабатывает изображения с отложенной загрузкой. Для обхода блокировок IP-адресов хостинга предусмотрена возможность использования прокси-серверов: можно применять общий прокси или настроить индивидуальный для каждой отдельной ленты.

Пантеон: создание RSS-ленты из любой веб-страницы и мониторинг новинок

Теги и права

Теги группируют ленты в списке. Права выдаются группам пользователей: просмотр лент или полный доступ. Быть администратором для этого не обязательно.

Для разработчиков модуль предоставляет вебхук с передачей данных в формате JSON и защитой подписи HMAC-SHA256. Реализовано семь событий версии D7, позволяющих корректировать записи, отменять уведомления или процессы импорта, а также передавать новые данные в сторонние системы.

Изолированный конструктор

Чужие веб-страницы открываются в изолированной рамке, где выполнение скриптов по умолчанию отключено. Настройка RSS-лент доступна сотрудникам, не имеющим прав администратора.

Пантеон: Создание RSS-ленты из любой веб-страницы и мониторинг новинок

Бережное отношение к источнику данных. Между запросами к одному сайту выдерживается пауза, используется кеш ленты, а учёт правил robots.txt настраивается по желанию. Ленту можно поставить на паузу в любой момент.

Пантеон: создание RSS-ленты из любой веб-страницы и мониторинг новинок

Ленты не индексируются поисковыми системами. Адрес ленты содержит секретный ключ, а все ответы сервера передаются с заголовком X-Robots-Tag: noindex. Если ссылка была сгенерирована некорректно, её можно создать заново.

Пантеон: Создание RSS-ленты из любой веб-страницы и мониторинг новинок

Всё работает на вашем сервере. Для загрузки страниц и формирования лент не требуются сторонние сервисы, внешние ключи доступа или платные подписки. Весь процесс выполняется непосредственно вашим сайтом.

Модуль Пантеон позволяет создавать RSS-ленты из произвольных веб-страниц и отслеживать появление новых материалов. Для работы требуются PHP версии 8.1 или выше, а также установленные расширения DOM и mbstring. Основной модуль должен быть версии 20.5.400 или новее. Процесс установки автоматически проверяет наличие всех необходимых компонентов и указывает на отсутствующие элементы.

Расширения cURL и XMLWriter желательны, но не обязательны. В стандартной среде BitrixVM эти расширения PHP отключены, однако модуль устанавливается и работает в упрощённом режиме. Загрузка страниц осуществляется через HTTP-клиент Битрикса, сбор и проверка лент выполняются в штатном порядке. Ограничения касаются только поддержки прокси-серверов SOCKS и HTTPS, а также доступа к ресурсам, доступным исключительно через IPv6. Над списком лент модуль подскажет, что необходимо включить, и автоматически переключится на этот режим после активации.

Точное расписание проверок

Агент Битрикса запускает проверки при посещениях сайта. При низкой активности посещений добавьте в системный crontab строку из настроек модуля — тогда проверки будут выполняться строго по графику. Над списком лент отображается время последнего запуска: «агентом Битрикса» или «через cron».

Модуль требует базу данных MySQL или MariaDB с кодировкой UTF-8. Установка невозможна на версиях «1С-Битрикс» с поддержкой PostgreSQL, а также на сайтах, использующих кодировку windows-1251. Для корректного импорта данных необходим установленный модуль «Информационные блоки».

Пантеон: Создание RSS-ленты из любой веб-страницы и мониторинг новинок

Модуль анализирует исходный HTML-код страницы без использования браузера. Для проверки доступности данных откройте страницу в браузере и нажмите Ctrl+U: если записи видны в исходном коде, модуль сможет их прочитать. Лента формируется только на основе содержимого одной страницы. Модуль не переходит по ссылкам пагинации и не переходит на детальные страницы для сбора данных.

Защита от роботов

Сайты, использующие Cloudflare и аналогичные сервисы, могут возвращать ошибку 403. В некоторых случаях помогает смена заголовка User-Agent или использование прокси, однако гарантии успешного доступа не предоставляется. Страницы, требующие авторизации, не поддерживаются.

Пантеон: Создание RSS-ленты из любой веб-страницы и мониторинг новинок

В пробной версии доступны все функции, однако можно создать не более двух обычных лент. Сборные ленты в этом режиме не ограничены. При покупке модуля все ограничения снимаются.

Пантеон: создание RSS-ленты из любой веб-страницы и мониторинг новинок. Подробная документация с иллюстрациями к каждому параметру, быстрая настройка за десять минут и готовые сценарии доступны на официальном сайте разработчика.

Для «Пантеон: Создание RSS-ленты из любой веб-страницы и мониторинг новинок» команда General iT может выполнить подключение, настройку и контрольную проверку после установки.