BUSSOL DataBridge: импорт, экспорт и автоматизация каталога

Что умеет решение

BUSSOL DataBridge — единый центр импорта, экспорта и автоматизации данных для 1С-Битрикс. Модуль заменяет ручную обработку Excel-файлов, разрозненные скрипты и рутинные интеграции управляемыми профилями обмена. Поддерживается работа с товарами и SKU, ценами и складами, разделами и SEO, Highload-блоками, скидками, наборами и комплектами. Функционал включает планирование задач, преобразования данных, работу с удалёнными источниками, доставку результатов, режим Dry Run и откат изменений. Система поддерживает форматы XLSX, XLSM, XLS, CSV, Google Sheets, а также протоколы HTTP, HTTPS, FTP, FTPS и получение данных по email через IMAP.

Если каталог постоянно пополняется данными из Excel, прайс-листов поставщиков, FTP, электронной почты или Google Таблиц, со временем вокруг этого процесса неизбежно накапливаются ручные операции, разрозненные скрипты и инструкции по запуску. Модуль BUSSOL DataBridge объединяет весь этот цикл в едином решении. Один профиль описывает полную цепочку действий: источник данных, преобразования, поиск объектов, создание или обновление записей, проверка, настройка расписания и доставка результата. Вместо набора раздельных инструментов для импорта, экспорта, работы с FTP, email, Google Sheets и автоматизации вы получаете централизованный управляемый процесс внутри 1С-Битрикс.

С помощью модуля можно автоматизировать ежедневное обновление каталога поставщика, синхронизацию цен и остатков на складах, импорт товаров вместе с торговыми предложениями SKU, массовое редактирование каталога через Excel, обмен данными с Google Sheets, получение прайс-листов по HTTP, FTP или email, формирование партнерских и B2B-прайсов, автоматическую отправку экспорта по FTP, HTTP, email или в Google, миграцию данных между проектами, работу с разделами, SEO и Highload-блоками, импорт скидок, наборов и комплектов, а также регулярные обмены по расписанию. Система обеспечивает полный контроль над товарами, артикулами SKU, ценами и складскими остатками.

Модуль DataBridge от BUSSOL синхронизирует каталог, обрабатывая не только стандартные поля инфоблока. В одном цикле выполняются импорт и экспорт: базовых полей элементов, свойств инфоблоков (включая множественные и списочные типы), файлов и изображений, разделов и их привязок, цен и валют, закупочных цен, количества товаров, остатков по каждому складу, веса и габаритов, а также торговых предложений SKU.

ТОВАР И SKU — В ОДНОМ ПРОФИЛЕ

Торговые предложения создаются и обновляются напрямую из строк товарного файла. Для SKU предусмотрены собственные ключи поиска, поля XML_ID, CODE, NAME, ACTIVE, SORT и другие, свойства, цены и валюты, складские остатки, параметры торгового каталога, а также связь с родительским товаром. DataBridge дополнительно защищает каталог от скрытой перепривязки существующего SKU к другому товару.

СОСТАВНЫЕ КЛЮЧИ

Синхронизация только по ID или артикулу не всегда надежна. DataBridge поддерживает составные ключи, например АРТИКУЛ + ПОСТАВЩИК или БРЕНД + МОДЕЛЬ + ЦВЕТ. Это решение удобно при работе с несколькими поставщиками и внешними источниками, где один идентификатор не гарантирует уникальность.

ГИБКИЕ СТРАТЕГИИ ИМПОРТА

Для найденных и ненайденных объектов каталога можно независимо задать сценарии действий: обновление, создание, пропуск или фиксация как ошибка. Если объект отсутствует во входном файле, доступны варианты: оставить без изменений, деактивировать или удалить. При наличии дубликатов внутри файла загрузки настраивается собственная стратегия обработки.

Встроенная защита предотвращает массовую обработку отсутствующих позиций, если импорт завершился с ошибками или файл не содержит данных.

Режим проверки перед записью (Dry Run)

Массовый импорт не должен проводиться как эксперимент на рабочем каталоге. Перед внесением изменений запустите режим проверки. DataBridge прочитает файл, проверит ключи, применит преобразования, выполнит логику поиска, сформирует статистику и выведет ошибки в журнал, но не изменит данные на сайте. Это позволяет предварительно оценить результат и только затем запускать фактический обмен.

Откат изменений

Даже при корректно настроенном автоматическом обмене необходим план восстановления. При активированном журнале отката DataBridge сохраняет обратные действия до внесения изменений в данные. После завершения задания можно выполнить отдельную операцию «Откатить импорт». Функция отката распространяется на все изменения, созданные модулем DataBridge для:

Модуль BUSSOL DataBridge обеспечивает импорт и экспорт данных для каталога 1С-Битрикс. Поддерживаются элементы и свойства, товары и артикулы, цены, складские остатки, разделы, SEO-параметры, записи Highload-блоков, пользовательские свойства и поля, значения списков, скидки, а также наборы и комплекты товаров. Функция Rollback предоставляет дополнительный уровень безопасности при операциях, но не заменяет резервное копирование базы данных.

Для работы со структурой каталога предусмотрен отдельный тип профиля. Через него можно импортировать и экспортировать поля разделов, пользовательские поля, изображения, родительскую структуру, иерархические пути, а также мета-теги: TITLE, DESCRIPTION, KEYWORDS и заголовок H1. Поддерживается работа с шаблонами SEO для свойств IProperty. При импорте товаров модуль обрабатывает пути разделов SECTION_PATHS и автоматически создает отсутствующую иерархию при необходимости.

Highload-блоки обслуживаются отдельными профилями импорта и экспорта. Поддерживаются строковые и числовые пользовательские поля, типы данных boolean, date/datetime, перечисления, файлы, множественные значения и составные ключи. Реализован режим Dry Run для проверки операций и обработка отсутствующих записей.

Модуль интегрируется со штатным механизмом скидок 1С-Битрикс. Доступен импорт и экспорт идентификаторов ID и XML_ID, названий, статуса активности, привязки к сайту, параметров сортировки и приоритета, а также дат действия скидок.

Модуль позволяет настраивать группы пользователей, применять процентные или фиксированные скидки, выбирать валюту и ограничивать доступ к товарам. Реализованы функции создания, обновления и отката изменений.

Работа со стандартными наборами и комплектами торгового каталога осуществляется через класс CCatalogProductSet. Доступен обмен данными о владельце, составе, количестве, порядке сортировки, типе (SET или GROUP) и идентификаторе SET_ID.

DataBridge поддерживает основные форматы обмена каталогами: XLSX, XLSM, XLS, CSV и Google Sheets.

При импорте доступны варианты загрузки одного листа, нескольких выбранных листов, диапазонов листов или всех листов книги. Заголовок таблицы настраивается отдельно для каждого выбранного листа.

При экспорте результат формируется на одном листе, автоматически разбивается по заданному количеству строк или создается отдельный лист для каждого значения выбранной колонки. Например, один файл может содержать отдельные листы для разных брендов, складов, регионов или категорий.

Для подготовки готовых документов для партнеров можно загрузить заранее созданный шаблон в форматах XLSX или XLSM.

DataBridge сохраняет структуру книги, стили, заполняет данные и переносит формулы из строки-шаблона на новые строки. Относительные ссылки в формулах автоматически корректируются, а абсолютные ссылки со знаком доллара остаются неизменными. При работе с шаблонами в формате XLSM сохраняется и VBA-часть файла.

Трансформации без программирования

Файл поставщика редко полностью соответствует структуре сайта. DataBridge позволяет применять цепочки преобразований к значениям перед импортом и после экспорта. Доступны операции: trim, upper/lower, удаление HTML, нормализация пробелов, replace, map, template, coalesce, default, строковые операции, числовые вычисления, округление, форматирование дат, translit, slug, split/join.

Функции template и coalesce могут использовать значения других колонок текущей строки. Например, название товара можно автоматически собрать из нескольких полей по шаблону: {BRAND} {MODEL} — {value}. Все преобразования выполняются без использования eval и произвольного PHP-кода.

Создание свойств и UF-полей из файла

При миграциях или подключении новых поставщиков структура входных данных часто меняется. DataBridge умеет создавать свойства и пользовательские поля (UF) на основе явно размеченных заголовков. Например, заголовок PROPERTY:BRAND создаст свойство BRAND, а SKU:PROPERTY:SIZE создаст свойство SIZE для артикула SKU.

UF_VENDOR

Пользователь может задать тип, название, множественность, порядок сортировки и начальные значения для списков. Случайные неизвестные колонки не создают автоматически никаких элементов; изменение схемы данных происходит исключительно на основе явной декларации.

Источники данных

Импорт данных возможен из следующих источников:

• вручную загруженный файл;

• протокол HTTP;

• протокол HTTPS;

• протокол FTP;

• протокол FTPS;

• вложения электронной почты через протокол IMAP;

• таблицы Google Sheets.

Настройка электронной почты

Можно настроить параметры получения писем:

• целевую папку;

• отправителя;

• фрагмент темы письма;

• режим обработки только непрочитанных сообщений;

• максимальный размер вложения.

Типичный сценарий работы:

Поставщик отправляет файл PRICE.XLSX → DataBridge находит соответствующее письмо → извлекает вложение → обновляет каталог.

Таблицы Google Sheets

Таблица Google Sheets может служить полноценным источником данных. Она обрабатывается тем же механизмом DataBridge: поддерживается работа с несколькими листами, сопоставление колонок, преобразования данных, а также сущности товаров и SKU.

Направления экспорта

После экспорта файл может быть автоматически доставлен в следующие места:

• на серверы FTP;

• на серверы FTPS;

• через запросы HTTP POST или PUT;

• в хранилище Google Drive;

• в таблицы Google Sheets;

• по электронной почте.

Доступна настройка нескольких направлений доставки одновременно. Таблицы Google Sheets могут создаваться заново или обновляться по постоянному идентификатору Spreadsheet ID.

Автоматизация по расписанию

Профили обмена настраиваются на запуск по заданному интервалу, ежедневно в конкретное время или только в выбранные дни недели. Это позволяет автоматизировать импорт и экспорт без постоянного участия администратора. Типичный сценарий включает получение прайс-листа поставщика, обновление карточек товаров, SKU, цен и остатков, формирование B2B-прайса, его отправку партнерам и сохранение копии в облачном хранилище. Для работы в промышленной среде рекомендуется перевести агенты 1С-Битрикс на планировщик cron.

Безопасная работа с внешними ресурсами

Автоматизация не должна превращать сервер в неконтролируемый загрузчик. Для источников HTTP и HTTPS, а также внешних изображений DataBridge выполняет строгие проверки: контроль схемы URL, DNS и IP-адресов, блокировка локальных, частных, зарезервированных и link-local адресов. После перенаправления проверка повторяется, переход с HTTPS на HTTP запрещен, установлен лимит на размер ответа. Для изображений дополнительно проверяются реальный MIME-тип и геометрические параметры. Поддерживаются форматы JPEG, PNG, GIF и WebP; изображения SVG из внешних источников не принимаются. Для проектов с повышенными требованиями безопасности доступна настройка списка разрешенных доменов.

Очередь задач, прогресс и журнал

Длительные операции не зависят от одного браузерного запроса, так как DataBridge выполняет их через очередь заданий. В административной панели отображаются статус задачи, текущий прогресс, количество созданных и обновлённых объектов, число пропущенных записей, построчный журнал ошибок, файл отчёта, история выполнения и возможность запуска отката. Поддерживаются групповые права доступа на чтение, запись и удаление, а также дополнительные разрешения для работы с потенциально рискованными внешними источниками.

Типовые сценарии использования:

Автоматическое обновление прайс-листа поставщика. Поставщик ежедневно отправляет файл по электронной почте или размещает его на FTP-сервере. DataBridge автоматически извлекает файл, преобразует данные, находит товары по составному ключу и обновляет информацию о товарах, артикулах, ценах и остатках.

Формирование B2B-прайсов для партнёров. Данные из каталога Битрикс экспортируются в шаблон XLSX или XLSM, оформляются фирменным стилем с формулами и автоматически отправляются партнёрам по электронной почте или через FTP. Создаётся резервная копия в Google Drive.

Массовое редактирование каталога. Необходимые поля экспортируются в Excel, данные редактируются привычными инструментами, выполняется тестовая прогонка (Dry Run) и изменения загружаются обратно в систему.

Миграция данных.

Модуль BUSSOL DataBridge обеспечивает импорт и экспорт данных, а также автоматизацию каталога в системе 1С-Битрикс. Процесс обработки данных включает создание свойств и пользовательских полей, работу с разделами, SEO-настройками, товарами и артикулами, а также интеграцию с Highload-блоками. Перед записью данных выполняется тестовый прогон (Dry Run) для проверки корректности.

Сценарий интеграционного шлюза поддерживает передачу данных через протоколы HTTP, FTP, сервис Google Sheets или электронную почту в модуль DataBridge, их обработку в системе 1С-Битрикс и последующий экспорт обратно в указанные каналы.

Модуль объединяет функции импорта и экспорта в едином решении. В одном процессе обрабатываются товары и их артикулы, при этом складские остатки учитываются отдельно. Поддерживается работа с разделами, SEO-данными и Highload-блоками. Возможна настройка скидок, а также создание наборов и комплектов. Система работает с форматами XLSX, XLSM, XLS, CSV и Google Sheets, обеспечивая обмен данными по нескольким листам одновременно. В качестве источников данных используются HTTP, FTP и email.

Функционал включает автоматическую доставку результатов экспорта, настройку расписания задач и выполнение преобразований данных без необходимости написания произвольного PHP-кода. Свойства и пользовательские поля создаются на основе деклараций. Перед записью данных выполняется тестовый прогон, а при возникновении ошибок применяется журналируемый откат изменений. Процесс сопровождается очередью задач, отображением прогресса и подробным журналом событий. Реализованы дополнительные проверки безопасности для внешних ресурсов.

Для ознакомления с работой модуля перед покупкой по запросу предоставляется неограниченный по времени доступ к административной части на онлайн-демо-стенде.

Вы можете изучить интерфейс и настройки в удобном темпе, просмотреть реальные профили и задания, разобраться с возможностями автоматизации и оценить, подходит ли DataBridge вашему проекту. Для демонстрации не требуется установка модуля на ваш сервер. Исходный код и дистрибутив решения не передаются. Это позволяет оценить продукт до покупки без риска для вашего рабочего сайта.

СИСТЕМНЫЕ ТРЕБОВАНИЯ

• Актуальное ядро «1С-Битрикс: Управление сайтом» с поддержкой D7 ORM;

• PHP 8.1 и выше;

• Модуль iblock;

• Расширения mbstring, zip, XMLReader, SimpleXML — для работы с форматами XLSX/XLSM;

• Модуль catalog — для работы с ценами, складами, SKU и наборами/комплектами;

• Модуль sale — для работы со скидками;

• Модуль highloadblock — для профилей Highload-блоков;

• Расширение PHP imap — для получения файлов из электронной почты;

• Расширение PHP ftp — для работы с протоколами FTP/FTPS;

• LibreOffice или soffice — только для импорта бинарных файлов формата BIFF XLS;

• Права веб-процесса на запись в директорию /upload.

BUSSOL DataBridge автоматизирует обмен данными, а не работу вокруг него. Получайте данные из файлов, FTP, электронной почты и Google Sheets. Приводите их к структуре проекта. Безопасно обновляйте каталог. Проверяйте результат через режим Dry Run. При необходимости откатывайте изменения. Автоматически отправляйте готовые данные дальше.

Перед приобретением модуля BUSSOL DataBridge для импорта, экспорта и автоматизации каталога рекомендуется запросить неограниченный доступ к онлайн-демонстрационной версии. Это позволит детально изучить административный интерфейс решения в удобном темпе без ограничений по времени.

Внедрение «BUSSOL DataBridge: импорт, экспорт и автоматизация каталога» можно поручить General iT — от установки до настройки и проверки совместимости с сайтом.