Импорт данных из внешних источников в инфоблоки

Из поставки убран неиспользуемый адрес обработчика. Файл «admin/ajax.php» и его страница в админке не вызывались ниоткуда — ни из кода модуля, ни из скриптов страниц. При этом адрес принимал учётные данные подключаемого источника и ходил с ними наружу, и был единственной точкой модуля без проверки демо-режима. Лишний адрес, который никто не открывает, всё равно требует присмотра, поэтому он удалён; при обновлении файлы убираются и с уже установленных сайтов.

Запасные тексты переведены на латиницу. Подписи плашки демо-режима, сообщение «модуль не подключён» и запасное название модуля были записаны в коде по-русски. Архив маркетплейса собирается в кодировке cp1251, и на сайте в UTF-8 такой текст показывается вопросительными знаками. Видны эти строки только когда языковой файл почему-то не прочитался — то есть ровно тогда, когда что-то уже не так, и читаемое сообщение нужнее всего.

Внутренние файлы больше не уезжают в поставку. У модуля нет отдельной папки исходников, поэтому в архив 1.1.5 попал «CHANGELOG.md», а при полной сборке уехали бы и остальные наши документы. Добавлен список исключений сборки.

Демонстрационный режим виден в модуле. На страницах модуля появилась штатная плашка Битрикса с обратным отсчётом: «Демонстрационный режим работы модуля. Осталось дней: N» и ссылкой на покупку. Раньше отсчёт был виден только в списке установленных решений, и клиент узнавал об окончании демо по факту.

Понятное сообщение после окончания демо. Когда демонстрационный период истёк, страницы модуля показывают причину и ссылку на активацию вместо пустой страницы.

Фильтр отбора записей. В настройках источника добавлен фильтр «Загружать только если заполнено поле»: записи с пустым выбранным полем пропускаются. Например, посты ВКонтакте без текста больше не создают пустые новости.

Маппинг заголовка. Составной заголовок формируется даже для записей с пустым полем-источником — пост без текста больше не срывает прогон ошибкой «не заполнено обязательное поле Название». Если имя всё же пустое, подставляется идентификатор записи.

Поля источника в преобразованиях. Любое поле источника можно подставить в преобразовании по его коду (например «{post_id}»), не заводя под него отдельное свойство. Порядок правил значения не имеет.

Безопасность. Отладочное логирование в журнал событий убрано полностью. Ключ шифрования токенов теперь случайный: генерируется при первом сохранении и хранится в защищённом файле сайта, не выводится из открытых параметров. Подключение ВКонтакте по OAuth защищено от CSRF. Со страницы источников убрана загрузка внешних шрифтов.

Выбор раздела инфоблока. В настройках источника после выбора инфоблока можно указать раздел, куда складывать записи (например «Новости»). Записи создаются и обновляются в выбранном разделе; по умолчанию — корень.

Безопасность (полный аудит). Технические детали ошибок (проверка подключения источника, создание свойства инфоблока, копирование источника, ошибка выборки данных) не выводятся наружу — уходят в журнал событий, пользователю показывается обобщённое сообщение.

Кодировка интерфейса. Разделители (символы «·» и «—») в хлебных крошках, разделе «Помощь» и статусах прогона оформлены HTML-сущностями и ASCII — больше не искажаются на сайтах в кодировке UTF-8.

Безопасность (замечания модерации Marketplace). Технические детали исключений (обмен токена VK ID, ajax-обработчик) больше не выводятся наружу — уходят в журнал событий, пользователю показывается обобщённое сообщение. Отладочный лог и legacy-агент пишут только в журнал событий (по флагу отладки), не в файл под корнем сайта.

Кодировка. Убраны символы вне cp1251 из интерфейса и кода: стрелки и крестики оформлены HTML-сущностями, хлебные крошки и таблица сопоставления полей больше не искажаются на cp1251-сайтах.

Плагин «ВКонтакте» (новости). Трансляция постов со стены сообщества в инфоблок. Авторизация через VK ID (OAuth 2.1 + PKCE): клиент указывает только ID своего приложения, токены доступа модуль получает и обновляет сам, хранит зашифрованно для каждого источника. Метод «wall.get». Поля источника: текст поста (сырой и с переносами строк), дата, лайки, комментарии, репосты, просмотры, ссылка на пост, ID поста, обложка, все фото, видео (ссылка + встраиваемый плеер).

Заполнение множественных и файловых свойств. Маппинг раскладывает список значений по строкам; для свойства типа «Файл» каждая картинка загружается через SSRF-фильтр. Галерея фото поста заезжает в множественное свойство-галерею инфоблока.

Макрос преобразования «nl2br» — переносы строк превращаются в перенос HTML, текст не слипается.

Диагностика прогона. Отказ создания элемента больше не маскируется под «пропущено»: в статусе выводится количество не созданных записей и причина от Битрикса.

Восстановление удалённых элементов. Если элемент удалили из инфоблока вручную, следующий прогон создаёт его заново, а не пытается обновить несуществующий.

Безопасность (Marketplace-скан). Технические детали исключений (обмен токена VK ID, ajax-обработчик, debug-лог) больше не выводятся наружу — уходят в журнал событий, пользователю показывается обобщённое сообщение. Debug-лог переведён на журнал событий вместо файла.

Затронуты файлы: «lib/Plugins/Vk/» (новый плагин), «lib/Core/MappingEngine.php», «lib/Core/Scheduler.php», «lib/Core/PluginRegistry.php», «include.php», «admin/sources.php», «install/index.php», «install/tools/» (OAuth-обработчик), «lang/ru/», «docs/public/plugins/vk.md».

Правки по замечаниям модерации Marketplace: - Название решения после установки приведено к маркетинговому «Импорт данных из внешних источников в инфоблоки» («MODULE_NAME»). UI-бренд модуля унифицирован как «Винтра.ВебКоннектор» — раньше в интерфейсе встречался несогласованный вариант «Винтра.Коннектор» (меню, шапки, заголовки установки, помощь). - Сообщение после установки: из lang-строк убраны символы вне cp1251 (типографские стрелки и значки-иконки в кнопках) — при сборке архива они превращались в «?». Затронуты текст шага установки и кнопки списка источников (Запустить, Сохранить и запустить, Копия, К списку). - Раздел «Помощь»: исправлена загрузка руководства. «user-help.md» размещён по фактическому пути раздачи docs хаба («docs/public/», ранее URL отдавал 404). Загрузчик теперь проверяет HTTP-статус ответа и при не-200 показывает встроенную копию «install/help.md» вместо тела страницы-ошибки.

Надёжность: страница «Помощь» проверяет «Loader::includeModule» и показывает понятное сообщение вместо fatal «Class ... PageHeader not found» при рассинхроне установки.

Затронуты файлы: «lang/ru/install/index.php», «lang/ru/install/step.php», «lang/ru/install/unstep2.php», «lang/ru/admin/sources.php», «lang/ru/admin/schedules.php», «lang/ru/admin/menu.php», «lang/ru/install/admin/wintra_connector_help.php», «install/admin/wintra_connector_help.php», «install/help.md», «docs/public/user-help.md», «install/version.php».

Фикс безопасности (Marketplace security-scan): - AuthManager: убран plaintext-fallback («plain:» префикс) при хранении credentials. Теперь даже без явного ключа в «.settings_extra.php» используется fallback-ключ, производный от «document_root + license-key Битрикса» — данные шифруются AES-256-CBC в любом случае. Прежние «plain:»-записи прозрачно дешифруются один раз и переписываются в «aes:» при следующем «encrypt()». - MappingEngine::resolveImage (SSRF): перед загрузкой картинки проверяется IP целевого host'а. Запрещены private/loopback/link-local/AWS metadata диапазоны (RFC1918, 127.0.0.0/8, 169.254.0.0/16 и др.). Добавлен размерный лимит 5 МБ + «max_redirects=3» — защита от resource-exhaustion. - Scheduler::dbgLog (information_disclosure): debug-лог перенесён из «/upload/wintra-connector-debug.log» (web-доступная папка) в «/bitrix/wintra-connector-debug.log» (защищён «.htaccess» Битрикса). Лог по-прежнему пишется только при наличии флаг-файла. - schedules.php auto-sync (mass_assignment-CSRF): sync агентов под источники теперь срабатывает раз в 60 секунд (throttle через «b_option»), а не на каждой загрузке. CSRF-каскад INSERT/DELETE в «b_agent» исключён. - wintra_connector_help.php (remote_content_inclusion): загрузка markdown с hub.wintramedia.ru — размерный лимит 512 КБ + «max_redirects=3». Добавлен bundled fallback «install/help.md» в самом архиве модуля: если хаб недоступен или контент превысил лимит, показывается локальная копия.

Затронуты файлы: «lib/Core/AuthManager.php», «lib/Core/MappingEngine.php», «lib/Core/Scheduler.php», «admin/schedules.php», «install/admin/wintra_connector_help.php», «install/help.md» (новый), «install/version.php».