Сотбит: Парсер контента – сайты, excel, xml, yml, csv, rss

Повышена устойчивость к потенциальным угрозам в решении.

Оптимизация и исправления:

Исправлена уязвимость при использовании функции unserialize.

Оптимизация и исправления:

Оптимизирована работа парсера при запуске по крону;

Оптимизирована работа с постраничной навигацией;

Оптимизирована работа модуля с несколькими характеристиками для режима "Офферы из нескольких контейнеров".

Оптимизация и исправления:

Настройки модуля для новых клиентов перемещены в пункт меню Сотбит;

Прочие мелкие правки.

Оптимизация и исправления:

Исправлена ошибка выгрузки документов без расширения .doc;

Исправлена ошибка создания элементов, при включенном чек-боксе "Создавать разделы из XML файла";

Исправлено умножение при парсинге по селектору;

Исправлена ошибка при просмотре результатов запуска парсера;

Прочие мелкие правки.

ПРИМЕЧАНИЕ! Настоятельно рекомендуем выполнить резервное копирование сайта перед установкой.

Оптимизация и исправления:

Улучшение совместимости с PHP 8.1

Новые функциональные возможности:

Встроено новое API 2.0 Яндекс переводчика.

Оптимизация и исправления:

Настройки модуля для новых клиентов перемещены в пункт меню Сотбит;

Прочие мелкие правки.

Оптимизация и исправления:

Исправлена работа выгрузки атрибута цены, для оффера с одной характеристикой;

Исправлена работа экспорта парсера на другой сайт;

Исправлен функционал записывания логов ошибок при парсинге по агенту;

Исправлена автоматическая авторизация;

Оптимизирован парсинг больших файлов;

Переработан механизм определения кодировки сайта донора;

Прочие мелкие правки.

Новые функциональные возможности:

Добавлен новый тип парсера RSS;

Добавлен новый тип парсера Page.

Оптимизация и исправления:

Оптимизирован парсинг картинок, если ссылка содержится в атрибуте [data-lazy];

Оптимизирована работа функционала "Проверить авторизацию";

Оптимизировано сохранение товаров без картинки, при возникновении ошибки;

Оптимизирована работа парсера, при которой корректно обрабатываются относительные ссылки.

Оптимизация и исправления:

Оптимизировано использование оперативной памяти во время работы парсера;

Исправлена ошибка загрузки картинки по ftp в XML файлы;

Оптимизирована работа группы наценок так, что одновременно возможно применение только одного правила из группы;

Исправлена ошибка деактивация/обнуление товаров;

Исправлен переход по страницам если первоначальная ссылка задана с параметром постраничной навигации;

Исправлено отображение полосы загрузки;

Исправлено отображение количества элементов после повторного запуска;

Оптимизирована работа с дополнительными URL XML файла;

Исправлено отображение количество созданных разделов в парсере типа XML;

Исправлено отображение редактора настройки полей для каждой страницы документа в парсерах типа xls;

Оптимизирована работа загрузки дополнительных картинок в офферы из XML-файла;

Оптимизировано создание категорий в парсере типа XML.

Оптимизация и исправления:

Исправлена работа с наценками;

Исправлена загрузка изображений из CSV файлов;

Исправлено добавление разделов из XML файла;

Исправлено действие над товарами из прошлой выгрузки в режиме catalog;

Исправлена загрузка изображений по FTP.

Оптимизация и исправления

Исправлена критическая ошибка работы парсера типа "catalog" с выгрузкой в highload-блок;

Исправлены ошибки работы парсера типа "catalog" в режиме "офферы с одной характеристикой";

Исправлены ошибки в определении кодировки сайта-донора;

Парсеры, оставшиеся без привязки к существующей категории, теперь переносятся в корень списка;

Добавлена поддержка загрузки изображений, сжатых gzip;

Другие незначительные исправления.

Оптимизация и исправления:

Добавлена кодировка "UTF-8 (fix)" для сайтов с нестандартным указанием кодировки UTF-8;

Исправлена ошибка обработки ссылок с символами в верхнем регистре;

Дата последнего изменения парсера теперь сохраняется корректно;

Свойства в списках теперь отсортированы по алфавиту, в скобочках указан их симольный код;

Улучшена обработка относительных ссылок на детальную страницу товара;

Если в селектор цены товара попадёт строка с двумя и более точками ( "22.58. руб./3шт."), все символы, начиная со второй точки, будут проигнорированы (получится "22.58");

Улучшена очистка директории с временными файлами парсера.

Оптимизация и исправления:

Исправлена редкая ошибка некорректной обработки названий товара, если детальная страница использует кодировку UTF-8;

Исправлена обработка символа "&" в URL сайта;

Исправлена ошибка загрузки изображений из превью в парсере типа "catalog";

Улучшена обработка относительных ссылок на детальную страницу товара;

Исправлена загрузка PDF файлов в товары.

- Исправлена ошибка дублирования дополнительных изображений товаров при парсинге. Дубли в товарах исчезнут при первом же обновлении соответствующего поля;

- Исправлены уязвимости в коде модуля;

- В парсер типа XML добавлено поле для превью-описания товаров.

- исправлен баг с дублированием дополнительных картинок;

- исправлен баг с типом детального описания.

- Исправлена ошибка обработки страниц в режиме WORK

- Исправлена работа функции определения типа картинок

- Исправлена ошибка обработки товаров для парсера типа CSV

- Добавлена возможность активировать товары при их обновлении

- Исправлено сообщение о завершении демо-периода модуля

- Исправлена ошибка фильтрации товаров по свойствам

- Исправлена ошибка уникализации торговых предложений

- Исправлена ошибка в функции checkData()

- Исправлены ошибки работы с разделами в парсере XML

- Улучшена обработка ссылок на изображения, где расширение явно не задано

- Исправлены ошибки работы парсеров XML и catalog в режиме "work"

- Исправлены ошибки сохранения значений свойств, заданных по умолчанию

- Исправлена загрузка изображений по ссылкам с get-параметрами

- Исправлена ошибка остановки парсера типа XML

- Исправлена ошибка обработки множественных свойств

- Исправлена ошибка сохранения элементов инфоблока

- Исправлена ошибка некорректной остановки парсера и отображения прогресса работы более 100%

- Добавлена работа с кодировкой ISO-8859-1

- Исправлена редкая ошибка при загрузке дополнительных фото товаров

- Исправлена ошибка автоматического изменения размера изображений в соответствии с настройками инфоблока

- Исправлены ошибки экспорта парсеров

- Небольшие оптимизации кода

- Исправление ошибок работы с версией битрикс 18.0.6.

- Исправление ошибок экспорта парсера.

- Из xls парсера удален отладочный код.

- добавлена возможность экспорта парсеров.

- добавлена возможность обработки множественных свойств.

- уточнено описание ошибок авторизации парсера.

- исправлена обработка относительных ссылок, начинающихся с "//"

- Исправлены функции parseCatalogSelectorProperties и parseCatalogSelectorPropertiesPreview;

- Исправлен функционал по обновлению дополнительных цен;

- Исправлена функция парсинга картинок с get-параметром;

- Исправлена функция разбора url-ов;

- Исправлена процедура парса детальной страницы в адресе которой содержаться пробелы.

- Добавлена возможность парсеру типа xml парсить в highload-блоки;

- Разделена процедура обработки базовой цены от остальных типов цен для парсера типа каталог;

- Изменена процедура обновления товара, если товар был перемещен в какой либо раздел, то при прохождении парсера товар не перемещается в раздел из настроек парсера.

- рефаторинг функционала проверки авторизации из модуля;

- исправлена ошибка битой кодировки свойств xml-парсера.

- Оптимизирована процедура проверки url'ов;

- Исправлена ошибка при которой парсер не останавливался по достижению установленного числа страниц в настройках "Работа с постраничной навигацией" закладки "Постраничная навигация";

- Добавлена процедура продления сессия, если вы парсите не по агенту, что бы не падала сессия;

- Устранена ошибка повторного запуска парсера по агенту;

- Оптимизирована работа с кодировкой;

- Исправлена процедура "что делать с товарами, присутствующими в прошлой выгрузке";

- Исправлена процедура фильтрации товаров по свойствам. Закладка "Свойства" -> "Фильтр товаров по свойствам";

- Добавлена возможность парсить в поле "закупочная цена" в парсере тип "xml";

- Исправлена функция Добавление/удаление/изменение символов полей и свойств, закладка "Свойства";

- Проведены работы по устранению утечки памяти для типов парсера "каталог" и "csv".

- Оптимизирована процедура парсинга картинок;

- Оптимизировано меню.

- Исправлена ошибка при окончании демонстративной версии модуля;

- Исправлено получение количества товаров через информеры;

- Исправлено изменение кодировки значений функционала "Добавление/удаление/изменение символов полей и свойств";

- Исправлен функционал "Парсинг свойств и автоматическое создание" на сайтах с кодировкой не utf-8;

- Исправлен парсинг свойств, где в атрибуте русский текст на сайтах с кодировкой не utf-8;

- Исправлена логика проверки урла товара;

- Оптимизирован код xls-парсера.

- исправлена кодировка для "Селектор названия товара:"

-тип парсера "catalog " устранена ошибка парса урлов с якорем

-тип парсера "xml" в содержимом по селектору "Селектор-атрибут названия товара" данные вида

- исправлена ошибка, которая появлялась, если в свойстве типа справочник инфоблока указать "создать новый справочки"

Тип парсера XML:

- Добавлена возможность привязки товаров к нескольким разделам, если в селекторе или в атрибуте указать id разделов через зяпятую;

- Так же реализована возможность указывать селекторы "Селектор-атрибут категории товара:" через зяпятую

Устранены неисправности работы парсера тип xml:

работа с локальными файлами;

деление файла на части и работа с ними;

работа опции "Что делать с товарами, присутствующими в предыдущей выгрузке и отсутствующими в текущей" закладка "Обновление / Уникальность".

- в xml парсере добавлена возможность парсить атрибуты категорий(описание, картинка, доп поля)

- небольшие обновления

- добавлена возможность загрузки в HL-блоки

- добавлены типы парсеров xls+catalog и xml+catalog

- незначительные правки

- небольшие правки

- Небольшие правки и исправления

- добавлена возможность выгружать остатки на несколько складов

- добавлена возможность загрузки картинок из xls файлов;

- добавлена возможность загружать товары из csv, xls в указанные в товаре разделы(по названию);

- Загрузка картинок по FTP для парсеров типа csv, xls

- Загрузка изображений из файла для парсера типа xls

-небольшие правки

- Внедрен парсинг нескольких типов цен(для парсеров xml, catalog, csv, xls)

- Реализована работа с информерами наличия(для парсеров xml, catalog, csv, xls)

- Внедрено деление больших xml файлов

- Сопоставление категорий из xml файла с уже существующими категориями инфоблока

- Фильтр по свойствам(для парсера xml)

- Исправлены мелкие недоработки

- Внедрен парсинг торговых со страницы каталога(для парсера каталог)

- Добавлена возможность отправлять email-оповещения о начале и завершении парсинга. Незначительные правки

- Внедрено "Умное логирование"

- Незначительные правки

- Исправлена авторизация для xml, csv, xls парсеров

- Незначительные изменения

- Внедрены склады

- Внедрен парсинг XLS и XLSX файлов

Внедрен парсинг CSV файлов

- Парсинг картинок для офферов(только для офферов из отдельного контейнера)

- Уникализация создаваемых разделов при парсинге xml

- Введен шаг постраничной навигации

- Парсинг офферов из нескольких контейнеров

- Исправлена ошибка работы с highload свойствами

- Исправлена ошибка кодировки при работе с xml

- Незначительные доработки

- Внедрены доп условия изменения цен по разделу

- Исправлена ошибка парсинга разделов в xml

- Другие мелкие доработки и исправления

- Мелкие доработки

- Добавлена функциональность - Обновление только текущих товаров без создания новых

- Принудительное удаление файлов из временной папки tmp

- Внедрен функционал обнуления остатков, если товар отсутствует в выгрузке

- Исправление ошибок многораздельности

- Многораздельность! Теперь вы можете выгружать каталог с множеством разделов с помощью одного парсера!

- Введен функционал парсинга количества товара

- Небольшие доработки и правки

- Небольшие доработки и улучшения

- добавлена возможность создания разделов с одинаковыми названия (XML)

- парсинг торговых с разделителем x, xl, xxl, m (XML)

- внедрены видео-уроки (XML)

- Внедрение торговых предложений в XML парсинг

- Внедрение вкладок Сервисы и Авторизация в XML парсинг

- Доработка и исправление ошибок XML парсинга

- Внедрен XML парсинг

- Добавлена возможность парсинга свойств из атрибутов элементов

- Незначительные доработки

- Внедрение новых событий для разработчиков

- Мелкие доработки решения

- Устранена ошибка с использованием настроек инфоблока при ресайзе изображений

- внедрены события: начала парсинга, окончание парсинга, перед созданием элемента, после создания элемента

- Незначительные доработки

- Устранение варнингов

- Исправление мелких недоработок

- Незначительные исправления

- Исправление критической ошибки, вызванной обновлением Битрикса

- Добавлена HTTP-аутентификация

- Доработка js скриптов

- Доработаны js скрипты

- Незначительные доработки

- Усовершенствована работа с параметрами товара

- Возможность перевода текста (Яндекс.Переводчик)

- Отправка уникального текста в Яндекс

- Усовершенствована работа с постраничной навигацией. Теперь вы можете самостоятельно настраивать логику работы постраничной навигации, если это невозможно сделать стандартным способом.

- Мелкие доработки

- Добавлен новый вид парсинга офферов - с одиночными характеристиками

- Изменен принцип создания имен офферов, если имя оффера отсутствует.

- Незначительные доработки и исправления

- Исправление мелких недоработок

- Добавлен функционал категорий для rss и page типа

- Исправление критической ошибки в новом функционале категорий парсера

- Появилась возможность создавать папки-категории для парсеров

- Возможность загружать товары в неактивные разделы

- Загрузка картинок из фонового изображения background

- Переработана логика округления цен

- Появилась возможность удалять/добавлять символы или слова у полей и свойств типа Строка(S)

- Удаление из доп. картинок детальной картинки

- Значения свойств по умолчанию вынесены в отдельный блок

- Незначительные доработки

- Парсинг офферов табличного вида

- Возможность удаления, деактивации товаров, не участвующих в текущей выгрузке

- Добавлена работа со свойствами типа Справочник(highload)

- Внедрена событийная модель

- Теперь все файлы в описании сохраняются на сервер через Медиабиблиотеку и вы легко сможете удалить любой файл

- Мелкие доработки и улучшения

- Переработана визуализация свойств. Теперь управлять парсингом свойств удобнее и проще

- Появилась возможность добавлять новые свойства прямо из парсера

- Возможность парсинга свойств из превью

- Добавлена поддержка HTML свойств

- Добавлена поддержка свойств типа файл(F). Теперь вы можете легко грузить инструкции и другие документы

- Округление цен

- Устранение мелких багов

- Мелкие доработки

- Незначительные доработки

- Незначительные улучшения парсинга детального описания. Теперь парсить можно по нескольким селекторам.

- Работа с куками

- Добавлена возможность добавлять наименование атрибута в постраничную навигацию

- Устранена ошибка занесения символьного кода при запуске парсера по агенту(rss и page)

- Исправление мини-бага с тегом base

- Поддержка https протокола

- Исправление мелких багов

- Устранение недоработок

- Устранен баг удаления тегов

- Обновление информационного текста

- Добавлена возможность установки формата цен

- Устранение мелких багов

- Доработка page парсера, если родитель=ссылке

- Парсер работает с учетом мета-тега base для относительных ссылок

- Для page парсинга устранены ошибки относительных ссылок

- Добавлен выбора типа уникализации в режиме page и rss

- Возможность парсинга в режиме page, если ссылка находится в самом селекторе

Небольшие доработки

- Незначительные доработки и исправления

- Устранены мелки баги

- Добавлена возможность парсинга кириллических доменов

- Парсинг нескольких разделов одновременно

- Добавлена возможность парсинга цен в офферы

- Добавлены значения свойств по умолчанию

- Исправления мини-бага при парсе свойств по названию

- Добавлена дата активности при парсинге типа Каталог

- Устранены мелкие баги

- Исправлен баг html типа описания

- Устранена ошибка при парсинге свойств через тег br

- Устранен мелкий баг при определении уникальности новости/статьи

- При page-парсинге первоисточник остается неизменным, то есть не переводится в нижний регистр

- Добавлена возможность парсинга названия товара с детальной страницы

- Автоматическое создание уникального символьного кода

- Сохранение активной вкладки при нажатии кнопки "Применить"

- Исправлен баг при удалении атрибутов элементов

- Увеличены размеры полей для удаления элементов и атрибутов

- Добавлена возможность парсить свойства по наименованию через тег br

- Устранение мелких багов

- Исправлены ошибки при авторизации парсера

- Отлажена работоспособность модуля при php 5.4

- Добавлен парсинг картинок, с расширением в верхнем регистре

- Устранен баг при копировании парсеров

- Удаление лишних пробелов в описании

- Изменен порядок удаления тегов и элементов

- Исправление ошибки: Класс неопределен.

- Добавлен функционал авторизации на сторонних сайтах.

- Добавлена возможность изменения цен по нескольким условиям.

- Фикс мелких багов

- Исправлена проблема кодировки на некоторых версиях php

- Исправление работы парсера при работе в демо-режиме

- Исправление мелких багов

- Скорректирована работа парсера из под агента

- Корректировка работы прелоадера

- Исправление мелких багов

- Добавлен функционал парсинга каталогов

- Исправление мелких багов

- Исправление мелких багов

- Добавлена возможность парсинга не только по rss лентам, но и по страницам новостей

- Добавлена возможность установки времени задержки между запросами к источнику, чтобы обойти систему контроля активности

- Исправлены мелки баги

- Добавлена возможность копирования парсеров

- На странице парсера реализован аджакс парсинг и прелоадер

- Удаление тегов в титлах, мета-описании и ключевиках

- Добавлены доп. поля в фильтр и сортировку списка парсеров

Исправлены мелкие баги