Top Man Digital: llms.txt

Что умеет решение

Поисковые ассистенты и AI-агенты анализируют сайты иначе, чем традиционные роботы: им нужен краткий машиночитаемый конспект, а не весь HTML. Стандарт llms.txt — это Markdown-файл в корне сайта, содержащий название компании, краткое описание, ключевые факты и список разделов со ссылками. Модуль автоматически формирует такой файл на основе данных вашего сайта на Bitrix и поддерживает его актуальность.

Без этого файла ассистент формирует представление о магазине на основе случайных страниц из своего индекса, что может привести к отображению устаревших цен и непониманию ассортимента.

Модуль выгружает каталог с ценами и наличием. Разделы формируются в виде дерева; к каждому узлу добавляется количество товаров, диапазон цен и число позиций в наличии. Данные извлекаются из торгового каталога, включая цены торговых предложений.

Функционал работает без модуля «Торговый каталог». Если цены и наличие хранятся в обычных свойствах инфоблока, их можно указать вручную — модуль корректно обработает и выведет эти данные. Определение наличия поддерживается тремя способами: как числовое значение остатка, как факт заполнения поля (наличие) или как совпадение с заданным значением, включая варианты из списка.

Модуль Top Man Digital: llms.txt

Система агрегирует данные из шести типов источников: инфоблоки (разделы, элементы или их комбинация), статические страницы файловой системы, пункты меню, файл sitemap.xml, блок «Организация» с реквизитами и графиком работы, а также инфоблок с вопросами и ответами.

Формируется готовая структура файла, включающая разделы: каталог, услуги, условия доставки и оплаты, часто задаваемые вопросы, информация о компании, контакты и настраиваемый раздел Optional. Порядок секций регулируется, поддерживается пользовательский шаблон строки.

Заголовки очищаются от маркетингового шума. Из названий удаляются слова «купить», «недорого», «интернет-магазин» и аналогичные обороты, чтобы ассистент получал чистые предметные данные. Словарь терминов может быть дополнен пользовательскими фразами.

Применяются правила исключения для фильтрации служебных страниц. Разделы корзины, личного кабинета, страницы с параметрами и прочий нецелевой контент отсекаются с помощью масок, регулярных выражений или GET-параметров. Набор правил генерируется при установке и настраивается под конкретный сайт.

Ограничение устанавливается по объёму в токенах, а не только по количеству ссылок. Файл удерживается в заданных пределах: при переполнении удаляются наименее значимые ссылки, при этом разделы каталога сохраняются дольше отдельных товаров.

Валидация llms.txt перед публикацией. Выполняется 15 проверок соответствия спецификации: единственный заголовок первого уровня, наличие описания, абсолютные ссылки, отсутствие дублей и чужих доменов, размер файла. Документ, не прошедший проверку, не записывается — сломанный llms.txt хуже отсутствующего.

Предпросмотр и сравнение. Файл формируется в памяти и выводится построчно рядом с опубликованной версией. Это позволяет увидеть точные изменения до записи на диск.

Автоматическое обновление без ручного вмешательства. При изменении элементов или разделов подключенных инфоблоков файл помечается устаревшим. Фоновый агент пересобирает его при ближайшем запуске. Сохранение товара не тормозит, так как пересборка не выполняется в момент правки.

Журнал сборок. Для каждого запуска фиксируются: источник (админка, агент, изменение контента, командная строка), результат, факт изменения файла, количество ссылок, токенов и байт, длительность и все сообщения. По клику на запись открывается карточка со счетчиками конвейера и замечаниями проверки.

Готовый блок для robots.txt с разрешениями для GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, YandexAdditional. Код копируется одной кнопкой. Модуль не редактирует файл robots.txt самостоятельно.

Модуль автоматически добавляет на страницы сайта тег link с типом text/markdown. Функция активируется установкой галочки в настройках без необходимости изменения шаблонов.

Файл всегда генерируется в кодировке UTF-8, независимо от кодировки сайта, даже если он работает на cp1251. Для корректной передачи файла сервером без явного указания кодировки по умолчанию включается метка BOM. В разделе предпросмотра доступны готовые конфигурационные блоки для серверов nginx и Apache.

Поддерживается работа с несколькими сайтами. Для каждого домена создаются отдельные профили настроек, файлы и журналы действий.

Интерфейс модуля доступен на русском и английском языках. Управление правами доступа осуществляется через стандартные группы пользователей Bitrix. В административной панели выделен отдельный раздел меню.

Модуль предназначен для интернет-магазинов, оптовых поставщиков, сервисных компаний, медицинских клиник и строительных застройщиков. Он обеспечивает корректный ответ ассистентов на вопросы о ценах, ассортименте и условиях работы, предоставляя прямые ссылки на актуальные страницы сайта, а не на устаревшие данные из индекса.

Важно понимать, что модуль отвечает только за формирование и публикацию файла. Скорость индексации и способ использования информации конкретным ассистентом определяются исключительно им самим. Ни один инструмент не может гарантировать моментальную индексацию или использование данных ассистентом.

Модуль Top Man Digital: llms.txt проверен на каталоге из 10 000 товаров. Полная генерация файла с ценами и остатками занимает около 1,5 секунды, используя 17 SQL-запросов и 64 МБ памяти. Это позволяет работать на стандартном хостинге без изменения конфигурации.

Файл оптимизирован для компактности: 10 000 ссылок занимают 1,5 МБ и около 760 тысяч токенов, что превышает контекстное окно большинства моделей. Для крупных каталогов рекомендуется стратегия с разделением по категориям и ограниченным списком товаров; лимит токенов помогает поддерживать эту структуру.

Если «Top Man Digital: llms.txt» подходит под задачу, General iT поможет установить модуль, настроить его и проверить результат на проекте.