Как запретить обучение AI и сохранить поиск: что изменилось в настройках Cloudflare

15 сентября 2026 года Cloudflare объявила настройку Disallow AI Training: она позволяет выразить запрет на использование материалов для обучения AI, сохраняя доступ поисковых роботов. Это особенно важно для роботов, которые совмещают несколько целей обхода.

По сообщению компании, Apple, Google и Microsoft уже соблюдают такую настройку либо обязались сделать это в определённый срок. Механизм нельзя считать универсальным барьером от любого сборщика данных. Но владельцу контентного сайта он даёт более точный выбор, чем общее решение «закрыть всех ботов».

Поисковый обход помогает обнаруживать страницы и обновлять сведения о них. Сбор текстов для обучения модели — другая задача. Получение страницы помощником по просьбе пользователя — ещё один сценарий. В настройках доступа эти цели важно различать.

Для бизнеса вопрос практический: нужен ли ему посетитель из поиска, допустимо ли использование контента для обучения и как он относится к обращениям AI-помощников? Один переключатель не всегда выражает все три решения.

Cloudflare предупреждает, что режимы полной блокировки в обновлённой системе распространяются и на смешанные поисковые роботы. Если выбрать запрет без понимания его области действия, можно закрыть доступ, который нужен для поиска.

Поэтому менять защиту стоит вместе с человеком, отвечающим за SEO. Администратор оценивает нагрузку и безопасность, специалист по продвижению — доступность значимых страниц для обхода. Решение, полезное по одному графику, может оказаться вредным для привлечения клиентов.

Запишите текущие правила для поисковых роботов, обучения AI и AI-помощников, действующих по запросу пользователя. Посмотрите, нет ли дополнительных ограничений на уровне приложения или межсетевого экрана. Разрешение в одном месте не отменяет запрет в другом.

Выберите страницы для проверки: главную, раздел услуг, товар, статью и недавно опубликованный материал. Они могут обрабатываться разными шаблонами и правилами кеша. Успешное открытие главной ещё не подтверждает доступность всего сайта.

После изменения полезны журналы запросов и инструменты диагностики поисковых систем. Нужно увидеть, что подтверждённые поисковые роботы получают ожидаемые ответы, а не запреты или бесконечные проверки. Обычный браузер администратора показывает другую картину.

Трафик из поиска реагирует не мгновенно и зависит от многих причин. Я бы не приписывала колебание следующего утра одному переключателю. Сначала проверяется технический доступ, затем наблюдаются обход, индексирование и посещаемость.

Компания может вкладываться в оригинальные материалы и отдельно определять условия их использования. При этом не стоит обещать себе абсолютную защиту текста: недобросовестный робот способен игнорировать заявленные предпочтения.

Разумная настройка начинается с сохранения нужных читательских маршрутов. Защищать контент и развивать органический трафик можно одновременно, если понимать, кому именно и для какой задачи открывается доступ.

On September 15, 2026, Cloudflare announced the Disallow AI Training setting, which allows site owners to prohibit the use of their content for AI training while maintaining access for search bots. This is especially important for bots that serve multiple crawling purposes.

According to the company, Apple, Google, and Microsoft already comply with this setting or have committed to doing so by a specific deadline. This mechanism cannot be considered a universal barrier against all data scrapers. However, for content site owners, it offers a more precise option than the blanket solution of blocking all bots.

Search crawling helps discover pages and update their information. Collecting text for model training is a different task. Fetching a page via an AI assistant upon a user request is yet another scenario. In access settings, it is crucial to distinguish between these goals.

For businesses, the question is practical: does the site need visitors from search, is using content for training acceptable, and how does it view AI assistant queries? A single toggle switch does not always express all three decisions.

Cloudflare warns that full blocking modes in the updated system also apply to mixed search bots. Choosing a ban without understanding its scope can block access required for search.

Therefore, adjust protection together with the person responsible for SEO. The administrator evaluates load and security, while the SEO specialist checks the accessibility of key pages for crawling. A solution beneficial for one metric may harm customer acquisition.

Record current rules for search bots, AI training, and AI assistants acting on user requests. Check for additional restrictions at the application or firewall level. Permission in one place does not cancel a ban in another.

Select pages for verification: the homepage, service section, product page, article, and recently published content. They may be processed by different templates and cache rules. Successful loading of the homepage does not confirm access to the entire site.

After changes, request logs and search engine diagnostic tools are useful. You need to see that confirmed search bots receive expected responses, not bans or endless checks. A standard administrator browser shows a different picture.

Search traffic does not react instantly and depends on many factors. I would not attribute the morning fluctuation to a single switch. First, technical access is checked, then crawling, indexing, and traffic are observed.

A company can invest in original content and separately define usage terms. However, one should not promise absolute text protection: a malicious bot can ignore stated preferences.

Reasonable configuration begins with preserving the reader paths that matter. Content protection and organic traffic growth can coexist if you understand exactly who is granted access and for what purpose.