How to Block AI Training While Preserving Search: What Changed in Cloudflare Settings

15 сентября 2026 года Cloudflare объявила настройку Disallow AI Training: она позволяет выразить запрет на использование материалов для обучения AI, сохраняя доступ поисковых роботов. Это особенно важно для роботов, которые совмещают несколько целей обхода.

По сообщению компании, Apple, Google и Microsoft уже соблюдают такую настройку либо обязались сделать это в определённый срок. Механизм нельзя считать универсальным барьером от любого сборщика данных. Но владельцу контентного сайта он даёт более точный выбор, чем общее решение «закрыть всех ботов».

Поисковый обход помогает обнаруживать страницы и обновлять сведения о них. Сбор текстов для обучения модели — другая задача. Получение страницы помощником по просьбе пользователя — ещё один сценарий. В настройках доступа эти цели важно различать.

Для бизнеса вопрос практический: нужен ли ему посетитель из поиска, допустимо ли использование контента для обучения и как он относится к обращениям AI-помощников? Один переключатель не всегда выражает все три решения.

Cloudflare предупреждает, что режимы полной блокировки в обновлённой системе распространяются и на смешанные поисковые роботы. Если выбрать запрет без понимания его области действия, можно закрыть доступ, который нужен для поиска.

Поэтому менять защиту стоит вместе с человеком, отвечающим за SEO. Администратор оценивает нагрузку и безопасность, специалист по продвижению — доступность значимых страниц для обхода. Решение, полезное по одному графику, может оказаться вредным для привлечения клиентов.

Запишите текущие правила для поисковых роботов, обучение AI и пользовательских агентов. Посмотрите, нет ли дополнительных ограничений на уровне приложения или защитного экрана. Разрешение в одном месте не отменяет запрет в другом.

Выберите страницы для проверки: главную, раздел услуг, товар, статью и недавно опубликованный материал. Они могут обрабатываться разными шаблонами и правилами кеша. Успешное открытие главной ещё не подтверждает доступность всего сайта.

После изменения полезны журналы запросов и инструменты диагностики поисковых систем. Нужно увидеть, что подтверждённые поисковые роботы получают ожидаемые ответы, а не запреты или бесконечные проверки. Обычный браузер администратора показывает другую картину.

Трафик из поиска реагирует не мгновенно и зависит от многих причин. Я бы не приписывала колебание следующего утра одному переключателю. Сначала проверяется технический доступ, затем наблюдаются обход, индексирование и посещаемость.

Компания может вкладываться в оригинальные материалы и отдельно определять условия их использования. При этом не стоит обещать себе абсолютную защиту текста: недобросовестный робот способен игнорировать заявленные предпочтения.

Разумная настройка начинается с сохранения нужных читательских маршрутов. Защищать контент и развивать органический трафик можно одновременно, если понимать, кому именно и для какой задачи открывается доступ.

On September 15, 2026, Cloudflare announced the Disallow AI Training setting, which allows site owners to prohibit the use of their content for AI training while maintaining access for search crawlers. This is particularly important for bots that combine multiple crawling objectives.

According to the company, Apple, Google, and Microsoft already comply with this setting or have committed to doing so by a specified deadline. This mechanism cannot be considered a universal barrier against all data scrapers. However, it gives owners of content sites a more precise choice than a blanket solution to block all bots.

Search crawling helps discover pages and update their information. Collecting text for model training is a different task. Serving a page to an AI assistant upon a user's request is yet another scenario. These goals must be distinguished in access settings.

For businesses, the question is practical: do they need visitors from search? Is using their content for training acceptable? How do they view requests from AI assistants? A single switch does not always express all three decisions.

Cloudflare warns that full-blocking modes in the updated system also apply to mixed search bots. Selecting a ban without understanding its scope can block access required for search.

Therefore, adjust protection settings alongside the person responsible for SEO. The administrator assesses load and security, while the SEO specialist ensures key pages remain crawlable. A decision beneficial for one metric may harm customer acquisition.

Record current rules for search bots, AI training, and user agents. Check for additional restrictions at the application level or on the security page. A permission granted in one place does not override a ban in another.

Select pages for verification: the homepage, services section, product page, article, and recently published content. These may be processed by different templates and cache rules. Successful loading of the homepage does not confirm access to the entire site.

After making changes, request logs and search engine diagnostic tools are useful. You need to verify that verified search bots receive expected responses, not bans or endless checks. An administrator's regular browser shows a different picture.

Search traffic does not react instantly and depends on many factors. I would not attribute the fluctuations of the following morning to a single toggle. First, technical access is verified, followed by crawling, indexing, and traffic monitoring.

A company can invest in original content and separately define usage terms. However, do not promise absolute text protection: a malicious bot may ignore stated preferences.

A sensible configuration starts by preserving the reader paths you need. You can protect content and grow organic traffic simultaneously if you understand exactly who gets access and for what purpose.