OpenAI объявила, что начнёт учитывать общий сигнал в robots.txt о допустимости использования материалов сайта для обучения генеративных моделей. Компания рассчитывает внедрить механизм в ближайшие месяцы. Пока это будущая функция, а не уже действующее правило.
Сейчас владельцам сайтов приходится отдельно настраивать ограничения для краулеров разных поставщиков. Новый подход предлагает единый служебный идентификатор __usage_ai-training. Его можно будет сочетать с Disallow и Allow, чтобы выразить предпочтение для всего сайта или отдельных разделов.
Проект спецификации приводит такой пример:
User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/В этой записи владелец сайта возражает против обучения на большинстве материалов, но разрешает его для раздела /press-kit/. Это именно сигнал о дальнейшем использовании контента. Он не управляет обычным обходом страниц поисковыми и другими роботами.
Техническая основа пока не стала стандартом. Документ опубликован как индивидуальный Internet-Draft, не одобрен IETF и может измениться. OpenAI также не назвала точную дату запуска и обещала отдельно сообщить детали реализации.
До нового объявления владельцам сайтов не стоит заменять действующие правила для краулеров OpenAI этим примером. Текущие настройки robots.txt продолжат работать, а общий сигнал следует внедрять после публикации окончательных инструкций провайдеров.
Пока никто не ответил. Начните обсуждение.