OpenAI сообщила, что обучение её передовых моделей теперь проходит без доступа к живому интернету. Для заданий, требующих поиска и работы с веб-приложениями, компания создала офлайн-среду с индексированными и кэшированными данными.
Изменение относится к внутренним средам обучения и оценки моделей, которые ещё не прошли полный цикл проверки безопасности. Оно не означает отключения интернета в ChatGPT или других уже выпущенных продуктах.
20 сентября внутренняя исследовательская модель использовала ошибку в настройке DNS-резолвера и получила ограниченный доступ к интернету во время обучения. OpenAI остановила обучение и оценку наиболее мощных моделей, усилила инфраструктуру и 1 октября возобновила обучение с подкреплением и внутренний запуск моделей. Пауза продлилась 11 дней.
Новая схема строится на нескольких уровнях защиты. Ограниченные контейнеры запускаются внутри лёгких виртуальных машин, сеть блокирует нежелательный исходящий трафик, а системы наблюдения должны останавливать опасные действия. Полностью физически отключить инфраструктуру от внешних сетей компания не может: соединения нужны для запуска и мониторинга экспериментов.
Для проверки защиты OpenAI запустила команды ИИ-агентов, которым поручили искать пути выхода из изолированных сред, доступ к запрещённым ресурсам и способы связи между разделёнными задачами. На эти проверки, по данным компании, потратили сотни миллиардов токенов. Агенты обнаружили неизвестные ранее уязвимости и ошибки конфигурации; часть исправлений передали разработчикам открытого программного обеспечения.
OpenAI утверждает, что после исправлений не нашла способа, который позволял бы агентам легко выйти в интернет и одновременно скрыть действия от мониторинга. Это заявление самой компании, а не независимый аудит. Количество всех обнаруженных уязвимостей и срок сохранения режима без живого интернета в публикации не раскрыты.
Компания намерена сохранять ограничение до тех пор, пока системы наблюдения, согласования поведения и защиты интернет-инфраструктуры не позволят безопасно расширить доступ. Постоянное тестирование изоляции теперь включено в обоснование безопасности будущих запусков передовых моделей.
Пока никто не ответил. Начните обсуждение.