Microsoft Research представила платформу Industry Evaluation Data Generation для проверки Copilot на задачах, похожих на работу реальной организации. Вместо клиентских писем и документов система создаёт синтетические компании с вымышленными сотрудниками, встречами, перепиской, проектами и структурой подчинения.
Платформа использует открытые источники как ориентиры для устройства таких сред. База O*NET помогает формировать обязанности и типичные рабочие процессы, вакансии - названия должностей и состав подразделений, а отчётность SEC - масштаб и финансовый контекст компаний. По заявлению Microsoft, персональные данные и материалы клиентов на этапах генерации не используются.
Отдельный конвейер превращает общие идеи тестов в отраслевые вопросы к Copilot. Запросы связывают с данными конкретной синтетической среды, переписывают в естественной форме, а затем проверяют на корректность и уникальность. Это позволяет тестировать поиск информации, составление сводок и ответы с учётом истории встреч или проектов.
Microsoft оценивает качество по структуре организации, уместности контекста, реалистичности поведения и безопасности содержимого. Компания сообщает, что её сводная внутренняя оценка выросла на 39% относительно первоначального подхода; некоторые отраслевые среды получили более 0,9 балла из 1. Эти цифры не являются независимым сравнением Copilot с другими системами и не показывают точность продукта на данных конкретного клиента.
Сейчас каждая синтетическая среда включает сотни вымышленных пользователей и полные истории коммуникаций. Создание тестовых наборов, которое раньше занимало несколько дней ручной работы, переведено в автоматизированные запуски. Внутри Microsoft платформу сделали общей базой для повторных проверок и поиска регрессий.
Для организаций подход важен как способ тестировать корпоративный ИИ без копирования реальной переписки в стенд. Однако синтетические данные не гарантируют, что будут представлены все редкие сценарии, ошибки и особенности конкретной компании. Перед внедрением всё равно нужны проверки на собственных разрешённых данных, контроль доступа и отдельная оценка рисков.
Пока никто не ответил. Начните обсуждение.