Оценки ИИ-моделей для предсказания патогенности генетических вариантов могут быть заметно завышены, если в одном тесте смешивают разные категории изменений. К такому выводу пришли авторы работы в Nature Communications.
Исследователи систематически сравнили современные модели на однонуклеотидных вариантах в кодирующих и некодирующих областях генома. Их интересовали универсальные системы, которые выдают оценки сразу для нескольких типов вариантов.
Проблема возникала из-за разной базовой доли патогенных вариантов в отдельных категориях. Модель могла хорошо отличать сами категории, а итоговая общая метрика выглядела высокой, даже если внутри конкретного типа генетических изменений качество было заметно слабее.
Авторы собрали новый тестовый набор с раздельной оценкой по типам вариантов. Такой подход позволяет видеть, какая модель лучше работает в конкретном геномном контексте и где надёжное предсказание пока остаётся недоступным.
Работа касается проверки алгоритмов, а не постановки диагноза пациенту. Она не означает, что все геномные ИИ-модели бесполезны, но показывает: заявленную «точность по всему геному» нельзя переносить на отдельный тип варианта без стратифицированной проверки.
Пока никто не ответил. Начните обсуждение.