Формат запроса менял точность медицинских ИИ-моделей более чем на 50%

Исследователи проверили устойчивость трёх больших языковых моделей в задачах клинического рассуждения и обнаружили сильную зависимость ответов от формы запроса. В отдельных тестах точность определения стадии заболевания менялась более чем на 50%, хотя медицинская ситуация по существу оставалась той же.

Работа опубликована 31 октября в npj Digital Medicine. Команда оценивала GPT-5, MedGemma-27B-Text-IT и OpenBioLLM-Llama3-70B с помощью 3 035 систематических изменений врачебно проверенных онкологических записей, коротких клинических сценариев и случаев из базы MIMIC.

Исследователи меняли структуру и отдельные элементы входного текста, а затем сравнивали ответы моделей. В некоторых сценариях модели уверенно называли стадию заболевания даже тогда, когда исходных данных намеренно не хватало для определённого вывода. Это показывает, что высокий результат на стандартном медицинском тесте сам по себе не гарантирует устойчивого поведения в более реалистичной работе с записями.

Отдельная часть исследования изучала внутренние представления двух открытых моделей с помощью разреженных автоэнкодеров, обученных на одном миллиарде токенов из 50 тысяч клинических заметок MIMIC-IV. У MedGemma авторы нашли более иерархическое разделение признаков слова и контекста, тогда как OpenBioLLM распределяла информацию равномернее.

Различия оказались важны для вмешательств в работу моделей. Метод повторного ранжирования улучшил точность поиска MedGemma, но ухудшил результат OpenBioLLM. Поэтому авторы считают, что настройку поиска, интерпретируемости и безопасности нельзя автоматически переносить с одной архитектуры на другую.

Результат касается прежде всего больниц, разработчиков и команд, которые проверяют медицинские ИИ-системы перед внедрением. Исследование не оценивало реальные исходы пациентов и было ограничено тремя синтетическими онкологическими сценариями, двумя архитектурами для механистического анализа и данными MIMIC-IV из одного медицинского центра. Авторы рекомендуют проверять конкретную модель на реалистичных вариациях входных данных, а не полагаться только на общие бенчмарки.