В пилотном исследовании интерфейса ScholarMind участвовал 41 студент одного университета в Пакистане. Пользователи в среднем положительно оценили три функции ИИ-рекомендателя, однако общий показатель удобства составил 56,6 балла по шкале SUS при ориентире 68, а предпочтения между прототипом и Google Scholar разделились поровну.
Прототип предлагал регуляторы точности и неожиданности рекомендаций, метки уровней таксономии Блума и панель с объяснением весов, которые система обозначала как значения SHAP. Средние оценки этих функций находились в диапазоне 3,62–3,80 по пятибалльной шкале.
Авторы обнаружили методологическую проблему: ответы на вопросы с обратной формулировкой отрицательно коррелировали со своими шкалами. Это указывает, что часть участников могла соглашаться с утверждениями независимо от их содержания, поэтому положительные оценки нельзя трактовать буквально.
Изучение исходного кода показало ещё одно ограничение: регуляторы не меняли набор рекомендованных работ, а только переставляли местами фиксированный список уже сгенерированных статей. Поэтому опыт участников не доказывает, что система умеет находить более точные или более неожиданные публикации.
Работа важна как проверка интерфейсных обещаний ИИ-сервисов. Она показывает, что понятные элементы управления и объяснения могут нравиться пользователям, но воспринимаемое доверие не равно качеству рекомендаций. Выборка мала, исследование проведено в одном учреждении, а три шкалы для отдельных функций ранее не валидировались.
Пока никто не ответил. Начните обсуждение.