Яндекс и ШАД открыли набор игр для оценки рассуждений нейросетей

Яндекс и Школа анализа данных опубликовали MTGBench — открытый набор испытаний для нейросетей в многоходовых текстовых играх. Он показывает, как модель учитывает новые сведения, связывает их с предыдущими ответами и движется к решению в длинном диалоге.

• 7 текстовых игр
• 2 языка: русский и английский
• 16 моделей в исследовании
• 4 игры с алгоритмической проверкой
• 3 игры с проверяющей моделью, согласованность которой оценивали люди

Источник: Яндекс, репозиторий MTGBench и ACL Anthology.

В набор вошли Wordle, цепочка городов, «Данетки», «20 вопросов», «Поле чудес», «20 признаков» и «Элиас». Для каждой игры учитывается не только итоговый результат, но и путь к нему: число ходов, использование подсказок и согласованность ответов.

Четыре игры допускают формальную проверку алгоритмом. В трёх других ответ оценивает модель, работающая по заданным правилам; авторы сопоставили её решения с человеческой разметкой. Это существенное ограничение: часть результатов зависит не только от тестируемой нейросети, но и от качества проверяющего механизма.

Исследование охватило 16 моделей. Эффект режима рассуждений зависел от задачи: он заметнее помогал при работе с буквами, символами и последовательным исключением вариантов, а в заданиях на знания и смысл результат менялся от модели к модели. Авторы также отмечают, что русскоязычные версии в среднем давались моделям сложнее англоязычных.

MTGBench не следует воспринимать как единый рейтинг нейросетей. Высокий результат в одной игре не гарантировал такого же результата в другой, а человеческое сравнение ограничено русскоязычной выборкой из 476 игровых сессий.

Код опубликован под лицензией MIT. Созданные авторами данные, аннотации, промпты и метаданные распространяются по CC BY 4.0, а сторонние словари и производные материалы сохраняют собственные условия. В репозитории доступны задания, траектории ответов, результаты и интерактивная таблица.

Статья о MTGBench вошла в сборник Findings of EMNLP 2026. Набор предназначен прежде всего для исследователей и разработчиков, которым важно сравнивать модели на последовательных сценариях, а не по одному короткому ответу.