Reasoning-First Distractors: как сделать тест, где нельзя угадать правильный ответ

На вопрос «химическая формула воды» LLM предложит «азот» и «углерод» — слова из химии, но мимо логики ошибки. Эксперт выберет «водород» и «кислород» — именно там, где студенты путаются. Метод пошаговых рассуждений с обоснованиями позволяет получать ловушки второго типа: те, что ловят «почти понявших», а не тех, кто вообще не открывал учебник. Фишка: в примеры для модели добавляется не только неправильный вариант, но и объяснение — почему именно эта ошибка возникает в голове студента. Модель видит паттерн «ошибочная логика → ловушка» и воспроизводит его на новых вопросах — вместо случайных слов из той же темы.