Тест на понимание: как проверить — модель рассуждает или угадывает по памяти

Уберите из вопроса ключевое слово или имя — и точность большинства моделей падает на 7–20 процентных пунктов. Это значит: часть «правильных» ответов была не знанием, а узнаванием паттерна. Техника косвенного вопроса позволяет получать ответ, основанный на рассуждении, а не на воспроизведении заученного — а при двойном запуске (прямой + косвенный) показывает, где модель была честна, а где списывала. Фишка: убираешь «якоря» — имя, термин, точную формулировку — и модель теряет сигнал для воспроизведения. Она вынуждена выстраивать ответ из структуры знаний, а не из памяти. В праве и этике разрыв доходит до 20 пунктов — именно там в интернете больше всего готовых ответов на стандартные вопросы, и именно там модели сильнее всего проседают.