Прагматические вариации вопросов: как проверить устойчивость логики LLM

LLM выдают объяснения, которые звучат логично. Но непонятно — это реальный процесс или красивая подгонка под ответ? Метод прагматических вариаций позволяет проверить качество объяснений через контролируемый тест: если объяснение настоящее, оно поможет предсказать ответ модели на изменённый вопрос. Показываешь вопрос Q с ответом и объяснением, потом даёшь изменённую версию Q' — если пользователь угадывает ответ модели лучше, объяснение содержит переносимую логику. Лучшие типы вариаций: Presupposition Flip (бросить вызов предпосылке), Lexical Substitution (заменить слово синонимом), Scalar Adjustment (изменить квантор) — объяснения улучшают точность на +30% для слабых судей, +15% для сильных моделей.