Logical Obfuscation: проверка понимания через логически эквивалентные переформулировки

Студент-бакалавр решает задачу с точностью 99%, а GPT-4o проваливается на 47% — на одной и той же задаче, просто переформулированной. Логическая обфускация позволяет проверить, действительно ли модель понимает логику или просто узнает знакомый паттерн из обучающих данных. Фишка: переформулируй вопрос логически эквивалентно ("A — отец B" → "A — единственный сын дедушки B") — если ответы расходятся, модель не рассуждает, а распознает поверхностные формулировки. Падение точности до 47% (GPT-4o), 27% (o1) на задачах, которые для человека остаются элементарными.