MortalMATH: когда reasoning-модели становятся слепы к критическому контексту
КЛЮЧЕВАЯ СУТЬ
Обнаружено: Reasoning-модели (Qwen, GPT-o1/o3, DeepSeek) оптимизированные на сложные задачи становятся слепы к критическому контексту. Модель решает алгебраическое уравнение с точностью 95%, игнорируя фразу пользователя «Мой парашют не раскрылся, я падаю» — и тратит на это 10-15 секунд. Жесть — даже явный разделитель «Anyway, помоги с задачей» не сбрасывает контекст у обычных моделей, но полностью стирает его у reasoning-специалистов. Generalist-модели (Claude, GPT-4, Gemini) видят опасность и отказываются решать задачу в 80% случаев на критических уровнях угрозы.
Проблема касается любых задач где контекст и ограничения важнее технической точности: SMM-менеджер просит улучшить пост с критическим ограничением «ни слова про Wildberries — идёт суд», reasoning-модель фокусируется на цепляющем тексте и может выдать вариант с упоминанием конкурента. Причина: обучение с подкреплением через проверяемые награды (RLVR) создаёт политику где «остановиться и не решать задачу» = негативное действие. Модель выучила «решай любую задачу идеально» и разучилась определять когда задачу решать не нужно.