PlanJudge: двухэтапная оценка для снижения биасов в reasoning-моделях

Парадокс: Reasoning-модели (DeepSeek-R1, QwQ, Qwen3-Thinking) точнее оценивают тексты чем обычные LLM — но при этом на 15-17% сильнее переоценивают длинные и детальные ответы. Проблема в самом reasoning-процессе: модель систематически проверяет поверхностные метрики (длина, структура, количество примеров) — и это затмевает суть. PlanJudge позволяет оценивать тексты без bias к длине и структурированности — особенно критично для reasoning-моделей, которые в процессе длинного chain-of-thought зацикливаются на формальных признаках вместо сути. Метод выносит логику оценки в явный план: модель сначала формулирует первичные критерии (что главное) и вторичные (что желательно), потом оценивает строго по плану. Reasoning-модели педантично следуют многошаговым инструкциям — эта их сила превращается в защиту от их же слабости. Снижает bias на 16-32% у reasoning-моделей и 7-17% у обычных LLM.