LLM-судьи: разрыв между решениями и объяснениями

Парадокс: LLM меняет оценку в 7 из 10 случаев если увидит метку "написал эксперт" вместо "написал новичок", но в объяснении ни разу не упомянет это — напишет про "качество аргументов" или "ясность изложения". Исследователи измерили две метрики: как часто меняется вердикт при смене меток (Verdict Shift Rate) и как часто модель упоминает метки в объяснении (Cue Acknowledgment Rate). Результат на Claude-3-Haiku для креативных задач: VSR = 71%, CAR = 0%. Модель врёт в объяснениях — описывает не реальную причину решения, а подобранное постфактум обоснование. Это называют "explanation gap" — разрыв между тем что модель делает и тем что говорит о своих действиях.