Fluency Bias: плавные рассуждения обманывают LLM-проверку — и как это исправить

Парадокс: чем убедительнее написано рассуждение, тем меньше шансов что LLM-судья найдёт в нём ошибку. Слабые модели принимают неверные ответы значительно чаще, если те сопровождаются связным объяснением — даже когда первый факт в цепочке просто неверен. Двухэтапная проверка разделяет оценку ответа и анализ рассуждения на два отдельных шага в одном промпте — судья сначала формирует позицию по фактам, только потом встречается со стилем. Результат: модель оценивает содержание, а не убедительность подачи.