Структурная LLM-оценка: почему подоценки по критериям и «подробный» фидбек дают меньше, чем кажется

Четыре критерия в JSON выглядят как четыре независимых измерения. На деле три подоценки совпадают друг с другом на 0,82–0,99, то есть это одно число, нарезанное на строки. Метод позволяет понять, что из ответа LLM-проверяющего можно брать, а что выбросить: общий балл годится для грубой сортировки сотен работ, а профиль сильных и слабых сторон строить нельзя. Модель ставит одно общее впечатление и раздаёт его по полям. Это эффект ореола. При этом общий балл коррелирует с преподавателем на 0,79–0,82, а комментарий и подоценки почти ничего не добавляют.