Evalet: оценка больших языковых моделей путем фрагментации выходных данных на функции

Обнаружено: LLM катастрофически плохо объясняют, почему сгенерированный текст плох — дают общие оценки вместо конкретных указаний на проблемы. Evalet позволяет превратить любую мощную LLM в строгого редактора, который не просто ставит оценку вашему тексту, а разбирает его на «детали» и говорит: «Вот эта метафора работает отлично, а вот этот призыв к действию — провал». Метод заставляет модель анализировать не «что сказано», а «что сделано» — каждый фрагмент получает название своей риторической функции (например, «использование статистики без источника», «эмоциональный триггер»). Результат: выявление на 48% больше конкретных проблем по сравнению с обычной оценкой «текст хороший/плохой».