Слепота ИИ-судьи: LLM систематически завышает оценку текстов, написанных другими LLM

Обнаружено: LLM-судья ставит текстам, написанным нейросетью, почти максимальные баллы по всем 11 критериям креативности — оригинальность, ценность, эффективность. При этом живые люди, читая те же тексты без подписи автора, почти не видят разницы между человеком и ИИ. Метод-диагноз показывает, почему нельзя доверять LLM в задаче "чей текст лучше" — и что делать вместо простого сравнения. LLM-судья цепляется за гладкость стиля и шаблонную структуру, а не за смысл: даже перплексия (мера неожиданности текста) показывает отрицательную связь с человеческой оценкой удивления.