LLM как судья длинных текстов: когда доверять, когда нет — и что реально помогает

Попросить AI оценить длинный текст — это почти монетка: точность AI-судьи на документах от 3000 токенов составляет 56% при случайном пороге 50%. Опорный пример и критерии оценки позволяют превратить AI-оценку из лотереи в хотя бы рабочий ориентир — но только для задач с проверяемыми элементами. Фишка: без явного эталона модель судит по поверхностным признакам — длина предложений, наличие заголовков, «звучит умно». Дай опорный пример — точность вырастает с 53% до 58%.