LLM-as-a-Judge с контекстом: как заставить LLM оценивать текст по существу, а не по красоте слов

Обнаружено: LLM-судья путает красиво написано с качественно написано — цветистый текст получает балл выше, хотя суть та же, а слишком подробный ответ модель наказывает за многословие. Метод даёт возможность сравнивать ответы диалоговых систем объективно, без ручной проверки человеком на каждую пару вариантов. Секрет в том, что судье нельзя показывать голый текст — нужно дать историю диалога, чёткую рубрику критериев и 1-2 примера-эталона. Именно история переписки даёт самый большой прирост точности оценки среди всех добавок.