Evaluator Is Part of the Experiment: почему LLM-судья меняет оценку одного и того же текста

Один и тот же текст получает разные баллы от одной и той же модели — просто потому что рядом лежала чужая дискуссия. Метод показывает, как получить надежную оценку от большой языковой модели (LLM) в роли судьи: убрать посторонние мнения рядом с текстом и дать чёткие эталоны шкалы. Судья реагирует не на качество текста, а на то, что видит вокруг него прямо в промпте — если рядом мнение большинства, оценка подтягивается к нему или, наоборот, специально отталкивается. Без эталонов модель путает явно правильный ответ с явно неправильным в каждом четвёртом случае.