Tayyar / Panel Rating: как превратить LLM из оракула в надёжного рейтера через рубрик и панель

Парадокс: один ответ LLM звучит уверенно, но запроси снова в новой сессии — получишь другой. Это не баг и не ложь. Оценочные задачи просто не имеют единственно правильного ответа, а модель не умеет говорить «я не уверена». Метод позволяет получать воспроизводимые оценки кандидатов, текстов, стратегий — любых объектов, где один судья ненадёжен. Фишка: явные письменные определения полюсов шкалы заставляют разные модели соглашаться — не потому что их подтолкнули к нужному ответу, а потому что они читают один язык. Корреляция между независимыми оценками выросла с 0.81 до 0.89 после добавления чётких критериев. А расхождение между рейтерами сократилось с 2.81 до 2.50.