Instrument-Anchored LLM Judges: оценка качества диалога по критериям из экспертной анкеты, а не по «общим качествам»

Просишь модель оценить «эмпатию, структуру, ясность» — получаешь тройки с четвёрками и слабое совпадение с экспертом. Метод Instrument-Anchored LLM Judges позволяет ранжировать расшифровки разговоров (консультации, звонки, сессии) так, как это сделал бы ваш эксперт, и не слушать всё подряд. Фишка: бери критерии не у модели, а из анкеты, по которой оценивают живые эксперты. Модель читает расшифровку целиком и ставит 1–5 по каждому пункту (перефразировал ли, задал ли открытый вопрос, закрыл ли разговор). Потом оценки нескольких разных моделей усредняются. Это ансамбль судей, и он даёт ранжирование, которое заметно лучше совпадает с экспертом, чем общие «качества».