RoleRM: 7 измерений качества для оценки ролевых диалогов

LLM проваливаются на субъективной оценке ролевых диалогов — точность падает до 50-60%, почти случайность. Причина: нет чётких критериев «правильности», только нюансы тона и стиля. Исследование RoleRM показывает: разложи абстрактное «хорошо/плохо» на 7 конкретных измерений (сюжет, переходы сцен, соответствие персонажу, выполнение команд, безопасность, связность диалога, вовлечённость). Затем генерируй несколько вариантов и ранжируй их по критериям — LLM проще сказать «А сильнее Б по тону», чем придумывать баллы из головы.