3,583 papers
arXiv:2507.20352 92 27 июля 2025 г. PRO

RMTBench: бенчмаркинг LLM через многоходовое ролевое взаимодействие, ориентированное на пользователя

КЛЮЧЕВАЯ СУТЬ
Обнаружено: Типичные ролевые промпты («Ты — Шерлок Холмс, родился в...») проваливаются, потому что LLM скатывается в викторину о фактах персонажа вместо живого диалога. RMTBench показывает: модель отыгрывает роль в 3 раза лучше, когда промпт описывает не биографию, а цель пользователя — зачем вам этот диалог (получить совет, эмоциональную поддержку, развить сюжет). Вместо «Ты — персонаж X» пишите «Моя цель — получить от тебя Y, используя твою роль Z» — модель перестает воспроизводить факты и начинает работать на вашу задачу. Результат: +40-60% качества диалога по всем метрикам (эмоциональность, развитие сюжета, сохранение роли).
Адаптировать под запрос

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с