MoPHES – двухэтапная оценка для персонализированных ответов LLM

Исследование предлагает фреймворк MoPHES — мобильного ИИ-агента для психологической поддержки, который состоит из двух дообученных малых языковых моделей. Одна модель в реальном времени оценивает психическое состояние пользователя (уровень тревоги и депрессии), а вторая, используя эту оценку, ведет более персонализированный и эмпатичный диалог.

Ключевой результат: предварительная оценка контекста (в данном случае, психического состояния) и передача этой оценки в качестве инструкции для следующего шага значительно повышает релевантность и качество итогового ответа LLM.

Суть метода, с точки зрения промпт-инжиниринга, заключается в двухэтапном подходе к решению задачи внутри одного запроса или диалога. Вместо того чтобы сразу просить LLM дать финальный ответ, мы сначала заставляем ее выполнить промежуточную задачу — оценить и структурировать контекст.

Представьте, что у LLM есть два "модуля": 1. "Аналитик": Его задача — беспристрастно проанализировать входящую информацию (например, текст пользователя) и извлечь из нее ключевые параметры в структурированном виде (например, "эмоция: гнев", "проблема: задержка доставки", "тон: саркастичный"). 2. "Исполнитель": Его задача — сгенерировать финальный ответ (например, написать письмо), но не на основе сырого текста, а на основе четкого и структурированного отчета от "Аналитика".

Этот подход заставляет модель сначала "подумать" и сформировать четкое понимание ситуации, а уже затем "действовать". Передача структурированной оценки от первого этапа ко второму служит якорем, который не дает модели "сгаллюцинировать" или уйти в сторону от сути запроса. Пользователь может симулировать эту архитектуру в своих промптах, явно разделяя задачу на анализ и генерацию.

• Прямая применимость: Низкая. Пользователь не может дообучить и развернуть две модели. Однако, он может симулировать этот процесс в одном промпте для одной большой модели (например, GPT-4).

• Концептуальная ценность: Очень высокая. Исследование дает пользователю понимание, что для сложных задач прямой запрос "сделай X" часто работает хуже, чем двухэтапный запрос "сначала проанализируй Y по критериям A, B, C, а затем на основе этого анализа сделай X". Это фундаментальный принцип для повышения надежности и управляемости LLM. Он учит пользователя не просто давать команду, а выстраивать для модели "конвейер мышления".

• Потенциал для адаптации: Высокий. Метод легко адаптируется путем создания промпта, который содержит две последовательные инструкции:

  1. Шаг 1: Анализ. Четко указать модели, что и как анализировать в предоставленном тексте, и в каком формате выдать результат (например, JSON или список).
  2. Шаг 2: Генерация. Указать модели использовать результаты Шага 1 как основное руководство для генерации финального ответа.

Представим, что вы менеджер по работе с клиентами и вам нужно ответить на гневный отзыв.

# РОЛЬ
Ты — опытный и эмпатичный менеджер по работе с клиентами в интернет-магазине "БыстроТовары". Твоя цель — превратить недовольного клиента в лояльного.

# КОНТЕКСТ
Вот отзыв от клиента, который ты получил:
"Это просто ужас! Заказал у вас подарок жене на годовщину, обещали доставить за 3 дня. Прошла неделя, заказа нет! В поддержке отвечают роботы, никто ничего не знает. Вы испортили мне важнейший день! Никогда больше у вас ничего не куплю и всем друзьям расскажу про ваш 'сервис'!"

# ЗАДАЧА
Выполни задачу в два шага:

**ШАГ 1: АНАЛИЗ ОТЗЫВА**
Проанализируй отзыв клиента и предоставь результат в формате JSON. Не пиши ничего, кроме JSON.
- `client_emotion`: Оцени основную эмоцию клиента (например, "гнев", "разочарование", "обида").
- `problem_core`: Сформулируй суть проблемы в 2-3 словах (например, "срыв сроков доставки").
- `damage_level`: Оцени уровень нанесенного ущерба по шкале от 1 до 5, где 5 — максимальный (например, испорченное важное событие).
- `key_complaints`: Перечисли ключевые жалобы в виде массива строк.

**ШАГ 2: НАПИСАНИЕ ОТВЕТА**
Используя **исключительно** данные из твоего анализа в Шаге 1, напиши вежливый, сочувствующий и решающий проблему ответ клиенту.
- Признай каждую из `key_complaints`.
- Вырази сочувствие, соответствующее `client_emotion` и `damage_level`.
- Предложи конкретное решение проблемы (`problem_core`) и компенсацию.
- Тон ответа должен быть человечным, а не роботизированным.

Этот промпт симулирует архитектуру MoPHES, заставляя LLM сначала выполнить роль "оценочной модели", а затем — "диалоговой".

• Шаг 1 (Анализ) заставляет модель беспристрастно извлечь факты и эмоции. Формат JSON принуждает к структурированному мышлению и не дает сразу перейти к шаблонным извинениям. Модель создает для себя четкое "техническое задание" на ответ.
• Шаг 2 (Написание ответа) использует этот структурированный анализ как фундамент. Инструкция "используя исключительно данные из твоего анализа" служит мощным якорем. Модель не просто видит гневный текст, она видит конкретные параметры: damage_level: 5, emotion: разочарование. Это позволяет ей сгенерировать гораздо более точный и эмпатичный ответ, чем если бы она работала с исходным текстом напрямую.

Задача: переработать сложную статью в короткий пост для социальной сети (например, для Telegram-канала о продуктивности).

# РОЛЬ
Ты — редактор популярного Telegram-канала "Фокус и Продуктивность". Твоя аудитория — занятые профессионалы, которые ценят краткость и практическую пользу.

# КОНТЕКСТ
Вот фрагмент статьи о прокрастинации:
<...здесь длинный текст статьи на 2000 слов о психологических причинах прокрастинации, видах прокрастинации, исследованиях мозга и т.д....>

# ЗАДАЧА
Выполни задачу в два этапа:

**ЭТАП 1: АНАЛИТИЧЕСКАЯ ВЫЖИМКА**
Прочитай статью и извлеки из нее самую суть. Оформи результат в виде списка:
1.  **Главная мысль:** Сформулируй основную идею статьи в одном предложении.
2.  **Ключевая проблема аудитории:** Какую "боль" читателя решает статья?
3.  **Самый ценный совет:** Найди один самый практичный и неочевидный совет из текста.
4.  **Интересный факт:** Выбери один удивительный факт или статистику для привлечения внимания.

**ЭТАП 2: СОЗДАНИЕ ПОСТА**
На основе твоей аналитической выжимки из Этапа 1, напиши короткий и вовлекающий пост для Telegram.
- Начни с яркого заголовка, используя "Интересный факт".
- Раскрой "Главную мысль", обращаясь к "Ключевой проблеме аудитории".
- Дай читателям "Самый ценный совет" в виде четкой инструкции.
- Закончи пост вопросом к аудитории, чтобы стимулировать комментарии.

Этот промпт работает по тому же принципу "оцени-затем-действуй", но в креативной сфере.

• Этап 1 (Аналитическая выжимка) заставляет LLM не просто суммировать текст, а деконструировать его на ключевые маркетинговые и смысловые компоненты. Модель определяет, что является "крючком" (интересный факт), что — "сутью" (главная мысль), а что — "пользой" (ценный совет).
• Этап 2 (Создание поста) использует эти заранее подготовленные "строительные блоки". Вместо того чтобы хаотично генерировать текст на основе всей статьи, модель следует четкой структуре поста, наполняя ее уже отобранными, самыми сильными элементами. Это повышает фокус, релевантность и вовлекающий потенциал конечного текста.

• A. Релевантность техникам промтинга: Низкая. Исследование не предлагает новых формулировок или паттернов для промптов, которые пользователь может сразу скопировать. Основной фокус — на архитектуре системы и дообучении (fine-tuning) моделей.
• B. Улучшение качества диалоговых ответов: Высокая, но в рамках предложенной специализированной системы. Выводы непереносимы напрямую на общие модели вроде ChatGPT без адаптации.
• C. Прямая практическая применимость: Очень низкая. Метод требует дообучения двух отдельных LLM и их развертывания в специальном приложении. Обычный пользователь не может это воспроизвести.
• D. Концептуальная ценность: Высокая. Исследование представляет мощную концепцию: разделение задачи на "оценку состояния" и "генерацию ответа". Это дает пользователю ценную ментальную модель для построения более сложных и надежных промптов.
• E. Новая полезная практика: Работа попадает в кластеры №6 (Контекст и память) и №7 (Надежность и стабильность), но не через прямые техники промптинга, а через архитектурный подход. Идея сохранять "оценку состояния" пользователя и передавать ее в контекст следующих запросов — это продвинутая форма управления памятью и повышения стабильности ответов.

Чек-лист практичности (+15 баллов): Да, исследование раскрывает неочевидные особенности поведения LLM и предлагает способ улучшить точность ответов, который можно адаптировать для промптов.

Оценка 68 отражает баланс между очень низкой прямой применимостью и высокой концептуальной ценностью для продвинутого пользователя.

Аргументы в пользу оценки: * Основной фокус не на промптинге: Статья посвящена созданию специализированного программного продукта (агента) с дообученными моделями. Это решение "под капотом", а не инструкция для пользователя. * Требуется адаптация: Чтобы извлечь пользу, пользователь должен самостоятельно "перевести" архитектурный подход MoPHES на язык промпт-инжиниринга, что требует определенного уровня понимания.

Контраргументы (почему оценка могла быть выше или ниже): * Почему могла быть выше (>75): Для опытного пользователя, который уже знаком с техниками вроде Chain-of-Thought, концепция "оцени-затем-отвечай" является мощным и почти готовым к применению паттерном. Он может сразу начать строить свои промпты по этому принципу, что приведет к немедленному улучшению качества ответов в сложных задачах. * Почему могла быть ниже (<50): Для новичка, который ищет готовые фразы типа "Думай шаг за шагом", статья бесполезна. Она написана сложным академическим языком и описывает процессы (fine-tuning, deployment), недоступные рядовому пользователю. Без "переводчика" извлечь из нее практическую пользу почти невозможно.