Когда экспериментальная экономика встречается с большими языковыми моделями: тактики с доказательствами

Это исследование изучает, как различные способы написания промптов влияют на качество и последовательность ответов LLM в задачах, требующих принятия решений. Авторы экспериментально проверили восемь тактик промптинга на четырех разных моделях (включая GPT, Llama, Qwen) и обнаружили, что структура запроса имеет огромное значение.

Ключевой результат: Пошаговые диалоги (multi-turn) и запросы, не ограничивающие ответ выбором из вариантов (open-ended), значительно повышают "рациональность" и качество ответов, особенно у менее мощных моделей.

Исследование доказывает, что для получения качественных ответов от LLM нужно думать как хороший менеджер, ставящий задачу сотруднику. Вместо того чтобы вываливать все требования в одном письме, лучше разбить задачу на этапы и контролировать их выполнение.

Основные выводы, которые можно превратить в практическую методику:

1. Тактика "Разделяй и властвуй" (Multi-turn Dialogue): Если у вас сложная задача (написать бизнес-план, спланировать путешествие, проанализировать документ), не пишите один огромный промпт со всеми требованиями сразу. Это перегружает модель, особенно не самые продвинутые. Вместо этого ведите диалог:

   • Шаг 1: "Давай спланируем путешествие. Сначала помоги мне выбрать страну. Вот мои критерии..."
   • Шаг 2: "Отлично, мы выбрали Италию. Теперь давай составим маршрут по городам на 10 дней."
   • Шаг 3: "Супер. Теперь для каждого города подбери отель и 2-3 ключевые достопримечательности." Этот подход (в работе назван multi-turn dialogue) помогает модели лучше сфокусироваться на каждой подзадаче, что ведет к более качественному и логичному итоговому результату.

2. Тактика "Будь собой" (Avoid Personas): Не заставляйте модель без веской причины играть роль ("Ты — опытный маркетолог", "Ты — Шекспир"). Исследование показывает, что назначение роли (персоны) может непредсказуемо исказить ответ, добавив в него стереотипы, связанные с этой ролью. Если вам нужен объективный, сбалансированный ответ, формулируйте запрос от своего лица, не назначая модели роль. Используйте роли только тогда, когда вам намеренно нужен стилизованный или узкоспециализированный ответ.

3. Тактика "Дай свободу" (Open-ended Answers): Не заставляйте модель выбирать из предложенных вами вариантов (A, B, C), если это возможно. Формулируйте вопрос так, чтобы модель могла дать развернутый ответ в свободной форме. Исследование показало, что принуждение к выбору из дискретного набора вариантов может парадоксальным образом снизить "рациональность" мышления модели.

*Прямая применимость:Методы применимы немедленно и в любом чат-боте. Пользователь может сразу же начать дробить свои сложные запросы на последовательность более простых и перестать использовать роли (персоны) в тех случаях, где нужна объективность, а не стилизация. Это не требует никаких технических навыков.

• Концептуальная ценность: Исследование дает пользователю важнейшую ментальную модель: "LLM — это не единый черный ящик". Продвинутые модели (как GPT-4o) более "прощают" неидеальные промпты, в то время как модели попроще (Llama, Qwen) требуют более строгой и четкой постановки задачи. Это помогает понять, почему один и тот же промпт может отлично работать в ChatGPT и плохо — в другом, менее мощном чат-боте.

• Потенциал для адаптации: Принципы абсолютно универсальны. Идея "multi-turn dialogue" применима к любой сложной задаче: от написания кода и создания презентации до разработки диеты и плана тренировок. Это фундаментальный принцип декомпозиции задачи, который работает везде.

Этот промпт иллюстрирует тактику Multi-turn Dialogue (Tactic 6).

• Декомпозиция: Вместо того чтобы просить "сделай контент-план на неделю", мы разбиваем задачу на логические этапы. Первый этап — самый важный, определение фундамента (ключевых рубрик).
• Снижение когнитивной нагрузки на LLM: Модель получает очень узкую и конкретную задачу: "придумай 3-4 рубрики". Ей не нужно одновременно держать в уме форматы постов, время публикации, тексты и визуалы. Это позволяет ей сгенерировать более глубокие и релевантные идеи на первом шаге.
• Управляемый процесс: Пользователь контролирует процесс. После получения ответа на этот промпт, он может скорректировать рубрики и перейти к следующему логическому шагу ("Отлично, берем рубрики 'Быстрый завтрак', 'Обед в офис' и 'Мифы о питании'. Теперь давай для каждой придумаем по 2 конкретные темы постов"). Это обеспечивает гораздо более качественный и кастомизированный результат, чем один общий запрос.

Этот промпт эффективно использует две тактики из исследования:

1. Избегание персоны (Tactic 2): Мы намеренно не просим модель "вести себя как HR-директор Google". Это позволяет избежать стереотипного ответа, основанного на "образе" рекрутера (например, зацикленности на ключевых словах). Вместо этого мы запрашиваем прямой анализ, основанный на всем объеме данных, на которых обучалась модель, что часто дает более сбалансированную и объективную оценку текста.

Мы не просим оценить резюме по шкале от 1 до 10 или выбрать из вариантов "хорошо/плохо". Вместо этого мы задаем открытые вопросы ("Какие сильные стороны?", "Какие рекомендации?"). Это позволяет модели не ограничиваться заранее заданными рамками, а выявить нюансы, которые могли бы быть упущены при более строгом форматировании. Это напрямую соответствует выводу исследования о том, что принуждение к выбору из вариантов может снижать качество анализа.

• A. Релевантность техникам промтинга: Да, исследование напрямую тестирует и сравнивает конкретные структуры промптов: персона, тип диалога (один большой промпт против серии вопросов), формат ответа (свободный против выбора из вариантов).
• B. Улучшение качества диалоговых ответов: Да, исследование оценивает "рациональность" и "предпочтения" моделей, что является прямым показателем качества и консистентности ответов в задачах принятия решений. Выводы помогают получать более стабильные и логичные ответы.
• C. Прямая практическая применимость: Да, выводы можно применить немедленно, без кода и специальных инструментов. Пользователь может сразу изменить способ постановки задач в обычном чате (например, перейдя от одного сложного запроса к нескольким простым).
• D. Концептуальная ценность: Очень высокая. Исследование блестяще демонстрирует, что разные LLM (GPT-4o vs Llama) по-разному реагируют на структуру промпта. Это дает пользователю ключевое понимание: "продвинутые" модели более устойчивы к "плохим" промптам, а для более простых моделей качество структуры запроса критически важно.
• E. Новая полезная практика (кластеризация): Работа попадает сразу в несколько ключевых кластеров:
  • №1 (Техники формулирования): Явно рассматривает role-play (Persona) и decomposition (Multi-turn dialogue).
  • №2 (Поведенческие закономерности): Основной вывод — разные модели ведут себя по-разному в ответ на одинаковые изменения в промпте.
  • №3 (Оптимизация структуры): Сравнение single-turn и multi-turn диалогов — это классический пример оптимизации структуры.
  • №7 (Надежность и стабильность): Повышение "рациональности" (CCEI) — это прямое улучшение надежности и логической последовательности ответов.
• Чек-лист практичности (+15 баллов): Да, работа показывает как структурировать сложные запросы, раскрывает неочевидные особенности поведения LLM и предлагает способы улучшить consistency ответов. Бонус в 15 баллов применен.

Аргументы в пользу высокой оценки (93): Исследование предоставляет не просто умозрительные заключения, а экспериментально подтвержденные тактики, которые любой пользователь может немедленно применить для улучшения своих промптов. Три ключевых вывода — о вреде необоснованного использования персон, о преимуществе пошаговых диалогов и о рисках принуждения к выбору из вариантов — являются фундаментальными принципами эффективного промпт-инжиниринга. Работа дает четкие, практически применимые рекомендации, которые напрямую влияют на качество и стабильность ответов LLM.