DayDreamer at CQs Gen 2025 Генерация критических вопросов через завершение аргументной схемы

Исследователи разработали метод для генерации качественных критических вопросов к любому аргументу, используя многошаговый диалог с LLM. Вместо того чтобы просить LLM сразу задать вопросы к тексту, они сначала заставляют модель извлечь из текста структурированный аргумент по заданному шаблону (найти предпосылки и вывод), и только потом генерировать вопросы к этой структуре.

Ключевой результат: Поэтапное ведение LLM через шаги "извлечение структуры -> генерация на основе структуры -> ранжирование" дает значительно более релевантные и полезные результаты, чем один прямой запрос.

Суть метода заключается вуправляемой декомпозиции задачи. Вместо того чтобы давать LLM одну сложную команду вроде "Проанализируй этот текст и задай к нему каверзные вопросы", мы разбиваем процесс на три последовательных шага-промпта в одном диалоге:

1. Шаг 1: Извлечение и структурирование. Мы даем LLM исходный текст и "шаблон" (в исследовании это "схема аргументации"). Задача модели на этом этапе — не придумывать ничего нового, а просто найти в тексте части, соответствующие шаблону, и сложить их в структурированном виде. Например: "Найди в этом рекламном посте Основное Утверждение и Доказательство".

2. Шаг 2: Генерация на основе структуры. Теперь, когда у LLM перед глазами есть четкая структура, извлеченная на первом шаге, мы даем вторую команду: "Опираясь на выделенные тобой Утверждение и Доказательство, придумай критические вопросы". Модели гораздо проще работать с уже структурированными и выделенными ею же данными, чем с цельным "сырым" текстом.

3. Шаг 3: Ранжирование и отбор. Мы показываем модели сгенерированный ею же список вопросов и даем финальную команду: "Из этих вопросов выбери 3 самых полезных, которые помогут выявить слабые места в исходном аргументе". Этот шаг заставляет модель провести самооценку и отфильтровать менее удачные варианты.

Этот подход превращает пользователя из простого "заказчика" в "менеджера проекта", который ведет LLM по процессу, добиваясь на каждом этапе качественного промежуточного результата, что в сумме дает превосходный финальный итог.

*Прямая применимость:Пользователь может немедленно применить этот трехшаговый паттерн для любой задачи, требующей глубокого анализа текста. Например, для анализа коммерческого предложения, отзыва на товар, новостной статьи или даже условий договора. Достаточно последовательно отправлять три промпта в одном чате.

• Концептуальная ценность: Главный инсайт для пользователя — не доверяйте LLM выполнение сложных задач "в один клик". Лучшие результаты достигаются, когда вы направляете "внимание" модели. Заставляя ее сначала структурировать информацию, вы создаете прочный фундамент для последующих, более творческих или аналитических шагов. Это учит пользователя "думать как промпт-инженер".

• Потенциал для адаптации: Метод легко адаптируется под любую сферу. "Схемы аргументации" можно заменить на любую нужную структуру:

  • Для анализа бизнес-идеи: [Проблема, Решение, Целевая аудитория, Монетизация]
  • Для планирования отпуска: [Направление, Бюджет, Даты, Тип отдыха, Ограничения]
  • Для анализа резюме: [Ключевые навыки, Опыт работы >3 лет, Проектные достижения] Сначала модель извлекает эти компоненты из текста (или из слов пользователя), а затем на их основе генерирует идеи, планы, вопросы или риски.

Представим, что вы маркетолог и хотите проанализировать рекламный пост конкурента, чтобы найти в нем слабые места.

**Роль:** Ты — опытный маркетолог-аналитик с высоким уровнем критического мышления. Твоя задача — найти слабые места в маркетинговых коммуникациях.
**Контекст:** Я покажу тебе рекламный пост нашего конкурента, компании "ЭкоСмузи".

**Текст для анализа:**
"Устали от химии в напитках? Наши смузи 'ЭкоСмузи' — это 100% натуральный продукт! Созданы только из фермерских фруктов, выращенных без пестицидов. Ведущие диетологи подтверждают: 'ЭкоСмузи' улучшает пищеварение и заряжает энергией на весь день. Попробуй и почувствуй силу природы!"

**Задача:** Мы проведем анализ этого текста в 3 шага. Я буду давать тебе команды для каждого шага. Не переходи к следующему шагу, пока я не попрошу.

**[ШАГ 1: Извлечение Аргумента]**
Используя приведенный выше текст, заполни следующую структуру:
- **Основной тезис (что нам предлагают):**
- **Ключевое доказательство (почему мы должны поверить):**
- **Ссылка на авторитет (кто это подтверждает):**

Приступай к выполнению ШАГА 1.

Отлично. Теперь **[ШАГ 2: Генерация Вопросов]**.
Опираясь **только** на структуру, которую ты извлек на Шаге 1, сгенерируй список из 5-7 критических вопросов, которые ставят под сомнение рекламные утверждения.

Прекрасная работа. Финальный **[ШАГ 3: Ранжирование]**.
Проанализируй список вопросов, который ты сгенерировал на Шаге 2. Выбери и представь **ТОП-3 самых неудобных и практически полезных вопроса**, которые я мог бы задать отделу маркетинга "ЭкоСмузи", чтобы проверить их утверждения.

Этот промпт эффективен, потому что он не просит модель сделать всё и сразу. Он разбивает сложную аналитическую задачу на управляемые части:

1. Принудительная фокусировка (Шаг 1): Вместо того чтобы "плавать" по всему тексту, модель вынуждена сфокусироваться на поиске конкретных сущностей (Тезис, Доказательство, Авторитет). Это создает четкую, структурированную "карту" аргумента, очищенную от маркетинговой "воды".
2. Генерация на прочном фундаменте (Шаг 2): Модель генерирует вопросы не к абстрактному тексту, а к конкретным, выделенным ею же пунктам. Это резко повышает релевантность вопросов. Она будет спрашивать не "а что еще есть в смузи?", а "какие именно фермеры поставляют фрукты?" или "предоставьте данные исследований упомянутых диетологов".
3. Самооценка и приоритизация (Шаг 3): Этот шаг заставляет модель применить критерий "полезности" и "неудобности" к собственным результатам, отсеивая общие или слабые вопросы и оставляя самые сильные. Это имитация процесса критического мышления.

Анализ предложения о работе (job offer) для выявления скрытых рисков и моментов для торга.

**Роль:** Ты — опытный карьерный консультант и юрист. Твоя задача — помочь мне проанализировать предложение о работе, найти потенциальные риски и "серые зоны".
**Контекст:** Я получил предложение о работе и хочу его внимательно изучить перед тем, как принять решение.

**Текст для анализа:**
"Уважаемый Иван, компания 'Стартап-Прорыв' рада предложить Вам позицию 'Менеджер по развитию'. Ваш оклад составит 150 000 рублей (до вычета налогов). Дополнительно предусмотрены квартальные бонусы 'по результатам работы команды'. Вы будете отвечать за поиск новых клиентов и развитие партнерской сети. График работы гибкий, но мы ожидаем полной вовлеченности в проект. Испытательный срок — 3 месяца."

**Задача:** Мы проведем анализ в 3 шага. Выполняй каждый шаг только по моей команде.

**[ШАГ 1: Структурирование Предложения]**
Извлеки из текста выше ключевые условия и заполни эту структуру:
- **Должность:**
- **Фиксированная оплата (оклад):**
- **Переменная часть (бонусы) и их условия:**
- **Ключевые обязанности:**
- **Условия графика:**
- **Особые условия (исп. срок и т.д.):**

Приступай к выполнению ШАГА 1.

Спасибо. Теперь **[ШАГ 2: Поиск Рисков и Вопросов]**.
Основываясь **только** на структурированных данных из Шага 1, определи потенциальные риски, двусмысленные формулировки и сформулируй список вопросов, которые мне следует задать HR-менеджеру для прояснения этих моментов.

Отлично. Финальный **[ШАГ 3: Приоритезация для Переговоров]**.
Из списка вопросов и рисков, которые ты определил на Шаге 2, выбери **ТОП-3 самых критически важных пункта**, которые напрямую влияют на мои деньги и условия труда. Сформулируй их как темы для обсуждения на встрече с HR.

Этот механизм работает за счет превращения неструктурированного текста в структурированные данные перед анализом.

1. Создание "анкеты" (Шаг 1): Первый промпт заставляет LLM не просто прочитать текст, а выступить в роли парсера — найти и аккуратно разложить информацию по полочкам (Оклад, Бонусы, Обязанности). Это устраняет двусмысленность и подготавливает фактологическую базу.
2. Анализ фактов, а не слов (Шаг 2): На втором шаге модель анализирует не исходный "дружелюбный" текст оффера, а сухую структуру фактов. Это позволяет ей легко заметить логические пробелы и риски. Например, она сразу видит, что напротив пункта Переменная часть стоит туманная формулировка "по результатам работы команды", и немедленно генерирует вопрос: "Каковы конкретные KPI команды для получения бонуса?".
3. Фокус на главном (Шаг 3): Третий шаг отсекает второстепенные вопросы (например, о корпоративной культуре) и заставляет модель сконцентрироваться на самых важных для соискателя темах — деньгах и обязанностях, что делает ее вывод максимально практичным.

• A. Релевантность техникам промтинга: Да. Вся работа — это описание многошагового промпт-пайплайна (цепочка запросов).
• B. Улучшение качества диалоговых ответов: Да. Цель исследования — генерация более полезных и релевантных ("helpful") вопросов, минимизируя бесполезные и невалидные ответы.
• C. Прямая практическая применимость: Да. Методику можно воспроизвести в любом чат-боте (ChatGPT, Claude) без единой строчки кода, просто отправляя последовательность промптов.
• D. Концептуальная ценность: Да. Демонстрирует фундаментальный принцип промт-инжиниринга: декомпозицию сложной задачи на простые шаги (извлеки -> сгенерируй -> оцени) для повышения качества результата. Также раскрывает важную особенность поведения LLM: качество "шаблонов для рассуждений", которые мы даем модели, напрямую влияет на итоговый результат.
• E. Новая полезная практика (кластеризация): Работа попадает сразу в несколько ключевых кластеров:
  • (1) Техники формулирования: Используется Chain-of-Thought в виде диалоговой цепочки.
  • (3) Оптимизация структуры: В основе лежит структурирование информации по "схемам аргументации".
  • (5) Извлечение и структурирование: Первый шаг пайплайна — это извлечение структурированных аргументов из текста.
  • (7) Надежность и стабильность: Финальный шаг с ранжированием вопросов — это, по сути, метод самооценки и повышения релевантности ответа.
• Чек-лист практичности (+15 баллов): Да, работа предлагает готовую структуру для сложных запросов, раскрывает неочевидные особенности поведения LLM (влияние качества шаблонов) и предлагает способ улучшить точность и релевантность ответов.

Исследование получает высокую оценку, так как оно не просто описывает теоретический подход, а представляет собой готовый, воспроизводимый и универсальный паттерн промпт-инжиниринга. Основная идея — декомпозиция задачи — является одним из самых мощных инструментов для любого пользователя LLM. Вместо одного сложного запроса пользователь учится выстраивать диалог с LLM, где каждый следующий шаг уточняет и улучшает результат предыдущего. Это фундаментально меняет подход к решению сложных задач с помощью чат-ботов.