3,583 papers
arXiv:2610.09593 88 7 окт. 2026 г. FREE

Structured pre-generation elicitation: сначала ответь на вопросы, потом получи документ

КЛЮЧЕВАЯ СУТЬ
Каждый третий документ ушёл мимо темы, когда людям дали написать одну строку и ждать результат. Метод позволяет получать планы и стратегические записки, построенные вокруг вашего выбора, а не гладкий усреднённый текст. Модель не пишет сразу. Она задаёт 3 вопроса, предлагает 3-4 варианта позиции, вы выбираете один и объясняете почему. Только потом идёт синтез документа. Качество выросло примерно на треть за 2-3 лишние минуты.
Адаптировать под запрос
⚡

TL;DR

Метод простой: до того как модель напишет документ, она спрашивает вас. Вы отвечаете на три уточняющих вопроса (что важнее всего, какие ресурсы, кто читатель), выбираете один из готовых стратегических вариантов и пишете пару строк, почему выбрали именно его. Только после этого модель собирает итоговый текст из ваших ответов.

Главная боль — промпт «в лоб». Люди пишут одну строку, и модель отвечает не на ту задачу. В контрольной группе каждый третий документ ушёл мимо темы, потому что в промпте не было сути проблемы. Даже у тех, кто описал проблему верно, получались ровные, гладкие тексты без чёткой позиции и без честного разбора «что теряем, что выигрываем». Модель угадывает, чего вы хотите, и угадывает усреднённо.

Сначала вы фиксируете контекст, выбор и обоснование, потом идёт генерация. Это 2-3 дополнительные минуты. В эксперименте качество документов выросло примерно на треть. Больше всего выросли связность стратегии и разбор компромиссов. Технической конкретики (законы, нормы, цифры) схема не добавила.

🔬

Схема метода

ШАГ 1: Вы пишете задачу своими словами → короткий промпт
ШАГ 2: Модель задаёт 3 уточняющих вопроса (приоритет, ресурсы/инфраструктура, аудитория) → вы отвечаете
ШАГ 3: Модель предлагает 3-4 «карточки» — варианты стратегической позиции → вы выбираете один
ШАГ 4: Вы пишете обоснование выбора своими словами → 2-4 предложения
ШАГ 5: Модель синтезирует документ из всего собранного → готовый план/записка

Всё можно сделать в одном чате. Генерация начинается только после шага 4.

🚀

Пример применения

Задача: Владелец магазина товаров для дома на Wildberries. Маркетплейс поднял комиссию, маржа упала, через неделю совещание с партнёрами. Нужен план на 30 дней. Это задача про выбор стратегии и компромиссы, где метод силён. Если нужны точные нормы налогового или таможенного права, метод не поможет: там нужен специалист.

Промпт:

Я владелец магазина товаров для дома. 80% продаж идут через Wildberries. С 1 числа комиссия выросла, маржа с 22% упала до 11%. Через неделю совещание с партнёрами. Нужен план действий на 30 дней.

Не пиши план сразу. Работаем по шагам:
1. Задай мне ровно 3 уточняющих вопроса: главный операционный приоритет, текущая инфраструктура и ресурсы, главный читатель плана. К каждому дай 3-4 варианта ответа плюс «свой вариант».
2. Дождись моих ответов.
3. Предложи 3-4 варианта стратегической позиции с одной строкой «что выигрываем / что теряем». Дождись моего выбора и моего обоснования.
4. Только после этого напиши план на 30 дней.

Результат: Модель сначала задаст три вопроса с вариантами ответов (например, что важнее: удержать оборот или вернуть маржу). Потом покажет несколько стратегических «карточек», например «остаться и поднять цены», «диверсифицировать каналы», «уйти на свой сайт». У каждой будет короткое «выигрываем / теряем». После вашего выбора и обоснования придёт план на 30 дней, выстроенный вокруг вашего выбора. В нём будет разбор компромиссов, а не набор общих советов. Точные цифры по комиссиям и налогам проверяйте сами.

🧠

Почему это работает

Слабость модели. Она не знает вашего контекста. Если задача описана одной строкой, модель достраивает недостающее усреднённо. Результат: либо ответ не про то, либо гладкий текст без позиции. Люди ещё и плохо замечают такие провалы. В эксперименте самооценка качества почти не совпадала с реальной оценкой.

Сильная сторона. Модель хорошо синтезирует материал, когда он конкретный и структурированный. Задать содержательные вопросы и разложить варианты на плюсы и минусы она тоже умеет. Ей не нужно угадывать, ей нужно собрать.

Как метод это использует. Решение (направление и причины) принимаете вы, а модель оформляет. Документ строится вокруг вашего выбора, поэтому в нём есть явная позиция и честный разбор «что теряем». Заодно вы вовлечены в рассуждение: участники сильнее чувствовали, что сами формировали план.

Рычаги управления: - Число вопросов. Для простых задач хватит 1-2, для сложных можно 4-5. Больше вопросов — больше времени. - Карточки стратегий. Попросите модель делать варианты противоположными по духу (агрессивный / осторожный / компромиссный). Тогда выбор будет осмысленнее. - Обоснование. Это самая «человеческая» часть. Если пропустить, потеряете вовлечённость, а возможно и часть качества. В статье это не разделяли, так что точно неизвестно. - Читатель документа. Вопрос про аудиторию определяет тон. Для совета директоров и для команды один и тот же план пишется по-разному.

📋

Шаблон промпта

Задача: {задача и контекст в 2-3 предложениях}

Не пиши итоговый документ сразу. Работаем в 4 этапа.

ЭТАП 1. УТОЧНЕНИЕ
Задай мне ровно 3 вопроса:
— Главный приоритет: {что именно нужно прояснить: срок / маржа / риск / репутация}
— Инфраструктура и ресурсы: {что у меня есть: люди, системы, бюджет}
— Главный читатель: {кто будет читать и принимать решение}
К каждому вопросу дай 3-4 варианта ответа и пункт «свой вариант».
Остановись и жди моих ответов.

ЭТАП 2. ВЫБОР ПОЗИЦИИ
После моих ответов предложи {число_вариантов} варианта стратегической позиции.
Для каждого: название, суть в одну строку, «что выигрываем», «что теряем».
Остановись и жди, когда я выберу вариант.

ЭТАП 3. ОБОСНОВАНИЕ
Попроси меня в 2-4 предложениях объяснить, почему я выбрал именно этот вариант.
Остановись и жди.

ЭТАП 4. СИНТЕЗ
Только теперь напиши {тип_документа}: опирайся на мои ответы, выбранную позицию и моё обоснование.
Обязательно: явно показать компромиссы выбранного пути и связь каждого шага с выбранной позицией.
Без воды. Всё, что требует проверки специалистом (нормы, цифры, юридические детали), пометь отдельно.

Что подставлять: - {задача} — ситуация с цифрами и сроками. - Три вопроса можно подменить под свою область, но сохраните идею: приоритет → ресурсы → читатель. - {число_вариантов} — 3-4. - {тип_документа} — план на 30 дней, записка, питч, стратегия.

🚀 Быстрый старт — вставь в чат:

Вот шаблон поэтапной работы «сначала вопросы, потом документ». Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит про контекст задачи, кто читатель документа и какие ограничения по срокам и ресурсам. Эти вопросы нужны, чтобы три уточняющих вопроса и карточки стратегий в шаблоне были про вашу ситуацию, а не общие. Она возьмёт паттерн из шаблона и соберёт рабочий промпт.

⚠️

Ограничения

⚠️ Основная часть эффекта — спасение слабых промптов: Около 60% общего прироста объясняется тем, что без метода документы часто уходили мимо темы. Если вы и так подробно описываете задачу, выигрыш скромнее. Но даже у тех, кто описал проблему верно, он был заметным, примерно на пятую часть.

⚠️ Конкретика не растёт: Техническая и нормативная точность почти не улучшилась. Схема даёт структуру и позицию, но не знания. Законы, цифры и стандарты проверяйте отдельно.

⚠️ Вы не заметите, что стало лучше (или хуже): Самооценка качества почти не связана с реальной оценкой ни с методом, ни без него. Нельзя полагаться на ощущение «хороший документ».

⚠️ Какая часть работает, неизвестно: Сравнивали целый комплект (вопросы + выбор + обоснование) с одним промптом. Какой элемент даёт эффект, исследование не разделяло.

⚠️ Одна задача, одна модель генерации, фиктивный сценарий: Всё проверено на одной выдуманной кризисной ситуации, и участники были онлайн-респондентами, а не реальными руководителями. Перенос на ваш бизнес — разумная гипотеза, а не доказанный факт.

⚠️ Оценка качества шаткая: Оценки двух LLM-судей и человека сильно расходились по абсолютным баллам и лучше согласовывались по порядку «лучше/хуже». Эксперимент не регистрировали публично заранее. Эффект запоминания — слабый сигнал, он не выдержал проверок на устойчивость.

⚠️ Цена — время: В среднем на 2-3 минуты дольше. Для простой задачи это лишнее.

🔍

Как исследовали

Исследователи из Oxford Centre for Impact Research собрали 400 сессий на платформе Prolific. Участники были менеджерами и профессионалами из разных стран. Каждому дали одну вымышленную кризисную ситуацию: за две недели до запуска в Сингапуре и Малайзии регулятор требует хранить данные на местных серверах, а вся архитектура компании стоит во Франкфурте. Нужно было написать промпт и получить план действий. Одна половина получила ответ на промпт сразу (196 сессий). Другая прошла три вопроса, выбор стратегии и обоснование (204 сессии). Качество планов оценивали по четырём критериям (связность, техническая конкретика, разбор компромиссов, плотность мысли) две LLM и один человек, не знавшие, какая группа чья.

Результат сразу бросается в глаза: все три оценщика увидели улучшение, хотя размер сильно разнялся. В среднем +32% (в шкале от 4 до 40: 15,5 против 20,5). Самое любопытное внутри цифр. В контрольной группе 34% документов оценили как не по теме, потому что в промпте не было сути проблемы. В группе с методом таких было 5%. Но когда авторы отдельно посмотрели на участников, которые сами правильно описали проблему, метод всё равно дал +21%. То есть польза не только в «подсказке про суть», но и в самой структуре «выбрал позицию — объяснил — получил текст». Вырос разбор компромиссов и связность, а техническая точность осталась на месте. Метод помогает мыслить и структурировать, но не заменяет эксперта. Участники группы с методом чувствовали бо́льшую вовлечённость, и это стоило им 2,4 минуты.

💡

Адаптации и экстраполяции

🔧 Техника: добавить этап проверки фактов → закрыть слабое место метода

Метод не улучшил техническую точность. Добавьте в конец шаблона: «После документа дай отдельный список всех утверждений, цифр и норм, которые я должен проверить у специалиста или в первоисточнике, с пометкой, насколько ты в них уверен». Это моя адаптация, в статье такого шага не было.

🔧 Техника: убрать готовые карточки → модель сама строит варианты по вашему контексту

Если ваша задача нетипична, в «Этапе 2» попросите: «Предложи 3 варианта позиции, которые сильно отличаются друг от друга по риску и скорости, исходя из моих ответов». Так варианты не будут шаблонными.

Экстраполяция: перенос в инструкцию агенту. Идею «сначала вопросы и выбор, потом результат» можно вписать в системный промпт или файл инструкций агента. В статье агентов не проверяли, это моя гипотеза:

Для любой задачи по стратегии, плану или архитектуре: до написания результата
1) задай не больше 3 уточняющих вопросов про приоритет, ограничения и читателя результата;
2) предложи 3 варианта подхода с «что выигрываем / что теряем»;
3) дождись моего выбора и краткого обоснования;
4) только потом готовь итоговый документ или план.
Для мелких и однозначных задач этот порядок пропускай.
🔗

Ресурсы

  • Работа: Structured pre-generation elicitation versus single-shot prompting in AI-assisted enterprise decision-making: a randomised online experiment (рабочая версия).
  • Автор: William Scott-Jackson, Oxford Centre for Impact Research (OCIR). Прототип скаффолд-слоя называется Cognistance.
  • Опорные работы, упомянутые в статье: «cognitive surrender» (Shaw & Nave), «workslop» (Niederhoffer et al.), когнитивные принуждающие функции (Buçinca et al.), метакогнитивные требования к генеративному ИИ (Tankelevitch et al.), эксперимент с консультантами (Dell'Acqua et al.).

📋 Дайджест исследования

Ключевая суть

Каждый третий документ ушёл мимо темы, когда людям дали написать одну строку и ждать результат. Метод позволяет получать планы и стратегические записки, построенные вокруг вашего выбора, а не гладкий усреднённый текст. Модель не пишет сразу. Она задаёт 3 вопроса, предлагает 3-4 варианта позиции, вы выбираете один и объясняете почему. Только потом идёт синтез документа. Качество выросло примерно на треть за 2-3 лишние минуты.

Принцип работы

Процесс из четырёх остановок: вопросы → карточки позиций → ваше обоснование → документ. Генерация стоит в самом конце. Раньше модель должна собрать три вещи: контекст, выбор и причины. Решение принимаете вы, модель только оформляет его в текст. Три вопроса всегда одни: главный приоритет, ресурсы, читатель. Карточки позиций выглядят так: название, «что выигрываем», «что теряем». Это как архитектор. Он сначала расспрашивает заказчика и показывает эскизы, а чертежи делает потом.

Почему работает

Модель не знает вашего контекста. Одна строка в промпте — и она достраивает остальное усреднённо. Получается либо ответ не про то, либо ровный текст без позиции. В эксперименте около 60% прироста дали именно «спасённые» слабые промпты. Но и у тех, кто описал проблему верно, качество выросло примерно на пятую часть. Сильнее всего подтянулись связность стратегии и разбор компромиссов. Модели не нужно угадывать, ей нужно собрать из конкретных кусков. Это она умеет. Прикол: сами участники почти не видели разницы. Их оценка своего документа почти не совпадала с реальной. Ощущению «получилось хорошо» верить нельзя. Честно про минусы. Конкретика (законы, нормы, цифры) не выросла. Проверяли на одной выдуманной задаче и онлайн-респондентах, не на реальных руководителях. Какая часть схемы даёт эффект, исследование не разделяло.

Когда применять

Стратегические решения → план на 30 дней, записка для партнёров или совета, питч, особенно когда есть выбор между путями и у каждого своя цена. Ещё метод нужен, когда вы пишете промпт одной строкой и точно знаете, что контекст в нём неполный. НЕ подходит для точных норм, налогов, таможни и юридических деталей. Там нужен специалист. Для простых задач метод тоже лишний: два-три минуты потратите зря.

Мини-рецепт

1. Опиши задачу как обычно: 2-3 предложения с цифрами и сроками.
2. Запрети писать сразу: добавь Не пиши документ сразу. Работаем по шагам.
3. Попроси ровно 3 вопроса: приоритет, ресурсы, читатель. К каждому 3-4 варианта и пункт «свой вариант».
4. Ответь и жди карточки: пусть модель даст 3-4 позиции с «выигрываем / теряем». Просите варианты разные по духу: агрессивный, осторожный, компромиссный.
5. Выбери одну и объясни: 2-4 предложения своими словами. Не пропускай этот шаг, он самый «человеческий».
6. Только теперь проси документ: требуй показать компромиссы и связать каждый шаг с выбранной позицией.
7. Пометь проверку: всё про нормы и цифры модель должна выделить отдельно. Проверяй это сам.

Примеры

[ПЛОХО] : Маржа упала из-за комиссии маркетплейса. Напиши план на 30 дней.
[ХОРОШО] : Я владелец магазина товаров для дома. 80% продаж идёт через Wildberries. С 1 числа комиссия выросла, маржа упала с 22% до 11%. Через неделю совещание с партнёрами. Нужен план на 30 дней. Не пиши план сразу. Сначала задай ровно 3 вопроса: главный приоритет, ресурсы, читатель плана. К каждому дай 3-4 варианта и «свой вариант». Потом предложи 3-4 позиции с «что выигрываем / что теряем» и жди моего выбора и обоснования. Только после этого пиши план. Всё про налоги и комиссии пометь для проверки. В первом случае модель выдаст набор общих советов. Во втором план будет построен вокруг вашего выбора, например «диверсифицировать каналы», с честным разбором потерь.
Источник: Structured pre-generation elicitation versus single-shot prompting in AI-assisted enterprise decision-making: a randomised online experiment
ArXiv ID: 2610.09593 | Сгенерировано: 2026-10-08 05:00

Проблемы LLM

ПроблемаСутьКак обойти
Модель пишет ровный текст без позиции, даже если задача описана верноПросишь план, записку или стратегию. Получаешь гладкий документ. Все советы вроде бы разумные. Но нет ясного выбора. Нет честного разбора «что теряем, что выигрываем». Модель сама угадывает, чего ты хочешь. Угадывает усреднённо. Страдает любая задача, где нужно выбрать направление и поступиться чем-тоНе проси документ сразу. Сначала зафиксируй свой выбор позиции и причины. Потом проси написать текст вокруг этого выбора. Пошаговая схема — в методе ниже

Методы

МетодСуть
Выбор позиции до генерации — документ строится вокруг вашего решенияРазбей работу на этапы. Запрети писать итог до конца этапа 3. Этап 1. Модель задаёт 3 уточняющих вопроса: приоритет, ресурсы, читатель. К каждому даёт 3-4 варианта и пункт «свой вариант». Этап 2. Модель предлагает 3-4 стратегические позиции. У каждой: название, суть в одну строку, «что выигрываем», «что теряем». Ты выбираешь одну. Этап 3. Ты пишешь 2-4 предложения: почему выбрал именно эту. Этап 4. Модель пишет документ из твоих ответов, выбора и причин. Требуй показать компромиссы и связать каждый шаг с выбранной позицией. Синтаксис: Не пиши итог сразу. Остановись и жди моего ответа. Почему работает: модели не нужно угадывать позицию. Решение принимаешь ты, она только собирает и оформляет. Синтез из конкретных материалов получается лучше, чем выдумка из одной строки. Компромиссы уже названы на этапе 2, поэтому попадают в текст. Рычаги: для простых задач хватит 1-2 вопросов, для сложных нужно 4-5. Проси варианты противоположными по духу: агрессивный, осторожный, компромиссный. Тогда выбор осмысленнее. Вопрос про читателя задаёт тон документа. Когда да: стратегия, план, записка, питч — любая задача с выбором и компромиссами. Когда нет: простая задача (лишние 2-3 минуты), нужна точность фактов. Метод не добавляет знаний. Нормы, цифры и юридические детали проверяй у специалиста. Просто попроси модель пометить их отдельно
📖 Простыми словами

Structured pre-generation elicitation versus single-shotpromptinginAI-assisted enterprise decision-making: a randomised online experiment

arXiv: 2610.09593

Нейросети выдают унылый корпоративный булшит не потому, что они тупые, а потому, что ты ленишься дать контекст. Когда ты скармливаешь задачу в одну строчку через single-shot промпт, модель включает усреднение по палате: додумывает ограничения за тебя и выдает гладкую, но бесполезную воду. Самое паршивое — люди слепы к собственным провалам и на полном серьезе оценивают этот текст как высокое качество, хотя практической пользы в нем ноль.

Это как прибежать к дорогому консультанту с воплем "напиши мне стратегию", не сказав ни про долги, ни про команду. Эксперт вежливо нальет двадцать страниц абстрактных терминов, а ты останешься с красивой пустышкой, неприменимой к реальности. В эксперименте это доказали цифрами: без контекста модель просто достраивает пробелы наугад. Получается типичный разговор глухого со слепым, где все довольны процессом, но результат — полный провал.

Рабочее решение — структурированный опрос перед генерацией. Модель не бросается писать документ сломя голову, а сначала устраивает тебе допрос: задает три конкретных вопроса о приоритетах, ресурсах и целевой аудитории. Следом она выдает варианты развилок, ты выбираешь нужный, пишешь пару строк аргументации — и только тогда нейросеть собирает драфт. Ты задаешь вектор, а модель работает как технический сборщик смыслов, полностью исключая отсебятину.

В исследовании метод гоняли на селлерах маркетплейсов, спасающих маржу, но принцип абсолютно универсален. Антикризисный план на месяц, запуск сложной фичи или питч партнерам — алгоритм идеален там, где есть неопределенность и компромиссы. Для поиска налоговых кодексов метод бесполезен, там нужен узкий специалист, но для управленческих решений такой формат разносит обычные запросы в щепки.

Короче: перестань ждать от сетки магии по одной кнопке и заставь ее выбивать из тебя детали. Интервью до генерации экономит часы пустых правок и на корню выжигает шаблонный бред. Тратишь две минуты на осознанные ответы — забираешь рабочий план с позицией. Лень отвечать на вопросы — получаешь дипломатичную кашу и потом сам гадаешь, почему бизнес пошел на дно.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с