Исследование больших языковых моделей для автоматической генерации и адаптации опросников

Исследование показывает, как значительно улучшить качество текста, генерируемого LLM, с помощью двухэтапного процесса. Сначала модели предоставляется богатый контекст (например, краткие выжимки из новостей и удачные примеры), чтобы она сгенерировала первоначальный вариант. Затем ту же LLM просят выступить в роли представителя целевой аудитории, чтобы покритиковать и улучшить этот текст.

Ключевой результат: Предоставление LLM релевантного контекста и последующее использование ее же для критики и доработки текста — это эффективный способ создавать более ясный, точный и менее предвзятый контент, особенно при адаптации для специфической аудитории.

Суть метода заключается в переходе от простого одношагового запроса к продуманному двухэтапному процессу, который можно назвать "Контекст + Критика". Это позволяет пользователю выступать в роли режиссера, а не просто зрителя.

Этап 1: Генерация с богатым контекстом (ручной RAG)

Вместо того чтобы сразу просить LLM "Напиши мне X", вы сначала "скармливаете" ей релевантную информацию, которая поможет ей лучше понять задачу. Это похоже на то, как вы бы вводили в курс дела нового сотрудника.

• Что подавать на вход:
  1. Цель и аудитория: Четко опишите, что вы хотите получить и для кого это предназначено.
  2. Внешний контекст: Найдите 1-2 свежие статьи или новости по вашей теме, скопируйте их в чат (или сделайте краткую выжимку) и скажите модели учесть эту информацию. В исследовании для этого использовали API новостей.
  3. Примеры: Найдите 1-2 примера того, что вам нравится (по стилю, структуре). Предоставьте их модели как образец для подражания. В исследовании использовали базу данных качественных вопросов.

После этой "загрузки" контекста вы даете основную команду на генерацию.

Этап 2: Итеративная критика и доработка (Self-Correction)

Получив первый вариант от LLM, вы не принимаете его как финальный. Вы запускаете второй этап, где LLM становится вашим внутренним критиком.

• Как это сделать:
  1. Вы просите LLM "примерить" на себя роль вашей целевой аудитории. Например: "Теперь представь, что ты [занятой менеджер / студент / пенсионер]. Прочитай текст выше. Что в нем непонятно? Что кажется предвзятым или слишком сложным? Предложи, как это исправить."
  2. Модель анализирует свой же текст с новой точки зрения и предлагает улучшения.

Главный вывод для пользователя: Этот метод превращает LLM из простого исполнителя в партнера по созданию контента. Однако исследование также мудро предупреждает: иногда доработка делает текст излишне сложным и "заумным". Поэтому финальное решение, какую версию использовать — первоначальную или доработанную, — всегда остается за человеком.

• Прямая применимость: Высочайшая. Любой пользователь может немедленно применить этот метод в любом чат-боте. Это сводится к двум действиям: 1) перед основным запросом скопировать в чат релевантные тексты и примеры; 2) после получения ответа попросить модель "сыграть роль" целевой аудитории и покритиковать результат. Никаких специальных инструментов не требуется.

• Концептуальная ценность: Огромная. Исследование наглядно учит пользователя двум фундаментальным вещам:

  1. LLM не читает мысли, но отлично использует контекст. Качество ответа напрямую зависит от качества предоставленной информации. Это смещает фокус с "поиска идеальной формулировки" на "подготовку качественного контекста".
  2. LLM может быть инструментом не только генерации, но и оценки. Использование ролевой игры для критики собственного текста — мощнейший прием для выявления слабых мест, которые сам пользователь мог бы и не заметить.

• Потенциал для адаптации: Метод абсолютно универсален. Вместо "создания опросника" его можно адаптировать для любой задачи:

  • Маркетинг: Создание постов для соцсетей с учетом последних трендов (контекст) и их проверка на "понятность для клиента" (критика).
  • Образование: Разработка учебного плана с учетом новых исследований (контекст) и его проверка на "доступность для ученика 8 класса" (критика).
  • HR: Составление описания вакансии с учетом специфики проекта (контекст) и его проверка на "привлекательность для senior-разработчика" (критика).

Ты — опытный маркетолог, специализирующийся на продвижении локальных кофеен.

Твоя задача — создать контент-план из 3 постов для Instagram для новой кофейни "Тихая Гавань".

**ЭТАП 1: КОНТЕКСТ И ГЕНЕРАЦИЯ**

Вот вся необходимая информация для работы:

<КОНТЕКСТ_О_КОФЕЙНЕ>
- Название: "Тихая Гавань"
- Концепция: уютное место для работы и отдыха, с быстрым Wi-Fi, розетками у каждого столика и тихой фоновой музыкой.
- Целевая аудитория: фрилансеры, студенты, удаленные работники.
- Фирменное блюдо: лавандовый раф и круассаны с миндалем.


<АКТУАЛЬНЫЙ_КОНТЕКСТ>
- Сейчас середина октября, на улице холодно и дождливо. Люди ищут теплые и уютные места.
- В соседнем бизнес-центре "Маяк" недавно открылось несколько новых офисов, их сотрудники — потенциальные клиенты.


<ПРИМЕР_УДАЧНОГО_ПОСТА>
"Застрял в офисе, а дедлайн горит? 💻🔥 У нас в @coffeepoint_msk есть все для продуктивной работы: розетки, быстрый интернет и кофе, который вернет к жизни. Приходи работать к нам!"


**Задание:**
На основе всей этой информации, напиши 3 поста для Instagram. Каждый пост должен иметь цепляющий заголовок, основной текст и 3-4 релевантных хештега.

---

**ЭТАП 2: КРИТИКА И ДОРАБОТКА**

После того как ты сгенерируешь посты, выполни следующее:
Представь, что ты — студентка, которая ищет место для подготовки к экзаменам. Прочитай каждый из трех постов и ответь на вопросы:
1.  Понятно ли из поста, что это место подходит для учебы?
2.  Что в тексте можно улучшить, чтобы он стал более привлекательным именно для студента?
3.  Предложи улучшенную версию для каждого поста.

Этот промпт работает за счет точного воспроизведения методологии исследования:

1. Обогащение контекстом (ручной RAG): Вместо простого "напиши посты для кофейни", мы предоставляем модели структурированную информацию в тегах <КОНТЕКСТ_О_КОФЕЙНЕ>, <АКТУАЛЬНЫЙ_КОНТЕКСТ> и <ПРИМЕР_УДАЧНОГО_ПОСТА>. Это "заземляет" модель, заставляя ее генерировать не абстрактный, а целевой и релевантный контент, учитывающий сезонность, ЦА и желаемый стиль.

2. Симуляция "претестинга" (Self-Correction): Вторая часть промпта заставляет LLM не просто выдать результат, а немедленно его проанализировать с точки зрения ключевого сегмента аудитории ("студентка"). Это имитирует этап "pretesting" из исследования. Просьба "предложить улучшенную версию" инициирует цикл доработки, что с высокой вероятностью сделает финальный текст более ясным и убедительным для целевой аудитории.

Ты — опытный HR-специалист, который составляет описания вакансий.

Твоя задача — написать текст вакансии "Менеджер по продукту" для IT-компании "Innovatech".

**ЭТАП 1: КОНТЕКСТ И ГЕНЕРАЦИЯ**

Используй следующую информацию:

<КОНТЕКСТ_О_КОМПАНИИ_И_ПРОДУКТЕ>
- Компания: "Innovatech", разрабатывает SaaS-платформу для управления проектами на основе AI.
- Продукт: "ProjectMind", помогает командам автоматизировать рутинные задачи и прогнозировать сроки выполнения проектов.
- Команда: молодая, динамичная, работает по гибким методологиям (Scrum).


<КОНТЕКСТ_О_ВАКАНСИИ>
- Ищем Middle/Senior Product Manager.
- Ключевая задача: разработка и запуск новой фичи "AI-ассистент для планирования спринтов".
- Требования: опыт в B2B SaaS от 3 лет, опыт работы с AI-продуктами будет большим плюсом, английский Upper-Intermediate.


<ПРИМЕР_СТИЛЯ_ОПИСАНИЯ>
"Мы не ищем просто исполнителя. Мы ищем партнера, который будет гореть продуктом так же, как и мы. Если ты любишь сложные вызовы, готов брать на себя ответственность и хочешь видеть, как твой код меняет жизнь тысяч пользователей — мы ждем твое резюме."


**Задание:**
Напиши полный текст вакансии, включая разделы: "О нас", "Чем предстоит заниматься", "Что мы ожидаем от вас", "Что мы предлагаем".

---

**ЭТАП 2: КРИТИКА И ДОРАБОТКА**

После того как напишешь текст вакансии, сделай следующее:
Представь, что ты — опытный Product Manager, который устал от корпоративной бюрократии и ищет интересные задачи. Прочитай текст вакансии и ответь:
1.  Звучит ли задача (разработка AI-ассистента) достаточно амбициозно и интересно?
2.  Есть ли в тексте "корпоративные клише" или "вода", которые тебя бы оттолкнули?
3.  Предложи, как переформулировать раздел "Чем предстоит заниматься", чтобы он звучал как вызов, а не как рутинный список обязанностей.

Этот промпт эффективен, потому что он применяет ту же двухэтапную логику "Контекст + Критика" к совершенно другой задаче — рекрутингу.

1. Контекстная "накачка": Промпт не просто говорит "напиши вакансию". Он предоставляет детальный контекст о компании, продукте, роли и даже желаемом эмоциональном тоне (<ПРИМЕР_СТИЛЯ_ОПИСАНИЯ>). Это позволяет LLM создать текст, который будет соответствовать культуре компании и специфике вакансии, а не использовать шаблонные фразы.

2. Целевая критика: Второй этап заставляет LLM "влезть в шкуру" идеального кандидата. Просьба оценить амбициозность задачи и выявить "корпоративные клише" — это точная имитация процесса "адаптации" из исследования. Модель вынуждена пересмотреть свой же текст с точки зрения того, что действительно важно для целевой аудитории (интересные задачи, отсутствие бюрократии), и предложить улучшения. Это повышает шансы на то, что финальный текст вакансии привлечет нужных специалистов.