TL;DR
Разные вопросы плохо решаются одним промптом. Ответ "да/нет" требует стабильности при конфликтующих источниках. Точный факт требует правильной формулировки. Полный список требует одновременно не упустить нужное и не добавить лишнее. Исследователи из Korea University систематически проверили, какая стратегия работает для каждого типа — и получили победу в одной из категорий международного соревнования по биомедицинскому QA.
Главная находка: LLM плохо составляет полные списки в один проход. Модель либо галлюцинирует связанные, но неправильные пункты, либо пропускает правильные, которые упоминались только вскользь. Причина — в одном запросе модель одновременно изучает источники, генерирует кандидатов и оценивает их. Это слишком много задач сразу.
Решение — 4-агентный пайплайн для списков: сначала агент-аналитик сканирует источники и структурирует улики без вынесения финального ответа. Затем агент-рассуждатель генерирует кандидатов. Агент-верификатор проверяет каждый пункт на обоснованность. Финально агент-супервайзер принимает или корректирует список. Четыре последовательных шага в одном чате.
Схема метода
Шаг 1 — Evidence Analyst Agent
Сканирует источники → структурированный отчёт:
[релевантные фрагменты / нерелевантные / спорные]
❗ Без финального ответа на этом шаге
Шаг 2 — Reasoning Agent
Получает отчёт + оригинальные источники → список кандидатов
Параллельно: повторно читает источники самостоятельно (страховка от пропусков)
Шаг 3 — Verification Agent
Проверяет каждый пункт списка:
→ Подтверждён ли источниками?
→ Нет ли дублей / синонимов?
→ Нет ли пропущенных пунктов?
Вывод: аудиторский отчёт с замечаниями
Шаг 4 — Supervisor Agent
Читает все три отчёта → принимает список или корректирует,
опираясь на оригинальные источники
Вывод: финальный проверенный список
Все 4 шага — в одном чате, последовательными запросами
(или в одном большом промпте с ролями)
Пример применения
Задача: Предприниматель хочет открыть магазин на Wildberries. Нужен полный список требований к карточке товара чтобы алгоритмы WB продвигали товар в топ. Пропустить пункт = деньги на ветер.
Промпт:
У меня есть набор источников про продвижение на Wildberries.
Я хочу составить ПОЛНЫЙ список требований к карточке товара для продвижения в топ.
Сработай последовательно в 4 ролях.
---
[РОЛЬ 1: АНАЛИТИК ИСТОЧНИКОВ]
Просканируй все источники ниже. Без финального ответа.
Составь структурированный отчёт:
- Фрагменты с высокой релевантностью (прямо про требования к карточке)
- Фрагменты с низкой релевантностью (косвенно)
- Противоречия и неясности между источниками
Выведи: ОТЧЁТ АНАЛИТИКА
---
[РОЛЬ 2: АГЕНТ-СОСТАВИТЕЛЬ]
Используй ОТЧЁТ АНАЛИТИКА + исходные источники.
Составь список кандидатов — всё что может быть требованием к карточке.
Затем ПОВТОРНО прочитай исходные источники самостоятельно — добавь всё что мог пропустить.
Выведи: СПИСОК КАНДИДАТОВ (без фильтрации)
---
[РОЛЬ 3: АГЕНТ-ВЕРИФИКАТОР]
Проверь каждый пункт из СПИСОК КАНДИДАТОВ:
✓ Подтверждён ли конкретным фрагментом из источника?
✓ Не дублирует ли другой пункт (другими словами)?
✓ Нет ли пункта из источников, который пропустили?
Выведи: АУДИТ с комментариями по каждому пункту
---
[РОЛЬ 4: СУПЕРВАЙЗЕР]
Прочитай ОТЧЁТ АНАЛИТИКА + СПИСОК КАНДИДАТОВ + АУДИТ.
Прими финальное решение: какие пункты оставить, что убрать, что добавить.
Опирайся на оригинальные источники — не добавляй ничего без подтверждения.
Выведи: ФИНАЛЬНЫЙ СПИСОК ТРЕБОВАНИЙ
---
ИСТОЧНИКИ:
{вставь сюда тексты / скопированные статьи / документацию WB}
Результат: Модель последовательно выведет 4 блока. Финальный список будет отфильтрован от галлюцинаций (каждый пункт подтверждён источником) и проверен на полноту (агент-составитель читал источники дважды). Ты увидишь весь ход рассуждений — какие пункты вызвали сомнения и почему.
Почему это работает
LLM плохо удерживает два требования одновременно. Когда ты просишь "составь полный список", модель балансирует между точностью и полнотой. Если пережать на точность — пропустит редкие пункты. Если пережать на полноту — добавит правдоподобные, но непроверенные.
Разделение ролей убирает этот конфликт. Аналитик не несёт ответственности за финальный список — он просто сортирует. Составитель не проверяет — он генерирует агрессивно. Верификатор не генерирует — он критикует. Каждый агент делает одну задачу без компромиссов.
Рычаги управления: - Агрессивность составителя — добавь "лучше включить лишнее, чем пропустить нужное" → больший охват, больше работы для верификатора - Строгость верификатора — добавь "удаляй пункт если нет точной цитаты из источника" → меньший список, но только подтверждённые пункты - Число проходов — попроси Supervisor вернуть список обратно к Verification Agent → ещё один круг проверки для критичных задач
Шаблон промпта
Я хочу составить ПОЛНЫЙ список {цель_списка} на основе источников ниже.
Сработай последовательно в 4 ролях:
[РОЛЬ 1: АНАЛИТИК]
Просканируй источники. Без финального ответа.
Составь отчёт: релевантные / нерелевантные фрагменты / противоречия.
→ ОТЧЁТ АНАЛИТИКА
[РОЛЬ 2: СОСТАВИТЕЛЬ]
Используй ОТЧЁТ АНАЛИТИКА + исходные источники.
Составь список всех кандидатов для {цель_списка}.
Затем повторно прочитай источники — добавь пропущенное.
→ СПИСОК КАНДИДАТОВ
[РОЛЬ 3: ВЕРИФИКАТОР]
Проверь каждый пункт СПИСОК КАНДИДАТОВ:
- Подтверждён ли источником?
- Нет ли дублей?
- Нет ли пропущенных пунктов из источников?
→ АУДИТ с комментариями
[РОЛЬ 4: СУПЕРВАЙЗЕР]
Прочитай все три отчёта.
Прими финальное решение по списку — только подтверждённые пункты.
→ ФИНАЛЬНЫЙ СПИСОК
ИСТОЧНИКИ:
{вставь источники}
Плейсхолдеры:
- {цель_списка} — что перечисляем: "рисков запуска", "требований к карточке", "конкурентов в нише", "вопросов для интервью"
- {вставь источники} — любые тексты: статьи, документация, форумы, транскрипты
🚀 Быстрый старт — вставь в чат:
Вот шаблон 4-агентного метода для составления полных списков.
Адаптируй под мою задачу: {опиши свою задачу}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какую цель списка ставить и какие источники подать — потому что без этого она не сможет правильно настроить роль Верификатора (критерий "подтверждён источником" требует конкретных документов).
Почему это работает (механика)
Второй принцип из исследования — перемешивание источников при нестабильных ответах.
LLM чувствительна к порядку текста. Если нужный фрагмент стоит в середине длинного контекста — модель его недооценивает (это известный эффект "lost in the middle"). Исследователи проверяли одни и те же вопросы с разными порядками сниппетов — ответы менялись.
Простой трюк: если получаешь нестабильный ответ — переставь абзацы/источники местами и спроси снова. Три раза с разным порядком → возьми ответ, который повторился дважды.
Ограничения
⚠️ Для коротких задач избыточно: Четыре агента для простого вопроса — перегрев. Метод оправдан когда важна полнота: due diligence, требования, риски, конкуренты.
⚠️ Без источников не работает: Верификатор проверяет пункты против источников. Если источников нет — пайплайн теряет ключевое преимущество (грамотный список, но без гарантий).
⚠️ Голосование между моделями — только с API: Авторы прогоняли вопрос через 4-6 разных LLM и брали пересечение ответов. В обычном чате это недоступно — нужно либо использовать разные чаты вручную, либо принять что работаем с одной моделью.
⚠️ Метод исследовался на узком домене: BioASQ — биомедицинские вопросы со строгой проверкой точных формулировок. Для открытых, субъективных задач (оцени качество идеи) метод не тестировался.
Как исследовали
Команда из Korea University участвовала в соревновании BioASQ 14b — это ежегодный международный чемпионат по автоматическому ответу на биомедицинские вопросы. Задача: дать точный ответ по пакету научных статей. Правильные ответы проверяли эксперты.
Интересный дизайн: сначала всё тестировали на данных прошлого года (BioASQ 13b), выбирали лучшие стратегии, а потом применяли только победившие методы на реальном соревновании 2026 года. Никакого подгона под ответы — честная двухэтапная проверка.
Проверяли более 10 комбинаций стратегий для каждого типа вопросов: разные модели (GPT-4o, GPT-5, Claude, Gemini), разные объёмы контекста, с примерами и без, агентные vs. прямые. Самый интересный результат: для списков агентный пайплайн выиграл у всего остального с заметным отрывом. GPT-5.2 с 4-агентным пайплайном дал F-меру 0.556 против 0.408 у простого "дай все источники и ответь". Прирост ~36% — за счёт только смены архитектуры промпта, без смены модели.
В итоге система заняла первое место в Batch 4 по factoid-вопросам (метрика MRR) в официальном соревновании.
Адаптации и экстраполяции
🔧 Техника: Условная эскалация → сначала простое, потом сложное
Авторы не запускали 4-агентный пайплайн на каждый вопрос. Если все модели согласны — берут простое большинство. Агентов подключают только при конфликте.
Применение в чате: сначала попроси прямой ответ. Если сомневаешься в полноте — запусти пайплайн. Экономия токенов и времени, когда задача несложная.
🔧 Техника: Разные стратегии для разных типов твоих задач
Принцип "один промпт ≠ универсальный" работает за пределами биомедицины. Разные типы рабочих задач требуют разных подходов:
Тип задачи Стратегия Да/нет решение Переформулируй несколько раз + перемешай источники Точный факт CoT + примеры похожих вопросов Полный список 4-агентный пайплайн Анализ/суждение Дебаты двух агентов
Ресурсы
Работа: From Voting to Agent Collaboration: Answer-Type-Aware LLM Pipelines for BioASQ 14b
Авторы: Taeyun Roh, Eunha Lee, Wonjune Jang, Sohyun Chung, Junha Jung, Jaewoo Kang
Организации: Korea University (Department of Computer Science and Engineering), Myongji University, AIGEN Sciences
Конференция: CLEF 2026 Working Notes
BioASQ Challenge: bioasq.org