SEA (Structured Evidence Assessment): явный анализ пробелов для сложных запросов

ШАГ 1: Декомпозиция запроса
LLM разбивает сложный вопрос на 2-4 независимых подвопроса → набор подзапросов

ШАГ 2: Поиск и фильтрация (итерация 1)
По каждому подзапросу найти информацию → собрать доказательства

ШАГ 3: SEA — анализ пробелов
LLM как Strategic Intelligence Analyst:
- Чеклист Required Findings (что нужно)
- Проверка Confirmed Findings (что есть)
- Список Remaining Gaps (чего нет)
→ Решение: "Достаточно" (Yes) или "Не хватает" (No) + что именно

ШАГ 4: Если "No" — уточняющие вопросы
Генерация новых точечных запросов ТОЛЬКО для пробелов → вернуться к Шагу 2

ШАГ 5: Если "Yes" — финальный ответ
Строго на основе собранных доказательств, с цитированием источников

Цикл Шаг 2-4 повторяется максимум 3 раза

⚠️ Ограничения метода: SEA работает для многошаговых аналитических задач, где нужно собрать факты из разных мест и свести их воедино. Не подходит для простых фактических вопросов ("столица Франции") и креативных задач.

Задача: Ты запускаешь онлайн-школу английского для IT-специалистов. Нужно понять: какие успешные EdTech-стартапы в России делали похожее, как они привлекали первых клиентов, и что из их опыта можно применить к твоей нише?

Промпт (итерация 1):

Мне нужно исследовать успешные EdTech-стартапы в России, которые работали с узкими профессиональными нишами.

Разбей этот вопрос на 2-3 подвопроса для поиска информации:
- Какие EdTech-проекты в России были успешны в нишевом B2C обучении
- Как они привлекали первых платящих клиентов
- Что из их стратегий можно применить к онлайн-школе английского для айтишников

Теперь найди информацию по этим подвопросам. Затем выступи в роли Strategic Intelligence Analyst:

1. Required Findings — что я хочу узнать (чеклист фактов)
2. Confirmed Findings — что ты уже нашёл из Required
3. Remaining Gaps — что осталось неизвестным

Если есть Remaining Gaps — скажи "NO, нужны уточнения" и перечисли пробелы.
Если все Required Findings подтверждены — скажи "YES, достаточно".

Результат: Модель выдаст первичный поиск (например, найдёт Skyeng, Нетологию, Skillbox), затем структурированный анализ:

• Required Findings: примеры нишевых EdTech / их каналы привлечения / применимость к английскому для IT
• Confirmed Findings: названия стартапов, общие стратегии
• Remaining Gaps: конкретные цифры первых клиентов, детали запуска именно языковых школ

Модель ответит: "NO, нужны уточнения. Пробел: точные механики привлечения первых 100 клиентов в языковых EdTech."

Промпт (итерация 2 — уточнение пробелов):

Ты выявил пробелы:
- Точные механики привлечения первых 100 клиентов в языковых EdTech

Теперь найди информацию ТОЛЬКО по этим пробелам. Сфокусируйся на кейсах Skyeng или других языковых онлайн-школ в России на старте.

Снова примени SEA:
1. Required Findings (те же что и раньше)
2. Confirmed Findings (всё что известно СЕЙЧАС, включая данные из прошлой итерации)
3. Remaining Gaps (что ещё нужно)

Если пробелов нет — YES, дай финальный синтез.

Результат: Модель найдёт кейсы раннего Skyeng (контекстная реклама, бесплатные пробные уроки, партнёрства с IT-сообществами), добавит в Confirmed Findings, проверит чеклист. Если всё закрыто — выдаст: "YES, достаточно" и даст финальный ответ с конкретными стратегиями и цифрами, применимыми к твоей школе английского для айтишников.

LLM хороши в локальной генерации — ответить на конкретный вопрос. Но плохи в отслеживании многошаговой полноты — помнить все части сложного запроса и проверять что ничего не упущено. Без явной структуры модель может увлечься одной веткой (например, подробно расскажет про Skyeng) и забыть про вторую (применимость к твоей нише).

LLM отлично работают как ролевые исполнители с чёткими инструкциями. Роль Strategic Intelligence Analyst с форматом "Required → Confirmed → Gaps" даёт модели явную процедуру мышления. Она не может "забыть" часть вопроса, потому что чеклист Required Findings всё время перед ней.

SEA использует силу LLM (следовать ролевым инструкциям и структурировать информацию) для компенсации слабости (отслеживание полноты многошаговых задач). Чеклист превращает абстрактную проверку "достаточно ли информации" в конкретный список "что есть, чего нет" — это и есть ключевой инсайт метода.

Рычаги управления:

• Число итераций (1-3): для простых задач хватит одной, для глубокого исследования используй 3. Больше 3 — снижается качество из-за накопления шума.
• Детализация Required Findings: можешь задать в первом промпте явный список того, что хочешь узнать, или позволить LLM самой разложить вопрос.
• Строгость проверки: добавь инструкцию "считай пробелом даже частичное отсутствие данных" для более тщательного поиска.
• Формат Gaps: можешь попросить ранжировать пробелы по важности, чтобы на следующей итерации искать только критичные.

Мне нужно {описание сложной задачи, требующей нескольких фактов/источников}.

Шаг 1: Разложи задачу на 2-4 ключевых подвопроса для поиска информации.

Шаг 2: Найди информацию по этим подвопросам.

Шаг 3: Выступи в роли Strategic Intelligence Analyst. Проведи Structured Evidence Assessment (SEA):

1. **Required Findings** — чеклист: что нужно узнать, чтобы ответить на мою задачу
2. **Confirmed Findings** — что из Required уже подтверждено найденными доказательствами
3. **Remaining Gaps** — какие пункты из Required остались неизвестными

Если есть Remaining Gaps — ответь "NO" и перечисли пробелы.
Если все Required подтверждены — ответь "YES".

[Если ответ NO — продолжаешь:]

Шаг 4: Теперь найди информацию ТОЛЬКО по выявленным пробелам: {пробелы из прошлого шага}.

Шаг 5: Снова примени SEA с тем же чеклистом Required Findings. Добавь новые данные в Confirmed Findings.

Повтори Шаг 4-5 максимум 2 раза.

[Когда ответ YES:]

Шаг 6: Дай финальный ответ СТРОГО на основе Confirmed Findings. Каждый факт подкрепи ссылкой на источник.

Что подставлять:

• {описание сложной задачи} — твой многошаговый вопрос (сравнение, анализ, исследование)
• {пробелы} — список Remaining Gaps из предыдущей итерации SEA

🚀 Быстрый старт — вставь в чат:

Вот шаблон SEA для сложных многошаговых задач. Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы правильно заполнить Required Findings.

[вставить шаблон выше]

LLM спросит детали твоей задачи и сама сформирует чеклист Required Findings под твой запрос. Она возьмёт ролевой паттерн Strategic Intelligence Analyst и структуру "Required → Confirmed → Gaps" из шаблона и применит к твоему кейсу.

⚠️ Многошаговость — барьер входа: Метод требует 2-3 итерации взаимодействия с LLM. Если нужен быстрый ответ на простой вопрос — SEA избыточен. Используй для задач, где точность важнее скорости.

⚠️ Качество чеклиста зависит от модели: Слабые модели могут составить неполный или размытый список Required Findings. Для SEA лучше использовать топовые модели (GPT-4, Claude Opus, Gemini Pro).

⚠️ Не для креатива: SEA — это про полноту фактов, не про генерацию идей. Для мозгоштурмов, сторителлинга, копирайтинга метод не подходит.

Команда создала FAIR-RAG — полноценный RAG-пайплайн с кодом, векторными базами и API. Проверили на 4 бенчмарках (HotpotQA, 2WikiMultiHopQA, MusiQue, TriviaQA) по 1000 вопросов в каждом. Сравнивали с 7 сильными baseline'ами: стандартный RAG, Iter-Retgen, Self-RAG, Adaptive-RAG и другие.

Ключевой инсайт: SEA с явным gap analysis оказался критически важен именно на многошаговых задачах. На HotpotQA FAIR-RAG набрал F1 = 0.453 против 0.370 у лучшего baseline (Iter-Retgen) — рост на 8.3 пункта. Это огромный скачок для таких бенчмарков.

Почему такой результат? Исследователи обнаружили: методы без явного анализа пробелов (например, Iter-Retgen просто использует весь предыдущий ответ для нового поиска) либо повторяют уже известное, либо уходят в сторону. SEA с чеклистом заставляет модель точечно искать именно недостающие факты, не тратя итерации на шум.

Важное наблюдение: оптимум — 2-3 итерации. Первая итерация даёт базу, вторая закрывает основные пробелы, третья — тонкая доводка. Четвёртая уже ухудшает результат — накапливается нерелевантная информация. На TriviaQA (простые вопросы) любая итерация после первой только вредит — подтверждение, что SEA для сложных задач, не для фактоида.

Провели компонентный анализ: SEA показала точность 72% на HotpotQA, 82-83% на MusiQue и 2WikiMultiHopQA в определении достаточности доказательств. Это high-stakes решение (продолжать поиск или нет), и модель справляется надёжно именно там, где это критично — на многошаговых задачах.

Контекст: Исследователи использовали LLM в роли Strategic Intelligence Analyst для модуля SEA. Вот пример промпта из оригинала:

You are a Strategic Intelligence Analyst.

Your mission is to determine if the provided evidence is sufficient to answer the user's query comprehensively and accurately.

Follow this structured thinking process:

1. **Deconstruct the Query**: Break down the user's question into a checklist of discrete, required informational components or "findings."

2. **Audit the Evidence**: Systematically evaluate the collected evidence against your checklist.
 - **Confirmed Findings**: Which required components are explicitly supported by the evidence?
 - **Remaining Gaps**: Which required components are NOT addressed or only partially addressed?

3. **Sufficiency Decision**:
 - If ALL required findings are confirmed by the evidence → "Yes"
 - If ANY required finding remains a gap → "No"

You MUST output your assessment in this EXACT format:

**Required Findings:**
[Numbered list of informational components needed]

**Confirmed Findings:**
[Numbered list of findings confirmed by evidence]

**Remaining Gaps:**
[Numbered list of findings NOT confirmed]

**Is Sufficient:** [Yes/No]

Be rigorous. Do not assume. If a finding is not explicitly supported, it is a gap.

💡 Адаптация для самопроверки аргументации:

Используй SEA-чеклист для проверки собственных текстов или презентаций. Вместо поиска внешних доказательств — проверяешь полноту своих аргументов.

Вот моя статья/питч: {текст}

Выступи как Strategic Intelligence Analyst.

Required Findings — что должно быть в тексте, чтобы читатель был убеждён:
- Проблема чётко сформулирована
- Решение конкретное
- Доказательства жизнеспособности
- Призыв к действию

Confirmed Findings — что из этого есть в тексте
Remaining Gaps — чего не хватает

Если Gaps не пусты — предложи как усилить текст.

🔧 Техника: Прозрачность процесса → доверие к результату

Добавь в промпт: "Показывай промежуточные итерации SEA — весь чеклист, пробелы, новые запросы". Это помогает:

• Видеть ход мысли LLM
• Отлавливать ошибки на ранних этапах
• Учиться самому структурировать сложные запросы

💡 Комбинация: SEA + персонажи вместо безликого аналитика

Вместо абстрактного Strategic Intelligence Analyst назначь конкретные роли с разными фокусами:

Iterация 1:
Ты — Оптимистичный Маркетолог. Найди доказательства ВОЗМОЖНОСТЕЙ рынка EdTech для английского IT-специалистам.

SEA-чеклист: объём рынка, платёжеспособность, конкуренция
→ Remaining Gaps: данные по retention в нишевых школах

Iterация 2:
Ты — Скептичный CFO. Найди доказательства РИСКОВ: почему может не взлететь.

SEA-чеклист: барьеры входа, unit-экономика, churn rate
→ Добавь к Confirmed Findings из итерации 1

Итог: Полная картина возможностей И рисков.

Персонажи с чёткими ролями дают более острую критику и разные углы зрения. SEA-структура не даёт потерять фокус.

FAIR-RAG: Faithful Adaptive Iterative Refinement for Retrieval-Augmented Generation

Авторы: Mohammad Aghajani Asl (Sharif University of Technology), Majid Asgari-Bidhendi (Iran University of Science and Technology), Behrooz Minaei-Bidgoli (Iran University of Science and Technology)