Chain of Summaries (CoS): итеративное саммари через самопроверку вопросами

ШАГ 1: Начальное саммари          → краткое изложение документа
         ↓
ШАГ 2: Генерация вопросов         → 5-10 вопросов к ОРИГИНАЛУ (не к саммари)
         ↓
ШАГ 3: Проверка                   → можно ли ответить по саммари?
         ↓
ШАГ 4: Дополнение                 → добавить в саммари инфу для неотвеченных вопросов
         ↓
      [Повторить шаги 2-4: 5-10 раз]
         ↓
ФИНАЛ: Информационно плотное саммари

Каждый шаг — отдельный запрос к LLM. Полный цикл: 20-40 запросов (но токены короткие).

Задача: Подготовить договор аренды (15 страниц) для быстрых консультаций с Claude — чтобы потом задавать вопросы и получать точные ответы без перечитывания всего документа.

Промпт (Шаг 1 — начальное саммари):

Вот договор аренды. Создай информационно плотное саммари — все ключевые условия, сроки, суммы, обязанности сторон. Цель: по этому саммари можно будет отвечать на любые вопросы по договору.

[текст договора]

Промпт (Шаг 2 — генерация вопросов):

Вот оригинал договора. Сгенерируй 5 разнообразных вопросов, на которые важно уметь ответить по этому документу. Формат:
Q: [вопрос]
A: [короткий ответ — слово или фраза]

[текст договора]

Промпт (Шаг 3 — проверка):

Вот саммари договора. Попробуй ответить на вопросы ТОЛЬКО на основе саммари. Если ответа нет — напиши "нет в саммари".

Саммари: [текущее саммари]

Вопросы:
[список вопросов из шага 2]

Промпт (Шаг 4 — дополнение):

Улучши саммари, чтобы оно содержало информацию для ответа на эти вопросы. Сохрани всё важное из текущей версии.

Оригинал договора: [текст]
Текущее саммари: [саммари]
Вопросы без ответа: [неотвеченные вопросы]

Результат: После 3-5 циклов получится саммари на 200-400 слов, которое покрывает: стоимость, сроки, условия расторжения, штрафы, обязанности по ремонту, порядок продления. По этому саммари можно задавать вопросы и получать точные ответы — без загрузки всего договора в каждый запрос.

Слабость LLM: "Проклятие середины" — модели плохо используют информацию из середины длинного контекста. При 11,000 токенах факты в середине документа часто игнорируются. Плюс стандартное саммари оптимизировано на "краткость", а не на "полезность для ответов".

Сильная сторона LLM: Модели отлично генерируют вопросы к тексту и проверяют, содержится ли ответ в фрагменте. Это более чёткая задача, чем абстрактное "выдели главное".

Как метод соединяет: Вместо субъективного "что важно" — объективный критерий: можешь ли ты ответить на вопрос? Каждая итерация находит пробел (вопрос без ответа) и закрывает его. Саммари эволюционирует под давлением конкретных информационных запросов.

Рычаги управления:

• Количество итераций (5-10) — больше = плотнее, но diminishing returns после 10
• Вопросов на итерацию (1-2 лучше чем 10) — постепенное улучшение работает лучше массового
• Тип вопросов — можно направлять: "вопросы о сроках", "вопросы о деньгах" — для фокуса на нужных аспектах

Создай информационно плотное саммари документа. Цель: по саммари можно отвечать на вопросы без обращения к оригиналу.

Документ:
{текст_документа}

Сгенерируй {количество_вопросов} разнообразных вопросов к документу. Вопросы должны покрывать важную информацию. Ответы — короткие (слово или фраза).

Формат:
Q: [вопрос]
A: [короткий ответ]

Документ:
{текст_документа}

Ответь на вопросы ТОЛЬКО на основе саммари. Если ответа нет — напиши "нет в саммари".

Саммари:
{текущее_саммари}

Вопросы:
{список_вопросов}

Улучши саммари, добавив информацию для ответа на неотвеченные вопросы. Сохрани важное из текущей версии. Держи саммари коротким.

Оригинал: {текст_документа}
Текущее саммари: {саммари}
Неотвеченные вопросы: {вопросы_без_ответа}

Верни: Обновлённое саммари:

Плейсхолдеры:

• {текст_документа} — полный текст для саммаризации
• {количество_вопросов} — 3-5 для итерации
• {текущее_саммари} — результат предыдущего шага
• {список_вопросов} — Q&A из шага 2
• {вопросы_без_ответа} — те, на которые саммари не ответило

🚀 Быстрый старт — вставь в чат:

Я хочу создать информационно плотное саммари документа методом Chain of Summaries. 

Метод: итеративно улучшать саммари через цикл "вопросы → проверка → дополнение".

Вот документ: [вставить документ]

Проведи меня через 5 итераций:
1. Создай начальное саммари
2. Сгенерируй 3 вопроса к оригиналу
3. Проверь, отвечает ли саммари
4. Дополни недостающим
5. Повтори шаги 2-4 ещё 4 раза

После каждой итерации покажи текущее саммари и какие пробелы закрыты.

LLM возьмёт документ и проведёт полный цикл — покажет эволюцию саммари от первой до финальной версии.

⚠️ Много запросов: Полный цикл — 20-40 обращений к LLM. Для разовой задачи проще сделать одно хорошее саммари. CoS окупается когда саммари будет использоваться многократно.

⚠️ Фактологический контент: Метод оптимизирован под Q&A — хорошо работает для договоров, инструкций, технической документации. Хуже для нарративов и художественных текстов, где "главное" — не факты.

⚠️ Нужен оригинал: На каждой итерации требуется доступ к полному документу для генерации вопросов и проверки. Нельзя улучшать саммари "вслепую".

⚠️ TruthfulQA хуже: На датасете с нюансированными утверждениями (не чистые факты) метод показывает меньший прирост — ROUGE-L 14.77 vs 8.89, но это всё ещё +66%.

Команда проверила CoS на трёх Q&A датасетах: TriviaQA (фактологические вопросы), TruthfulQA (проверка на правдивость), SQuAD (извлечение ответов из контекста). Тестировали три модели: GPT-4o-mini, Llama-3.2:3B, Qwen-2.5:7B — от коммерческой до локальных.

Главный вопрос: можно ли по саммари отвечать на вопросы лучше, чем по полному документу? Оказалось — да. На TriviaQA с GPT-4o-mini: CoS-саммари дало 0.80 F1, полный документ — 0.76. При этом саммари занимает 170 токенов vs 11,000 у оригинала. Это контринтуитивно: меньше информации → лучше результат. Причина — "проклятие середины" устраняется.

Интересная находка про гиперпараметры: 10 итераций по 1 вопросу стабильно лучше 1 итерации с 50 вопросами (0.64 vs 0.49 F1 для Llama). Постепенное улучшение работает лучше массовой правки. Также проверили синтетические vs человеческие вопросы — разницы почти нет (+0.07 vs +0.05), что делает метод применимым без готовых Q&A пар.

Попытка сжать многошаговый процесс в одну модель (fine-tuning маленького Qwen через GRPO) дала результат хуже: 0.74 vs 0.80. Итеративность — необходима, её нельзя заменить обучением.

Промпт для генерации вопросов:

Generate {number_of_questions} diverse and specific questions in Q: format based on the content. Do not include question numbers. Each question should target important information from the text. Each answer should be concise (word or short phrase) and directly address the question.

Ensure answers are brief (a word or short phrase, not a full sentence) and factually accurate based on the text. Format should be:
Q: 
A: 

Промпт для дополнения саммари:

You are an expert text summarizer. Your task is to refine an existing summary to address specific user questions.
Rules:
- Include information that directly answers the user's questions
- Preserve relevant key points from the original summary
- Return the original summary unchanged if it already contains all necessary information
- Return the original summary if the questions are not relevant to the text
- Keep the summary short and concise
- Don't include questions in the summary.
- Every time start with: Updated Summary:

Knowledge Base Passage: {passage}
Existing Summary: {existing_summary}
Questions to Address: {antithesis_questions}
Provide an updated summary addressing the questions while maintaining the informational content of the original summary.

Контекст: Эти промпты использовались для автоматизации цикла в экспериментах. В ручном режиме можно упростить формулировки.

Если работаешь с LLM над проектом и регулярно загружаешь одни и те же документы (регламенты, ТЗ, исследования) — прогони их через CoS один раз. Получишь компактные "карточки", которые занимают меньше контекста и дают лучшие ответы.

У меня есть 5 документов, которые я часто использую в работе с тобой:
1. [название] — [краткое описание]
2. ...

Для каждого создай CoS-саммари (3 итерации). Результат сохрани как "База знаний проекта X". В будущих разговорах я буду вставлять эту базу вместо полных документов.

Вместо "сгенерируй любые вопросы" — направь на нужный аспект:

Сгенерируй 5 вопросов к документу, фокусируясь на:
- Финансовые условия и штрафы
- Сроки и дедлайны
- Ответственность сторон

Это даст саммари, оптимизированное под твои типичные запросы.

Для быстрого применения без 10 итераций:

1. Создай саммари документа
2. Придумай 5 каверзных вопросов, на которые саммари может НЕ ответить
3. Проверь и дополни саммари одним проходом

[документ]

Не даёт максимального качества, но ловит основные пробелы за один запрос.

Работа: "Chain of Summaries: Summarization Through Iterative Questioning"

Авторы: William Brach (Slovak Technical University), Lukas Galke (University of Southern Denmark)

Датасеты: TriviaQA, TruthfulQA, SQuAD v1.1

Связанные методы: SELF-REFINE (итеративное улучшение), SummIt (саммаризация + самооценка), диалектический метод Гегеля