TL;DR
Чем больше текста вы вкладываете в один запрос — тем хуже AI справляется. Это не интуиция, а измеренный факт: успешные решения сложных задач занимают в среднем вдвое меньше токенов, чем неудачные. Модели, которые «поддерживают 128 тысяч токенов», при реальной нагрузке в 64–128k токенов дают 0–7% успеха — против 30% в нормальных условиях.
Причина в том, что у AI есть номинальная длина контекста (сколько текста технически влезает) и рабочая длина контекста (при какой длине AI реально соображает). Разрыв между ними огромный — и большинство пользователей об этом не знает. Когда модель тонет в длинном контексте, она начинает галлюцинировать: придумывает детали, путает разделы, смешивает части задания.
Решение — декомпозиция: разбивай большой запрос на серию коротких, сфокусированных шагов. Не один гигантский промпт со всем материалом, а несколько точных запросов — каждый со своей чёткой задачей. Именно так работают лучшие AI-агенты: не «длинный контекст», а «много коротких шагов».
Схема принципа
ВМЕСТО ЭТОГО:
[Весь материал] + [Всё задание] → один запрос → слабый результат
ДЕЛАЙ ТАК:
ШАГ 1: Передай часть материала → получи промежуточный вывод
ШАГ 2: Передай следующую часть + вывод шага 1 → следующий вывод
ШАГ 3: Собери итог из промежуточных выводов → финальный результат
Каждый шаг — отдельный запрос.
Каждый запрос — сфокусирован на одной задаче.
Пример применения
Задача: Разобрать большой инвестиционный меморандум (50 страниц) и решить — вкладывать ли деньги в стартап. Классический сценарий: хочется вставить всё в ChatGPT и получить ответ «да/нет».
Как делают большинство (и почему это не работает):
Вот меморандум [вставить 50 страниц]. Проанализируй и скажи,
стоит ли инвестировать.
AI «читает» всё, но на 50 страницах начинает путаться в деталях, упускать противоречия, галлюцинировать цифры.
Как работает декомпозиция:
Запрос 1 — только команда и продукт:
Вот раздел о команде и продукте из меморандума:
[страницы 1–10]
Твоя задача: только этот раздел. Выяви:
1. Ключевые сильные стороны команды
2. Ключевые риски команды
3. Насколько продукт решает реальную проблему
Выдай структурированный список. Только то, что есть в тексте.
Запрос 2 — только финансы:
Вот финансовый раздел:
[страницы 11–25]
Твоя задача: только финансы. Найди:
1. Юнит-экономика — сходится или нет
2. Допущения, которые выглядят агрессивно
3. Ключевые риски в финмодели
Запрос 3 — итог:
Вот два анализа, которые ты уже сделал:
[вставить результаты запросов 1 и 2]
Теперь сделай инвестиционное заключение:
стоит ли входить, при каких условиях, какие красные флаги.
Результат: В каждом запросе AI работает с небольшим, управляемым объёмом информации. Итоговый анализ получается точнее, потому что каждый шаг — это сфокусированное задание, а не «разберись сам во всём».
Почему это работает
Слабость AI: Модель генерирует текст последовательно — слово за словом. К концу длинного контекста она «помнит» начало хуже, чем конец. При 64–128 тысячах токенов важный факт из начала документа просто теряет вес в генерации. Результат — AI придумывает детали вместо того, чтобы их находить.
Что AI умеет хорошо: Держать в голове небольшой, чёткий контекст и выдавать точные ответы на конкретные вопросы. Именно поэтому работает аналогия с умным сотрудником: дай ему один документ и одно задание — справится отлично. Дай сто документов и скажи «разберись» — потеряется.
Как декомпозиция использует эту сильную сторону: Каждый запрос — короткий, сфокусированный. AI работает в своей «зоне уверенности» (до 20 тысяч токенов). Промежуточные выводы передаются в следующий шаг уже в сжатом виде. Накопления «мусора» не происходит.
Рычаги управления: - Размер чанка (chunk — кусок текста для одного запроса): уменьши для сложных технических текстов, увеличь для простых нарративных - Промежуточные форматы: попроси AI выдавать промежуточные результаты в виде маркированного списка — так их удобнее вставлять в следующий запрос - Финальный синтез: можно сделать несколько итераций — сначала черновой итог, потом попросить его улучшить с фокусом на конкретный вопрос
Шаблон промпта
# Шаг {номер_шага} из {всего_шагов}
Контекст задачи: {общая_задача}
Твой фокус на этом шаге: {конкретная_подзадача}
Материал для анализа:
{текст_фрагмента}
{если_не_первый_шаг: "Результаты предыдущих шагов:
{предыдущие_выводы}"}
Выдай:
- {что_нужно_получить_1}
- {что_нужно_получить_2}
- {что_нужно_получить_3}
Только то, что есть в материале. Не добавляй то, чего нет.
Что подставлять:
- {общая_задача} — итоговая цель всей цепочки: "инвестиционное решение", "редактура текста", "стратегия продукта"
- {конкретная_подзадача} — что делает именно этот шаг: "анализ финансов", "проверка логики аргументов", "оценка рисков"
- {текст_фрагмента} — только та часть материала, которая нужна на этом шаге
- {что_нужно_получить} — конкретный формат вывода: список рисков, оценка по критериям, резюме
🚀 Быстрый старт — вставь в чат:
Вот шаблон для пошаговой работы с большим материалом.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля и определить сколько шагов нужно.
[вставить шаблон выше]
LLM спросит про общую задачу, как разбить материал на части и что должно быть на выходе каждого шага — потому что без этого она не сможет правильно структурировать цепочку.
Ограничения
⚠️ Не панацея для коротких задач: Декомпозиция создаёт накладные расходы. Для простых запросов на 1–2 страницы текста — лишний шаг без выгоды.
⚠️ Нелинейные задачи: Если фрагменты текста сильно взаимосвязаны и нельзя понять часть без целого — декомпозиция сложнее. Нужна дополнительная передача контекста между шагами.
⚠️ Иллюзия «большой контекст = умнее»: Почти все современные LLM, включая топовые, падают при реально длинных контекстах. Это системная проблема архитектуры, а не конкретной модели. Маркетинговые «128k токенов» — не обещание качества на этой длине.
⚠️ Длинный ответ AI = сигнал тревоги: Когда AI выдаёт очень длинный, развёрнутый ответ на сложную задачу — это чаще признак того, что он запутался, а не того, что мыслит глубоко. Исследование показало: у неудачных попыток токенов вдвое больше, чем у успешных.
Как исследовали
Команда из SambaNova Systems поставила честный эксперимент: взяла одни и те же задачи (отладка реального кода из GitHub) и прогнала их через два разных режима. Первый режим — агентный: AI сам решает, что запрашивать, делает несколько коротких шагов, накапливает историю диалога. Второй режим — один большой запрос: все нужные файлы загружены сразу, AI должен выдать решение за один раз.
Хитрость второго режима: исследователи убрали проблему поиска нужных файлов — они сами положили в контекст всё необходимое. То есть модели дали «идеальные условия» для длинного контекста. Оказалось, это не помогло — при 64 тысячах токенов одна модель решила 7% задач, другая — 0%. В агентном режиме те же модели давали 15–30%.
Параллельно исследователи замерили длину токенов в успешных и неудачных агентных сессиях. Вывод оказался неожиданным: неудачные сессии длиннее успешных в среднем вдвое (8.5k токенов в успешных vs 15.5k в неудачных для DeepSeek R1). Это перевернуло привычную логику — не «чем больше анализа, тем лучше», а ровно наоборот.
Ресурсы
The Limits of Long-Context Reasoning in Automated Bug Fixing — препринт, на рецензии.
Авторы: Ravi Raju, Mengmeng Ji, Shubhangi Upasani, Bo Li, Urmish Thakker — SambaNova Systems, Сан-Хосе, США.
Бенчмарк: SWE-bench Verified Связанная работа: LongCodeBench / LongSWE-Bench
Адаптации и экстраполяции
💡 Адаптация для длинных рабочих переписок: Если тебе нужно проанализировать переписку с клиентом за месяц или историю переговоров — не вставляй всё сразу. Раздели по неделям или по темам. В каждом запросе — один период, одна задача.
Вот переписка за [период].
Задача этого шага: найти все обещания, которые дала наша сторона.
Выдай нумерованный список: что обещали, когда, кому.
Только то, что прямо написано в тексте.
🔧 Техника: добавь явный «контрольный вопрос» в финальный шаг
Исследование показало, что одна из главных ошибок AI в длинном контексте — обращение к деталям, которых нет в материале (галлюцинация). Это можно частично купировать:
После анализа ответь на контрольный вопрос:
"Есть ли в моих выводах утверждения, которых нет в исходном тексте?"
Если есть — убери их и обозначь это явно.
💡 Адаптация принципа "меньше = лучше" для написания текстов:
Если просишь AI написать длинный текст (статью, отчёт, коммерческое предложение) — не проси его сразу написать всё. Попроси сначала структуру, потом каждый раздел отдельно. Качество каждого блока будет выше, чем у «напиши сразу всё на 3000 слов».