3,583 papers
arXiv:2608.24842 78 25 авг. 2026 г. FREE

Retrieval-Integration Gap: почему LLM находит факт в документе, но не использует его в решении

КЛЮЧЕВАЯ СУТЬ
Обнаружено: LLM цитирует нужный пункт из документа на 128 тысяч токенов идеально точно, но в финальном решении этот же факт как будто испаряется — модель его нашла, но не применила. Метод выноса ключевого факта позволяет заставить модель учитывать критичные детали (условия сделки, риски, пороги ковенантов) в итоговом выводе, а не только в ответе на прямой вопрос про этот факт. Фишка: не копировать фрагмент текста, а пересказать его своими словами в 2-3 предложения и положить прямо перед вопросом-решением — тогда факт из сжатого резюме, которое модель держит в голове, превращается в то, что она реально видит перед собой.
Адаптировать под запрос

TL;DR

Модель может идеально процитировать конкретный пункт из огромного документа, но при этом полностью проигнорировать его, когда принимает финальное решение на основе этого документа. Это два разных навыка — найти информацию и использовать её, — и они расходятся по мере роста объёма текста вокруг важного факта.

Представь: просишь LLM прочитать 100-страничный отчёт компании и дать рекомендацию — покупать акции или нет. Спроси её прямо: "какой там порог по кредитному ковенанту?" — она процитирует точно, даже если документ на 128 тысяч токенов. Но попроси финальную рекомендацию с учётом всего документа — и этот критичный пункт как будто исчезает, решение выглядит так, будто его там вообще не было. Причина: по мере чтения длинного текста модель сжимает прочитанное во что-то вроде краткого резюме в голове, и конкретные детали из середины документа вымываются из этого резюме — хотя сам текст остаётся доступен для точечного поиска.

Решение простое: не полагаться на то, что модель "просто прочитала" весь документ и всё учла. Нужно вручную (или отдельным запросом) вытащить ключевой факт, сформулировать его как короткий структурированный тезис и разместить прямо перед финальным вопросом-решением, оставив полный документ доступным. Просто скопировать фрагмент текста туда же — не работает, нужен именно пересказ по сути.

🔬

Схема метода

ШАГ 1: Дать модели документ + прямой вопрос "найди и процитируй факт X" → точная цитата (отдельный запрос)
ШАГ 2: Взять эту цитату и сжать в 2-3 структурированных предложения → короткий тезис
ШАГ 3: Вставить тезис прямо перед финальным вопросом-решением, документ выше остаётся в контексте → запросить итоговое решение

Шаги 1 и 2 можно сделать в одном сообщении. Шаг 3 — либо в том же чате, либо новым сообщением сразу после.


🚀

Пример применения

Задача: Основатель стартапа получил term sheet от инвестора на 40 страниц и просит ChatGPT дать рекомендацию — подписывать или нет. Где-то в середине документа зарыт пункт про ликвидационную преференцию 3x — критично важная деталь, которая означает, что инвестор забирает тройной размер своих денег раньше основателей при продаже компании.

Промпт:

Вот term sheet: [вставить документ]

Шаг 1: Найди и процитируй точно пункт про ликвидационную преференцию.

Шаг 2: Ключевой факт для решения: ликвидационная преференция 3x означает, 
что при продаже компании инвестор первым забирает тройной размер своих 
вложений, и только остаток делится между основателями и другими 
акционерами.

С учётом этого факта и всего документа выше — дай рекомендацию: 
стоит ли подписывать этот term sheet, и на что обратить внимание при 
переговорах?

Результат: Модель даст рекомендацию, которая явно упоминает риск ликвидационной преференции и взвешивает его в обосновании — например, посоветует пересмотреть этот пункт на переговорах. Без явного выноса факта вперёд, при длинном документе, модель скорее всего даст общую положительную рекомендацию и не упомянет этот риск вовсе — не потому что не "видела" пункт, а потому что он не попал в финальное суждение.


🧠

Почему это работает

Модель читает документ последовательно и по ходу дела сжимает всё в компактное резюме — рабочую память ограниченного объёма. Конкретные цифры и детали из середины текста в этом резюме теряются, хотя оригинальный текст остаётся доступен для прямого поиска — модель может "подсмотреть" туда, если её прямо спросить.

Модель отлично умеет находить факт по запросу — это её сильная сторона, и она не деградирует даже на очень длинных документах. Метод использует именно эту силу: вместо того чтобы надеяться, что нужный факт сам "всплывёт" в резюме к моменту решения, мы вручную достаём его через точечный retrieval и физически кладём рядом с вопросом-решением. Модели не нужно вспоминать факт из сжатой памяти — он уже прямо перед глазами.

Рычаги управления: объём тезиса (2-3 предложения работают лучше, чем целый абзац исходного текста — важна структура, не копипаста); количество фактов, которые выносишь вперёд (можно вынести несколько критичных пунктов списком); момент вставки (сразу перед финальным вопросом, не в начале документа).


📋

Шаблон промпта

Вот документ: {документ}

Шаг 1: Найди и процитируй точно: {конкретный_факт}

Шаг 2: Ключевой факт для решения: {краткое изложение факта своими словами, 2-3 предложения}

С учётом этого факта и всей информации в документе выше, ответь на вопрос: 
{финальный_вопрос_или_решение}

🚀 Быстрый старт — вставь в чат:

Вот шаблон метода "вынос ключевого факта перед решением". Адаптируй под 
мою задачу: {твоя задача}. Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит, какой документ ты анализируешь, какой факт в нём критичен для решения и какое именно решение нужно принять — потому что без этого невозможно понять, что именно вынести вперёд и в каком виде.


⚠️

Ограничения

⚠️ Повторение текста не помогает: просто вставить исходный фрагмент документа целиком рядом с вопросом почти ничего не даёт — нужен именно короткий структурированный пересказ сути, не копипаста.

⚠️ Суммаризация по кускам вредит: если попросить модель сначала сжать документ по частям, а потом решать на основе этих заметок — важный факт может потеряться ещё на этапе сжатия, раньше, чем дойдёт до решения.

⚠️ "Подумай дольше" не спасает: включение расширенного размышления (reasoning) не восстанавливает влияние факта, а на коротких документах даже немного его снижает.

⚠️ Более мощные модели не иммунны, просто выносливее: топовые модели держат факт в решении на более длинных документах, но при достаточно большом объёме текста разрыв между "нашла" и "использовала" появляется и у них.


🔍

Как исследовали

Исследователи взяли 12 реальных американских компаний и для каждой придумали проверяемый риск-факт — порог по кредитному ковенанту, сумму штрафа, лимит компенсации — который выглядит естественно в отчёте 10-K. Дальше замеряли раздельно две вещи: может ли модель точно процитировать этот факт (retrieval) и насколько его присутствие меняет итоговое инвестиционное решение по сравнению с версией, где вместо факта — нейтральный текст такой же длины (это и назвали marginal decision influence).

Ключевой трюк дизайна: окружающий несвязанный текст постепенно увеличивали с 2 000 до 128 000 токенов, а сам важный факт не трогали — это отделило эффект "слишком много лишнего текста" от эффекта "модель узнала что-то ещё существенное". Результат оказался резким: на коротком документе факт двигал решение на несколько процентных пунктов, но уже на 8-32 тысячах токенов влияние падало до уровня шума — то есть было неотличимо от вставки случайного нейтрального текста, — и оставалось там до 128 тысяч токенов. При этом retrieval оставался почти идеальным на всех длинах.

Эффект проверили на трёх разных семействах моделей и на 20 реальных 10-K отчётах — убирая из них подлинные раскрытия информации — и картина повторилась. Через анализ внутренних представлений модели и причинные интервенции (перенос "сжатого состояния" между документами) выяснили механизм: факт остаётся закодирован там, где был прочитан, но плохо "доезжает" до места принятия решения. Именно это натолкнуло на рабочее решение — вынести факт структурированно прямо к месту решения, что восстановило его влияние даже на самом длинном контексте.


🔗

Ресурсы

"Reading Is Not Using: Retrieval, Judgment, and the Design of AI Financial Research Workflows" — Miao Liu (Boston College, Carroll School of Management), Zhizhe Liu (Columbia Business School), препринт, август 2026.


📋 Дайджест исследования

Ключевая суть

Обнаружено: LLM цитирует нужный пункт из документа на 128 тысяч токенов идеально точно, но в финальном решении этот же факт как будто испаряется — модель его нашла, но не применила. Метод выноса ключевого факта позволяет заставить модель учитывать критичные детали (условия сделки, риски, пороги ковенантов) в итоговом выводе, а не только в ответе на прямой вопрос про этот факт. Фишка: не копировать фрагмент текста, а пересказать его своими словами в 2-3 предложения и положить прямо перед вопросом-решением — тогда факт из сжатого резюме, которое модель держит в голове, превращается в то, что она реально видит перед собой.

Принцип работы

У модели два разных навыка: retrieval — найти факт по запросу, и integration — учесть его в решении. Это как студент, который бегло пролистал книгу и написал по памяти конспект: спроси точную цитату — он откроет книгу и найдёт без ошибок. Но рассуждает он потом по конспекту, а тот хранит общее впечатление, не мелкие детали из середины. Правило простое: не надейся, что факт сам всплывёт в этом конспекте — вытащи его руками и положи прямо перед финальным вопросом.

Почему работает

Модель читает документ последовательно и параллельно сжимает прочитанное в компактное резюме — рабочую память ограниченного объёма. Детали из середины текста теряются в этом резюме, хотя сам документ остаётся доступен для точечного поиска. Вот почему метод работает: retrieval и integration — разные механизмы, и физическое размещение факта рядом с вопросом убирает необходимость вспоминать его из сжатой памяти. Даже топовые модели не застрахованы — разрыв между "нашла" и "использовала" появляется у всех, просто на разной длине документа.

Когда применять

Анализ длинных документов → для финансовых и юридических решений: term sheet, кредитные договоры, отчёты о прибылях, due diligence, особенно когда критичный пункт зарыт в середине текста на 50+ страниц. НЕ подходит для коротких документов (до 5-10 страниц) — там модель и так держит все детали в решении без дополнительных телодвижений.

Мини-рецепт

1. Найди факт: попроси модель отдельным вопросом процитировать точный пункт из документа.
2. Сожми в тезис: перепиши цитату своими словами в 2-3 предложения — не копируй кусок текста как есть, важна суть, не копипаста.
3. Положи перед вопросом: вставь тезис прямо перед финальным запросом на решение, сам документ выше не трогай.
4. Не дели документ на куски заранее: если очень длинный текст — не суммаризируй его по частям до выноса факта, важный пункт может потеряться ещё на этом этапе.

Примеры

[ПЛОХО] : Вот term sheet на 40 страниц: [документ]. Дай рекомендацию — подписывать или нет.
[ХОРОШО] : Вот term sheet: [документ]. Шаг 1: процитируй точно пункт про ликвидационную преференцию. Шаг 2: кратко перескажи его суть в 2-3 предложения. С учётом этого факта и всего документа выше — дай рекомендацию по подписанию и на что обратить внимание при переговорах.
Источник: Reading Is Not Using: Retrieval, Judgment, and the Design of AI Financial Research Workflows
ArXiv ID: 2608.24842 | Сгенерировано: 2026-08-26 05:22

Проблемы LLM

ПроблемаСутьКак обойти
Модель находит факт, но не использует его в решенииСпрашиваешь модель "что написано в документе про X" — она точно процитирует, даже в тексте на 100+ страниц. Но просишь итоговое решение с учётом всего документа — и этот же факт как будто исчезает из рассуждений. Модель сжимает длинный текст в краткое резюме по ходу чтения, и детали из середины теряются именно в этом резюме, хотя сам текст остаётся доступен для точечного поискаНе надейся, что модель "сама всё учтёт". Отдельно попроси найти и процитировать ключевой факт, сожми цитату в 2-3 предложения своими словами, и вставь этот короткий тезис прямо перед финальным вопросом-решением

Методы

МетодСуть
Вынос ключевого факта перед решением1) Попроси модель найти и процитировать конкретный факт в документе. 2) Сожми цитату в короткий структурированный тезис (2-3 предложения, не копия текста). 3) Вставь тезис прямо перед финальным вопросом-решением, документ выше оставь в контексте. Почему работает: модель отлично находит факты по прямому запросу — этот навык не деградирует на длинных документах. Но при финальном решении она опирается на сжатое резюме прочитанного, где детали потерялись. Физическое размещение факта рядом с вопросом избавляет модель от необходимости вспоминать его из резюме. Когда применять: длинные документы (десятки страниц и больше), где решение зависит от одного-двух критичных пунктов. Когда не работает: короткие документы, где факт и так попадает в финальное суждение

Тезисы

ТезисКомментарий
Найти факт и использовать факт — разные навыки моделиПоиск информации по запросу — сильная сторона модели, которая держится даже на очень длинных текстах. А учёт этой информации в финальном выводе зависит от сжатого резюме документа, где детали середины текста теряются. Чем длиннее документ, тем сильнее расходятся эти два навыка. Применяй: не считай, что раз модель может процитировать факт — она его учтёт в решении. Проверяй отдельно
Пересказ фактом сильнее, чем копия фрагмента текстаЕсли просто вставить кусок оригинального текста рядом с вопросом — это почти не помогает. Работает именно короткий пересказ сути своими словами. Вероятно, структурированный тезис легче "зацепляется" за логику финального рассуждения, чем ещё один фрагмент сырого текста, который модель обработает так же, как исходный документ. Применяй: формулируй вынесенный факт как 2-3 предложения смысла, а не цитату
Пошаговая суммаризация документа теряет факты раньше решенияЕсли сначала просишь модель сжать документ по частям (чанк за чанком), а потом отдельно принимать решение на основе этих заметок — критичный факт может выпасть уже на этапе сжатия, до того как дело дойдёт до финального вопроса. Проблема исходного метода просто переносится на шаг раньше. Применяй: не разбивай важные детали через многоступенчатую суммаризацию, выноси их напрямую перед решением
📖 Простыми словами

Reading Is NotUsing: Retrieval, Judgment, and the Design ofAIFinancial Research Workflows

arXiv: 2608.24842

Нейросети умеют идеально находить факты в огромных текстах, но напрочь разучиваются их использовать. Это две разные механики: поиск информации и принятие решений. Модель без проблем процитирует нужный пункт из глубины файла, но в финальном вердикте сделает вид, будто его никогда не существовало, превращая весь анализ в бесполезную фигню.

Это как юрист, который сам вслух прочитал тебе мелкий шрифт: "в случае аварии вы отдаёте почку", а через секунду бодро заявляет: "отличная сделка, подписывай". Формально он всё увидел, но критическая деталь просто вылетела из головы при оценке рисков. У языковых моделей ровно тот же баг — способность прочесть текст не гарантирует осмысление прочитанного.

Всё дело в том, как устроена память: сканируя документ, модель сжимает текст во внутреннее компактное резюме. Засунь в середину 40-страничного договора пункт про ликвидационную преференцию 3x — и в общем выводе будет полный провал. Спросишь напрямую — найдёт и процитирует, но в комплексной задаче эта деталь просто испарится из логики рассуждений.

Тестировали на финансовых сделках, но проблема универсальна. Та же беда ждёт тебя в аудите сложного кода, анализе медкарты или проверке длинных ТЗ. Везде, где критически важная цифра зарыта в толще текста, модель выдаст уверенную галлюцинацию нормы вместо реальной оценки опасности.

Главный вывод: никогда не проси AI «прочитать полотно и дать вердикт» за один промпт. Строй работу в два шага: сначала жёсткое извлечение ключевых фактов, затем отдельный анализ найденного. Иначе ты подпишешь катастрофический контракт просто потому, что важная строчка потерялась в середине документа.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с