3,583 papers
arXiv:2506.10408 93 1 июня 2025 г. FREE

Рассуждение RAG через Систему 1 или Систему 2 Обзор агентного рассуждения усиленной генерации для

КЛЮЧЕВАЯ СУТЬ
Для решения сложных задач LLM должна действовать как автономный "агент", который не просто использует внешнюю информацию, а активно и осознанно управляет процессом ее поиска и анализа.
Адаптировать под запрос
📌

1. Ключевые аспекты исследования:

Это исследование-обзор анализирует эволюцию технологии RAG (Retrieval-Augmented Generation) от простых статических систем к сложным "агентским". Авторы разделяют продвинутые RAG-системы на два типа:"Predefined Reasoning"(с заранее заданной логикой поиска) и"Agentic Reasoning"(где LLM сама решает, когда, что и как искать). Эта классификация проводится по аналогии с когнитивными системами человека "Система 1" (быстрое, интуитивное мышление) и "Система 2" (медленное, аналитическое).

Ключевой результат: Для решения сложных задач LLM должна действовать как автономный "агент", который не просто использует внешнюю информацию, а активно и осознанно управляет процессом ее поиска и анализа.

🔬

2. Объяснение всей сути метода:

Представьте, что вы просите помощника написать отчет на сложную тему.

Старый подход (простой RAG): Вы даете помощнику стопку документов и говорите: "Напиши отчет на основе этого". Помощник просто читает все подряд и пытается скомпоновать ответ. Он может запутаться, упустить важное или сфокусироваться на мелочах. Это похоже на "Систему 1" — быструю, автоматическую, но негибкую.

Новый подход (Reasoning Agentic RAG): Вы говорите помощнику: "Напиши отчет, вот тебе доступ в интернет и к базе данных". Помощник (LLM-агент) начинает рассуждать: 1. "Так, чтобы ответить на этот вопрос, мне сначала нужно понять... [формулирует под-вопрос]". 2. "Для этого я сделаю поисковый запрос... [выполняет действие]". 3. "Ага, я нашел вот такую информацию... [анализирует результат]". 4. "Этого недостаточно. Мне нужно проверить факты из другого источника... [новое действие]".

Это и есть "Agentic Reasoning", похожее на "Систему 2" — медленное, вдумчивое, стратегическое мышление. LLM не просто пассивно использует данные, а активно планирует свои действия, ищет информацию, анализирует найденное и корректирует свой план.

Для пользователя это означает, что вместо того чтобы скармливать модели всю информацию сразу, эффективнее дать ей роль "исследователя" и структурировать промпт так, чтобы она сама декомпозировала задачу и искала ответы на под-вопросы. Самыми практическими техниками из исследования являются ReAct и Self-ask.

  • ReAct (Reason + Act): Вы заставляете модель чередовать шаги "Мысль" (что я должен сделать дальше?), "Действие" (какой инструмент использовать?) и "Наблюдение" (что я получил в итоге?).
  • Self-ask: Вы заставляете модель разбить сложный вопрос на цепочку простых под-вопросов и последовательно на них отвечать, прежде чем дать финальный ответ.
📌

3. Анализ практической применимости:

*Прямая применимость:Пользователь может напрямую применять шаблоныReActиSelf-askв своих промптах. Для этого не нужен код или специальные инструменты. Достаточно в инструкции к промпту описать, что модель должна следовать определенному циклу рассуждений и действий.

  • Концептуальная ценность: Огромна. Пользователь начинает понимать, что для сложных задач LLM — это не просто "отвечатель", а "решатель проблем". Главная идея: не пытайтесь думать за модель, а заставьте модель думать саму. Вместо того чтобы заранее собирать весь контекст, нужно научить модель его добывать. Это меняет подход от "предоставления информации" к "постановке задачи на исследование".

  • Потенциал для адаптации: Концепции из "Predefined Reasoning" (например, Self-RAG, где модель критикует сама себя) можно адаптировать. Например, можно построить промпт из нескольких шагов:

    1. [Шаг 1] Сгенерируй черновой ответ на вопрос.
    2. [Ша- 2] Теперь выступи в роли критика и найди слабые места и недостающую информацию в черновом ответе.
    3. [Шаг 3] С учетом критики, дополни ответ, используя гипотетический поиск информации для заполнения пробелов. Таким образом, даже сложные архитектурные идеи из статьи можно превратить в практически применимые многошаговые промпты.

🚀

4. Практически пример применения:

В этом примере мы используем метод ReAct (Reason+Act) для планирования поездки.

# РОЛЬ:

Ты — опытный турагент-исследователь. Твоя задача — помочь мне спланировать детали поездки.

# ЗАДАЧА:

Разработай подробный план 3-дневной поездки в Стамбул для пары, которая интересуется историей, местной кухней и не любит туристическую толпу. Бюджет — средний. Поездка планируется на октябрь.

# ИНСТРУКЦИИ:

Ты должен действовать по циклу **"Мысль -> Действие -> Наблюдение"**.
- **Мысль:** Твои размышления о том, какой следующий шаг нужно сделать для планирования.
- **Действие:** Твой запрос к инструменту поиска. Используй формат `[Search: <твой поисковый запрос>]`.
- **Наблюдение:** Результат, который ты гипотетически получил бы от поиска. Ты должен сам его сгенерировать, как будто поиск был выполнен.

Продолжай этот цикл, пока не составишь полный и логичный план.

**Начинай.**

🧠

5. Почему это работает:

Этот промпт работает за счет нескольких механик, основанных на идеях "Agentic Reasoning":

  1. Принудительная декомпозиция: Вместо того чтобы сразу генерировать готовый маршрут (что часто приводит к шаблонным и поверхностным ответам), модель вынуждена разбить большую задачу ("спланировать поездку") на маленькие, управляемые подзадачи ("найти нетуристические исторические места", "найти аутентичные рестораны" и т.д.).

  2. Externalized Reasoning (Внешнее рассуждение): Формат "Мысль" заставляет LLM проговаривать свою логику. Это делает процесс прозрачным и позволяет модели самой отслеживать свой прогресс, не "теряя нить" рассуждений.

  3. Симуляция RAG: Конструкция [Search: <query>] имитирует обращение к внешней базе знаний (интернету). Это заземляет генерацию на "фактах" (пусть и сгенерированных самой моделью в данном примере), что снижает вероятность галлюцинаций и повышает качество и детализацию предложений. Модель не просто выдумывает, а "ищет" и "анализирует".

  4. Итеративное улучшение: Цикличность процесса позволяет модели на каждом шаге опираться на результаты предыдущего. Например, найдя информацию о районе Султанахмет, следующей "Мыслью" может стать поиск ресторанов именно в этом районе, что делает план логичным и связным.


📌

6. Другой пример практического применения

Здесь мы применим метод Self-ask для анализа бизнес-идеи.

# РОЛЬ:

Ты — проницательный бизнес-аналитик. Твоя задача — помочь мне оценить жизнеспособность бизнес-идеи.

# ЗАДАЧА:

Оцени перспективы открытия небольшой кофейни "третьей волны" (спешиалти-кофе) в спальном районе крупного города (например, в районе Марьино, Москва).

# ИНСТРУКЦИИ:

Чтобы дать полный и взвешенный ответ, ты должен сначала разбить основной вопрос на несколько под-вопросов. Последовательно задай себе эти под-вопросы и дай на них промежуточные ответы. Только после этого сформулируй итоговый развернутый ответ.

Используй следующий формат:
**Основной вопрос:** <твой главный вопрос>
**Под-вопрос 1:** <первый уточняющий вопрос>
**Промежуточный ответ 1:** <ответ на первый вопрос>
**Под-вопрос 2:** <второй уточняющий вопрос>
**Промежуточный ответ 2:** <ответ на второй вопрос>
...и так далее.

**Итоговый вывод:** <полный синтезированный ответ на основе всех промежуточных>.

**Начинай.**

🧠

7. Объяснение механизма почему этот пример работает.

Этот промпт эффективен, потому что он задействует следующие механизмы:

  1. Структурированное мышление: Техника Self-ask заставляет LLM не давать один общий, расплывчатый ответ, а выстроить логическую цепочку рассуждений. Это похоже на то, как человек решает сложную проблему — разбивая ее на части.

  2. Сфокусированный поиск информации: Каждый "Под-вопрос" становится точечным запросом на извлечение конкретного вида информации (о конкурентах, о целевой аудитории, о поставщиках). Это гораздо эффективнее, чем один широкий запрос, так как позволяет модели концентрироваться на одном аспекте за раз.

  3. Накопление контекста: Ответ на каждый следующий под-вопрос может опираться на информацию из предыдущих. Например, определив целевую аудиторию ("молодые семьи и фрилансеры"), модель сможет точнее ответить на под-вопрос о маркетинговой стратегии.

📌

8. Снижение вероятности упущений:

Разбивка на под-вопросы служит для модели чек-листом. Она с меньшей вероятностью забудет проанализировать важные аспекты (аренда, конкуренты, поставщики, ЦА), потому что сам формат промпта подталкивает ее к всестороннему анализу. Итоговый вывод становится синтезом нескольких проверенных фактов, а не монолитной догадкой.

📌

Основные критерии оценки

  • A. Релевантность техникам промтинга: Да, особенно в части "Agentic Reasoning", где описаны конкретные подходы (ReAct, Self-ask), которые можно симулировать в промпте.
  • B. Улучшение качества диалоговых ответов: Да, это основная цель описываемых методов — повысить точность и релевантность ответов за счет более умного поиска информации.
  • C. Прямая практическая применимость: Частично. Подходы из раздела "Prompt-based Agentic Reasoning" применимы напрямую. Концепции из "Predefined Reasoning" требуют адаптации, а "Training-based" подходы не применимы для обычного пользователя.
  • D. Концептуальная ценность: Очень высокая. Аналогия с когнитивными системами "Система 1 / Система 2" — это мощнейший инструмент для понимания разницы между простым и сложным RAG. Раскрывает, почему LLM нуждается не просто в данных, а в стратегии их поиска.
  • E. Новая полезная практика (кластеры): Работа попадает в несколько ключевых кластеров:
    • 1. Техники формулирования: ReAct, Self-ask.
    • 2. Поведенческие закономерности: Косвенно упоминается проблема "lost in the middle".
    • 6. Контекст и память: Это ядро исследования — как эффективно работать с внешним контекстом (документами).
    • 7. Надежность и стабильность: Вся суть RAG — снижение галлюцинаций.
  • Чек-лист практичности (+15 баллов): Да, исследование дает готовые конструкции (ReAct), показывает, как структурировать сложные запросы (Self-ask), раскрывает неочевидные особенности (необходимость в "агентском" подходе) и предлагает способы улучшить точность. Бонус в 15 баллов применен.
📌

2 Цифровая оценка полезности

Исследование получает 93 балла. Это почти идеальный пример работы, которая, будучи академической, несет огромную практическую и концептуальную ценность для пользователя. Она не просто дает "рецепты", а меняет сам подход к решению сложных задач с LLM.

Аргументы за высокую оценку:

* Революционная концепция: Идея разделения на "предопределенное" (быстрое, шаблонное) и "агентское" (вдумчивое, адаптивное) извлечение информации — это прорыв в понимании. Аналогия с "Системой 1" и "Системой 2" Канемана делает эту сложную идею интуитивно понятной для всех.
* Прямые техники: Раздел о "Prompt-based" подходах, особенно ReAct и Self-ask, предлагает конкретные, воспроизводимые в любом чате форматы промптов.
* Объяснение "Почему": Статья отлично объясняет, почему простые RAG-системы (когда вы просто даете модели документ и задаете вопрос) часто не справляются со сложными задачами и почему модели нужен не просто доступ к инструментам, а "разум", чтобы ими управлять.

Контраргументы (почему не 100):

* Высокий порог входа для части методов: Значительная часть статьи посвящена архитектурам (RAPTOR, Modular-RAG) и методам на основе обучения (Training-based), которые обычный пользователь не может реализовать. Это требует от читателя умения отфильтровать практически применимые концепции от тех, что предназначены для разработчиков.
* Это обзор, а не туториал: Будучи обзорной статьей, она описывает множество подходов, но не углубляется в детали реализации каждого из них в виде пошаговой инструкции для промптинга. Пользователю нужно самому "переводить" концепции на язык промптов.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с