Улучшение извлечения технических документов для RAG

Исследователи предлагают фреймворк "Technical-Embeddings" для улучшения поиска информации в сложных технических документах (RAG). Суть подхода в двух шагах: во-первых, исходный запрос пользователя обогащается и расширяется с помощью LLM для лучшего понимания намерения; во-вторых, сами документы предварительно сжимаются в краткие содержательные саммари. Этот двухэтапный подход значительно повышает точность и полноту нахождения релевантной информации в больших базах знаний.

Ключевой результат: Комбинация автоматического расширения пользовательского запроса и предварительной суммаризации документов позволяет RAG-системам находить нужную информацию гораздо эффективнее.

Суть метода, адаптированного для обычного пользователя, заключается в том, чтобы перестать рассматривать свой диалог с LLM как один вопрос и один ответ. Вместо этого нужно разбить процесс на три этапа, превратив LLM в своего помощника по подготовке идеального запроса.

Представьте, что вы работаете с кастомным GPT, в который загружен большой PDF-отчет. Стандартный подход — задать прямой вопрос по отчету. Часто это не работает, потому что ваш простой вопрос (например, "каковы риски?") слишком общий, и система не может найти точный фрагмент текста в 100-страничном документе.

Метод из исследования предлагает следующий алгоритм:

1. Этап 1: Суммаризация Контекста. Сначала вы не задаете вопрос, а просите LLM подготовить почву. Вы даете ему документ и говорите: «Проанализируй этот текст и составь краткую сводку (summary) по ключевым темам, выводам и сущностям». Это создает для модели "карту" документа.

2. Этап 2: Расширение Запроса (Query Expansion). Теперь, вместо того чтобы задавать свой простой вопрос, вы просите LLM его улучшить. Вы говорите: «Вот моя цель: <узнать о рисках проекта>. Помоги мне сформулировать 3-5 более точных и детальных вопросов, которые задал бы эксперт по этой теме, чтобы получить исчерпывающий ответ из документа».

3. Этап 3: Финальный Запрос. Вы берете сгенерированные на втором этапе детальные вопросы и просите модель ответить на них, основываясь на сводке из первого этапа и исходном документе.

Этот подход решает две главные проблемы: плохой контекст (исправляется суммаризацией) и плохой поисковый запрос (исправляется расширением). Вы заставляете модель сначала "прочитать и понять" документ, а затем "помочь вам задать правильный вопрос".

• Прямая применимость: Пользователь может напрямую реализовать этот метод в любом продвинутом чат-боте (ChatGPT, Claude, Gemini) в виде последовательности из 2-3 промптов. Это превращает сложную задачу анализа документов в управляемый пошаговый процесс. Вместо одного сложного промпта — три простых и логичных.

• Концептуальная ценность: Главный инсайт — ваш промпт для RAG-системы является поисковым запросом. Как и в Google, качество поискового запроса определяет качество результата. Исследование учит пользователя быть не просто "спрашивающим", а "инженером поисковых запросов", который сначала готовит данные (суммаризация), а затем оптимизирует запрос (расширение).

• Потенциал для адаптации: Метод легко адаптируется для любой задачи, связанной с анализом текста: анализ юридических документов, разбор научных статей, изучение рыночных отчетов, планирование путешествий по отзывам. Механизм адаптации прост:

  1. Определите, что является вашим "контекстом" (документ, набор статей, отзывы).
  2. Попросите LLM сделать саммари этого контекста по важным для вас параметрам.
  3. Сформулируйте свою конечную цель и попросите LLM разбить ее на под-вопросы.
  4. Запустите финальный запрос с этими под-вопросами.

Представим, что вы маркетолог и вам дали 50-страничный отчет по исследованию рынка для запуска нового кофейного напитка. Вам нужно быстро составить план действий.

**Роль:** Ты — опытный ассистент-маркетолог, специализирующийся на анализе рыночных исследований и разработке go-to-market стратегий.

**Контекст:** Я загрузил тебе документ "Market_Research_Coffee_Drink_2024.pdf". Это подробное исследование рынка для нашего нового продукта.

---

### ЭТАП 1: Создание Контекстной Сводки

**Инструкция:**
1.  Внимательно изучи весь документ "Market_Research_Coffee_Drink_2024.pdf".
2.  Создай структурированную сводку (summary) по следующим ключевым пунктам:
    *   **Целевая аудитория:** Демография, психографика, привычки потребления.
    *   **Ключевые конкуренты:** Их сильные и слабые стороны, доля рынка.
    *   **Рыночные тренды:** Основные тенденции в индустрии напитков.
    *   **Ценовые ожидания:** Что потребители готовы платить.
    *   **Незакрытые потребности:** Какие проблемы потребителей текущие продукты не решают.

Представь результат в виде четких буллетов по каждому пункту. Не начинай следующий этап, пока не закончишь этот.

---

### ЭТАП 2: Расширение Запроса

**Моя основная цель:** "Разработать маркетинговую стратегию для запуска нового кофейного напитка".

**Инструкция:**
Основываясь на моей цели и данных из отчета, сгенерируй 5 детализированных и глубоких вопросов, которые задал бы директор по маркетингу, чтобы построить эффективную стратегию. Эти вопросы должны помочь раскрыть все аспекты запуска.

---

### ЭТАП 3: Финальная Генерация

**Инструкция:**
Теперь, используя сводку из Этапа 1 и сгенерированные вопросы из Этапа 2, дай развернутый ответ. Построй на основе этих данных черновик маркетинговой стратегии. Структурируй ответ по разделам, соответствующим вопросам из Этапа 2.

Этот промпт работает за счет декомпозиции сложной задачи на три управляемых шага, что напрямую отражает логику исследования:

1. Этап 1 (Contextual Summary): Вместо того чтобы заставлять LLM каждый раз "перечитывать" весь 50-страничный отчет для ответа на каждый мелкий вопрос, мы заставляем его один раз создать концентрированную, структурированную выжимку. Это создает "оперативную память" с самой важной информацией, что резко повышает релевантность последующих ответов.
2. Этап 2 (Query Expansion): Простой запрос "разработать стратегию" слишком широк. Модель может выдать шаблонный ответ. Заставляя ее саму сгенерировать "вопросы от эксперта", мы превращаем расплывчатую задачу в конкретный чек-лист. Это имитирует "synthetic query generation" и направляет внимание LLM на самые важные аспекты (например, "Как нам отстроиться от конкурента X?" вместо общего "проанализируй конкурентов").
3. Этап 3 (Final Generation): Этот этап объединяет подготовленный контекст и уточненные запросы. Модель уже "разогрета", у нее есть и карта местности (сводка), и точный маршрут (вопросы). Это позволяет ей сгенерировать глубокий, релевантный и структурированный ответ, а не поверхностную "галлюцинацию".

Задача: Вы планируете 10-дневное путешествие по Италии с семьей (2 взрослых, 1 ребенок 10 лет) и собрали несколько статей-отзывов от других путешественников.

**Роль:** Ты — опытный тревел-консультант, который помогает семьям планировать идеальные путешествия по Европе. Ты умеешь анализировать отзывы и составлять сбалансированные маршруты.

**Контекст:** Ниже я прикрепляю тексты из 3-х блогов о путешествиях по Италии с детьми.
<ТЕКСТ_СТАТЬИ_1>
...

...


---

### ЭТАП 1: Создание Контекстной Сводки Путешествий

**Инструкция:**
1.  Проанализируй все три текста.
2.  Составь единую сводку, извлекая следующую информацию:
    *   **Города и локации:** Упомянутые места, подходящие для семей.
    *   **Активности для детей:** Конкретные развлечения (музеи, парки, мастер-классы).
    *   **Логистика:** Советы по транспорту (поезда, аренда авто).
    *   **Бюджет:** Упоминания о стоимости жилья, еды, билетов.
    *   **Лайфхаки и предостережения:** Полезные советы и вещи, которых стоит избегать.

---

### ЭТАП 2: Уточнение и Расширение Запроса

**Моя основная цель:** "Спланировать 10-дневный маршрут по Италии для семьи с 10-летним ребенком".

**Инструкция:**
Моя цель может быть неполной. Чтобы ты мог составить идеальный план, сгенерируй 4-5 уточняющих вопросов о наших предпочтениях. Например, о темпе поездки, интересах (история, природа, еда), бюджете.

*После того как ты задашь вопросы, я на них отвечу в следующем сообщении.*

---

### ЭТАП 3: Финальная Генерация Маршрута

**(После моего ответа на вопросы из Этапа 2)**

**Инструкция:**
Отлично! Теперь, основываясь на сводке из Этапа 1 и моих ответах на твои уточняющие вопросы, составь подробный по дням маршрут на 10 дней. Включи в него рекомендации по отелям, ресторанам и активностям, которые будут интересны и взрослым, и ребенку.

Этот пример работает по тому же принципу, что и предыдущий, но в другой сфере, демонстрируя универсальность метода:

1. Этап 1 (Суммаризация): LLM не просто читает разрозненные блоги, а систематизирует их в единую базу знаний по категориям (локации, активности, бюджет). Это превращает хаотичный набор текстов в структурированную информацию, готовую к использованию. Модель больше не ищет по "сырому" тексту, а обращается к уже обработанным и классифицированным данным.
2. Этап 2 (Расширение запроса через диалог): Вместо того чтобы угадывать, что именно пользователь хочет от "семейного путешествия", модель проактивно запрашивает недостающие данные. Это интерактивная форма "query expansion". Она переводит неявные ожидания пользователя ("интересно", "недорого") в конкретные параметры ("темп: расслабленный", "интересы: древняя история", "бюджет: средний"), которые необходимы для построения качественного маршрута.
3. Этап 3 (Персонализированная генерация): Финальный ответ получается не общим ("посетите Рим и Флоренцию"), а узко персонализированным. Он основан на комбинации объективных данных из блогов (Этап 1) и субъективных предпочтений пользователя (Этап 2). Это резко снижает риск получения шаблонного, бесполезного плана и повышает ценность ответа для конкретного человека.