Сжатие промптов LLM, управляемое деревьями разбора

Исследование предлагает метод PartPrompt для автоматического сжатия длинных текстов (промптов) перед их подачей в LLM, чтобы сэкономить на стоимости и обойти ограничения по длине контекста. Метод анализирует текст как иерархическую структуру (предложения, абзацы), оценивает важность каждого слова на основе грамматики и информационной "неожиданности" (энтропии), а затем "обрубает" наименее значимые части, сохраняя ядро смысла.

Ключевой результат: Автоматическое сжатие текста на основе его лингвистической структуры и иерархии сохраняет качество ответов LLM значительно лучше, чем другие методы.

Представьте, что вам нужно пересказать 10-страничный отчет коллеге, у которого есть всего 30 секунд. Вы не будете читать все подряд. Вы интуитивно сделаете следующее: 1. Выделите главную мысль каждого абзаца (обычно она в первом предложении). 2. Выцепите ключевые термины, цифры и имена. 3. Отбросите вводные слова, повторы и общие фразы.

Метод PartPrompt делает то же самое, но в виде алгоритма.

• Шаг 1: Построение "скелета" текста. Алгоритм разбирает каждое предложение на грамматические компоненты (подлежащее, сказуемое, дополнения), создавая "дерево разбора" — по сути, грамматический скелет.
• Шаг 2: Оценка "важности" каждого слова. Каждому слову присваивается ценность. Она складывается из двух вещей:
  • Информационная энтропия: Насколько слово "неожиданное"? Слово "является" имеет низкую ценность, а слово "квантовый" — высокую.
  • Структурная позиция: Алгоритм придает дополнительный вес словам в начале абзацев и разделов, так как по "человеческой логике письма" там содержится самое важное.
• Шаг 3: "Обрезка" дерева. Алгоритм смотрит на получившуюся структуру со всеми оценками и начинает "срезать" наименее ценные "ветки" (слова и фразы), пока текст не уложится в заданный лимит (например, сжать до 20% от оригинала). При этом он старается не удалять "несущие ветви", чтобы не разрушить основной смысл.

Таким образом, вместо бездумного удаления слов, метод сохраняет структурно и информационно богатый костяк текста, который LLM может эффективно использовать.

• Прямая применимость: Отсутствует. Пользователь в интерфейсе чат-бота не может запустить этот алгоритм. Это инструмент для разработчиков, которые встраивают LLM в свои продукты.

• Концептуальная ценность: Очень высокая. Исследование дает пользователю мощную ментальную модель: "контекст — это не просто текст, а иерархия информации с разной ценностью". Ключевые концепции для пользователя:

  • Информационная плотность: Не лейте "воду". Каждое слово в промпте должно нести максимум информации.
  • Структурная иерархия: Важное — в начало. LLM, как и человек, обращает больше внимания на заголовки и первые предложения абзацев.
  • Принцип сжатия: Перед тем как задать вопрос по большому тексту, полезно сделать его "ручное сжатие" — выписать ключевые тезисы, данные и термины.

• Потенциал для адаптации: Огромный. Пользователь может имитировать логику PartPrompt вручную. Вместо того чтобы копировать в чат всю статью, можно самостоятельно подготовить "сжатый контекст": из каждого раздела статьи взять по 1-2 ключевых предложения, добавить основные термины и цифры, и уже на основе этой выжимки формулировать свой вопрос к LLM. Это и есть ручная адаптация метода.

Предположим, у вас есть длинный и сумбурный отчет о результатах квартальной рекламной кампании, и вы хотите, чтобы LLM помог вам составить краткую сводку для руководства.

Плохой промпт (без адаптации метода):

Проанализируй этот отчет и сделай сводку для руководства.
[сюда вставлен полный текст отчета на 5 страниц со всеми таблицами, графиками и детальными описаниями]

Результат будет непредсказуемым, модель может упустить важное или "утонуть" в деталях.

Хороший промпт (с ручной адаптацией PartPrompt):

Ты — опытный маркетинг-аналитик. Твоя задача — подготовить краткую и ясную сводку для руководства на основе ключевых данных из отчета о рекламной кампании.

### Ключевые данные из отчета (сжатый контекст)

*   **Продукт:** Новая линейка фитнес-браслетов "VitaPulse 2".
*   **Цель кампании:** Увеличение узнаваемости бренда и прямые продажи.
*   **Период:** 1 января - 31 марта 2024 г.
*   **Основные каналы:**
    *   Таргетированная реклама в соцсетях (охват 2 млн, CTR 1.5%).
    *   Контекстная реклама в поиске (бюджет 500 тыс. руб., 2500 продаж).
    *   Сотрудничество с блогерами (10 инфлюенсеров, общий охват 5 млн).
*   **Ключевые результаты:**
    *   **Продажи:** 4500 единиц (план был 4000). План перевыполнен на 12.5%.
    *   **Самый эффективный канал:** Контекстная реклама (самая низкая стоимость привлечения клиента).
    *   **Самый дорогой канал:** Блогеры (высокая стоимость, но максимальный охват и рост узнаваемости).
*   **Проблема:** Низкая конверсия с таргетированной рекламы в соцсетях. Требуется анализ причин.

### Задание

На основе представленных выше ключевых данных, напиши краткую сводку (не более 5-7 предложений) для презентации руководству. Структурируй ее по пунктам:
1.  **Главный итог:** (достигнуты ли цели).
2.  **Ключевые успехи:** (что сработало лучше всего).
3.  **Проблемная зона и рекомендация:** (что не сработало и что с этим делать).

Этот промпт работает, потому что мы вручную применили логику PartPrompt:

1. Отбросили "шум": Мы убрали все лишние детали, описания и вводные фразы из 5-страничного отчета.
2. Выделили "важные узлы": Мы структурировали информацию в виде ключевых пунктов (Продукт, Цель, Результаты). Это аналог создания "глобального дерева" из исследования.
3. Сохранили "высокоэнтропийные" токены: Мы оставили конкретные цифры (2 млн, 1.5%, 4500 единиц), названия (VitaPulse 2) и специфические термины (CTR), которые несут максимум смысла.
4. Сформулировали четкую задачу: После предоставления сжатого и структурированного контекста мы даем модели простое и конкретное задание, с которым ей легко работать.

В итоге, мы не заставляем LLM саму "просеивать" тонны информации, а сразу даем ей концентрат фактов, что гарантирует более точный и релевантный ответ.

Задача: Составить план путешествия по Риму на 3 дня на основе нескольких длинных статей из блогов.

Хороший промпт (с ручной адаптацией PartPrompt):

Ты — эксперт по путешествиям, специализирующийся на Италии. Помоги мне составить детальный план поездки в Рим на 3 дня.

### Ключевая информация из моих источников

*   **Обязательно к посещению (главные "узлы"):**
    *   Колизей и Римский форум (нужны билеты заранее, лучше идти утром).
    *   Ватикан: Собор Святого Петра и Музеи Ватикана (огромные очереди, билет онлайн обязателен).
    *   Пантеон (вход бесплатный, но может быть очередь).
    *   Фонтан Треви (лучше посещать рано утром или поздно вечером, чтобы избежать толп).
*   **Еда (важные "листья" на ветках):**
    *   Обязательно попробовать пасту Cacio e Pepe.
    *   Рекомендуют район Трастевере для ужина с аутентичной атмосферой.
    *   Лучшее джелато — в Giolitti.
*   **Логистика и советы:**
    *   Много ходить пешком, нужна удобная обувь.
    *   Метро удобное для длинных дистанций (например, до Ватикана).
    *   Остерегаться карманников в людных местах.

### Задание

На основе этой информации, составь логичный и оптимизированный по времени маршрут на 3 дня. Распредели достопримечательности по дням так, чтобы они были географически близко друг к другу. Включи в каждый день время на обед и ужин с учетом рекомендаций по еде.

Этот промпт эффективен, так как он воспроизводит суть метода PartPrompt в ручном режиме:

1. Агрегация и сжатие: Вместо того чтобы копировать несколько длинных статей, мы "прогнали" их через наш мозг и извлекли только самую ценную информацию, отбросив всю "воду" и личные впечатления блогеров.
2. Создание иерархии: Мы сгруппировали информацию по категориям (Обязательно к посещению, Еда, Логистика). Это аналог создания "глобального дерева" с виртуальными узлами "Достопримечательности", "Гастрономия" и т.д.
3. Сохранение ключевых сущностей: Мы сохранили названия (Колизей, Трастевере, Cacio e Pepe), которые являются информационным ядром, и добавили к ним самые важные атрибуты (билеты заранее, аутентичная атмосфера). Это похоже на сохранение важных узлов дерева и их непосредственных дочерних элементов.

По сути, мы выполнили за модель самую сложную часть работы — извлечение и структурирование знаний из неструктурированного текста. Теперь LLM не нужно анализировать исходники, а нужно лишь решить задачу комбинаторики и планирования на основе уже готового, чистого набора фактов.