3,583 papers
arXiv:2410.20724 82 28 окт. 2024 г. FREE

Простота эффективна: роли графов и больших языковых моделей в генерации с дополненным поиском на основе графов знаний

КЛЮЧЕВАЯ СУТЬ
Улучшение качества диалоговых ответов: Да, основная цель и результат исследования — повышение точности и снижение галлюцинаций, что напрямую улучшает качество ответов
Адаптировать под запрос

Этот пример работает, потому что он переносит сложную задачу с множеством ограничений в контролируемую среду, что является сутью подхода SubgraphRAG.

  1. Устранение неоднозначности и устаревших данных: LLM не нужно "вспоминать" или искать актуальную информацию о погоде и ценах, которая может быть неточной или обобщенной. Мы предоставляем точные, релевантные данные для конкретной задачи.
  2. Применение ограничений: Модель последовательно применяет фильтры к предоставленным данным. Сначала она отсеивает Пхукет из-за "сезона дождей". Затем из оставшихся (Бали, Нячанг) она отсеивает Бали из-за превышения бюджета ($180 > $150).
  3. Надежный синтез: В итоге остается только один вариант — Нячанг, который удовлетворяет всем критериям (сухой сезон, бюджет, тип отдыха). Ответ получается не "придуманным", а логически выведенным из предоставленных фактов. Это делает рекомендацию надежной и проверяемой.
  4. Объяснимость (Explainability): Требование пошагово объяснить выбор заставляет модель показать свою "цепочку рассуждений" (Chain-of-Thought) на основе фактов, что повышает доверие к результату и соответствует одному из преимуществ, заявленных в исследовании.

Исследование предлагает метод SubgraphRAG, который борется с галлюцинациями и устаревшими знаниями LLM. Вместо прямого ответа на сложный вопрос, система сначала извлекает из структурированной базы знаний (Knowledge Graph) набор релевантных, атомарных фактов в виде "триплетов" (субъект-отношение-объект), а затем передает этот список фактов LLM вместе с исходным вопросом, чтобы модель сгенерировала ответ, основываясь исключительно на них.

Ключевой результат: Предоставление LLM четкого списка релевантных фактов из базы знаний перед постановкой вопроса резко повышает точность ответов и снижает галлюцинации, позволяя даже менее мощным моделям давать качественные ответы.

Суть метода для практического применения можно сформулировать как принцип "Разделяй и властвуй: сначала факты, потом рассуждения".

Вместо того чтобы заставлять LLM одновременно выполнять две сложные задачи — вспоминать/искать точные факты и логически рассуждать на их основе — мы разделяем этот процесс. Пользователь берет на себя роль "извлекателя фактов" (retriever), а LLM оставляет роль "логического синтезатора" (reasoner).

Методика для пользователя выглядит так:

  1. Этап 1: Ручное извлечение фактов. Столкнувшись со сложным вопросом, требующим нескольких фактов (например, "Какие актеры, снимавшиеся у режиссеров-лауреатов 'Оскара', сами получали 'Оскар' за эти роли?"), не спешите задавать его LLM. Сначала самостоятельно найдите нужные атомарные факты с помощью поисковика или другого надежного источника.

    • Факт 1: Режиссер X получил 'Оскар' за фильм Y.
    • Факт 2: В фильме Y снимался актер Z.
    • Факт 3: Актер Z получил 'Оскар' за роль в фильме Y.
    • ... и так далее.
  2. Этап 2: Структурированный промпт. Сформулируйте промпт, состоящий из трех частей:

    • Контекст: Четко перечислите все найденные факты в виде простого списка.
    • Задача: Сформулируйте ваш исходный вопрос.
    • Инструкция: Дайте LLM прямое указание основывать свой ответ исключительно на предоставленных фактах и не использовать свои внутренние знания.

Этот подход превращает LLM из потенциально ненадежного всезнайки в сфокусированного и точного аналитика, работающего с проверенными данными.

  • Прямая применимость: Пользователь может напрямую применить принцип работы SubgraphRAG, но не саму технологию. Это делается вручную:

    1. Пользователь сам выступает в роли "ретривера", находя нужные факты в Google/Wikipedia.
    2. Затем он структурирует эти факты в промпте, как показано в исследовании (список триплетов/утверждений).
    3. В конце промпта он добавляет свой вопрос с инструкцией использовать только предоставленный контекст. Этот ручной воркфлоу полностью воспроизводит логику метода.
  • Концептуальная ценность: Огромна. Исследование дает пользователю несколько ключевых инсайтов:

    • LLM — это в первую очередь "движок для рассуждений", а не надежная "база данных".
    • Качество ответа напрямую зависит от качества и релевантности предоставленного контекста. "Мусор на входе — мусор на выходе".
    • Структурированная подача информации (списки, факты) работает лучше, чем сплошной неструктурированный текст.
    • Более мощные LLM (как GPT-4o) лучше справляются с анализом большого контекста и отсеиванием "шума", в то время как для более слабых моделей критически важно давать только самую релевантную информацию.
  • Потенциал для адаптации: Метод легко адаптируется из высокотехнологичного пайплайна в простую и эффективную пользовательскую стратегию "Поиск-Затем-Синтез" (Search-then-Synthesize). Эту стратегию можно применять для любых задач, требующих высокой фактической точности: от подготовки отчетов и анализа данных до планирования путешествий и проверки сложных утверждений.

### Контекст (Извлеченные факты)

Вот список фактов о фильмах, режиссерах и наградах:
*   (Фильм: "Форрест Гамп", Режиссер: "Роберт Земекис")
*   (Роберт Земекис, Получил награду: "Оскар за лучшую режиссуру", За фильм: "Форрест Гамп")
*   (Том Хэнкс, Снимался в фильме: "Форрест Гамп")
*   (Том Хэнкс, Получил награду: "Оскар за лучшую мужскую роль", За фильм: "Форрест Гамп")
*   (Фильм: "Список Шиндлера", Режиссер: "Стивен Спилберг")
*   (Стивен Спилберг, Получил награду: "Оскар за лучшую режиссуру", За фильм: "Список Шиндлера")
*   (Лиам Нисон, Снимался в фильме: "Список Шиндлера")
*   (Лиам Нисон, Был номинирован на: "Оскар за лучшую мужскую роль", За фильм: "Список Шиндлера")
*   (Фильм: "Молчание ягнят", Режиссер: "Джонатан Демми")
*   (Джонатан Демми, Получил награду: "Оскар за лучшую режиссуру", За фильм: "Молчание ягнят")
*   (Энтони Хопкинс, Снимался в фильме: "Молчание ягнят")
*   (Энтони Хопкинс, Получил награду: "Оскар за лучшую мужскую роль", За фильм: "Молчание ягнят")

### Задача

Назови актеров, которые получили премию "Оскар" за лучшую мужскую роль, снимаясь в фильме, режиссер которого также получил "Оскар" за этот фильм.

### Инструкции

*   Основывай свой ответ **ИСКЛЮЧИТЕЛЬНО** на фактах, представленных в разделе "Контекст".
*   Не используй никакую другую информацию.
*   Для каждого найденного актера укажи фильм.
*   Ответ дай в виде списка.

Этот промпт эффективен благодаря нескольким механикам, описанным в исследовании:

  1. Разделение задач: Мы не просим LLM вспоминать, кто и за что получал "Оскар". Вся необходимая информация уже предоставлена. Модель не тратит ресурсы на поиск и не рискует ошибиться в фактах.
  2. Структурированный контекст: Факты представлены в виде простых, легко разбираемых "триплетов". Модели гораздо проще работать с такой структурой, чем с абзацем из Википедии. Она может эффективно "просканировать" список и найти нужные связи.
  3. Снижение галлюцинаций: Прямая инструкция Основывай свой ответ ИСКЛЮЧИТЕЛЬНО на фактах заставляет модель работать в режиме "замкнутого мира". Она не будет додумывать, что Лиам Нисон все-таки получил "Оскар", потому что в предоставленных фактах этого нет.
  4. Фокусировка на рассуждении: LLM может полностью сосредоточиться на логической задаче: найти пары (актер, фильм) и (режиссер, фильм), где у обоих есть награда "Оскар", и где фильм совпадает. Это чистое логическое сопоставление, с которым современные модели справляются отлично.
### Контекст (Собранные данные для планирования отпуска)

*   (Страна: "Таиланд", Курорт: "Пхукет", Погода в августе: "Сезон дождей, высокая влажность")
*   (Страна: "Индонезия", Курорт: "Бали", Погода в августе: "Сухой сезон, солнечно")
*   (Страна: "Вьетнам", Курорт: "Нячанг", Погода в августе: "Сухой сезон, жарко")
*   (Курорт: "Пхукет", Средняя цена отеля 4*: "$100/ночь")
*   (Курорт: "Бали", Средняя цена отеля 4*: "$180/ночь")
*   (Курорт: "Нячанг", Средняя цена отеля 4*: "$120/ночь")
*   (Курорт: "Пхукет", Активности: "Дайвинг, ночные клубы, экскурсии")
*   (Курорт: "Бали", Активности: "Серфинг, йога-ретриты, храмы")
*   (Курорт: "Нячанг", Активности: "Пляжный отдых, спа, морепродукты")

### Задача

Я планирую отпуск в августе. Мои критерии:
1.  Избежать сезона дождей.
2.  Бюджет на отель 4* — не более $150 за ночь.
3.  Меня интересует спокойный пляжный отдых и спа.

Проанализируй мои предпочтения и, основываясь **СТРОГО** на данных из контекста, порекомендуй мне один наиболее подходящий курорт. Объясни свой выбор.

### Инструкции

*   Используй только информацию из раздела "Контекст".
*   Пошагово объясни, как ты пришел к своему выводу, проверяя каждый курорт по моим критериям.
📌

Основные критерии оценки

  • Предварительный фильтр: Исследование полностью сфокусировано на текстовых промптах и улучшении ответов LLM с помощью структурированных текстовых данных (триплетов из графа знаний). Оно проходит фильтр.
  • A. Релевантность техникам промтинга: Да, исследование предлагает конкретную структуру промпта (Рис. 2): предоставление LLM списка фактов ("триплетов") и затем постановка вопроса. Это прямая техника.
  • B. Улучшение качества диалоговых ответов: Да, основная цель и результат исследования — повышение точности и снижение галлюцинаций, что напрямую улучшает качество ответов.
  • C. Прямая практическая применимость: Низкая для автоматизированной системы, но высокая для принципа. Пользователь не может запустить систему SubgraphRAG, но может вручную найти факты и применить предложенную структуру промпта.
  • D. Концептуальная ценность: Очень высокая. Исследование отлично объясняет, почему разделение задач "поиск фактов" и "рассуждение" критически важно. Оно дает пользователю ментальную модель "LLM как синтезатор фактов, а не как база знаний". Раскрывает идею, что качество ответа напрямую зависит от качества предоставленного контекста.
  • E. Новая полезная практика (кластеризация): Работа попадает сразу в несколько кластеров:
    • 1. Техники формулирования промптов: Предлагает методику "контекст-задача".
    • 2. Поведенческие закономерности LLM: Анализирует, как разные LLM (Llama vs GPT-4o) справляются с разным объемом контекста ("lost in the middle").
    • 3. Оптимизация структуры промптов: Показывает пользу от передачи фактов в виде структурированного списка (триплетов).
    • 6. Контекст и память (RAG): Является ярким примером продвинутого RAG-подхода.
    • 7. Надежность и стабильность: Основная цель — снижение галлюцинаций и повышение надежности.
  • Чек-лист практичности (+15 баллов): Да, исследование дает готовые конструкции, показывает, как структурировать запросы и раскрывает неочевидные особенности поведения LLM. Бонус применяется.
📌

2 Цифровая оценка полезности

Изначальная оценка находится в диапазоне 65-70 баллов из-за высокого технического порога для прямого воспроизведения метода (необходимость доступа к графу знаний и запуска моделей-ретриверов). Однако, концептуальная ценность и возможность ручной адаптации метода чрезвычайно высоки. Применение бонуса в +15 баллов за практичность поднимает оценку до 80-85.

Итоговая оценка 82 отражает этот баланс: это не простая "копипаст" техника, но фундаментально полезный подход, который, после осмысления, может кардинально улучшить качество ответов на сложные, фактологические вопросы.

Контраргументы:

  • Почему оценка могла быть выше (>90)? Принцип "сначала найди факты, потом задай вопрос на их основе" — один из самых мощных в промпт-инжиниринге. Исследование дает научное обоснование и конкретную структуру для этого. Для продвинутого пользователя, готового к ручному поиску информации, это золотая жила.
  • Почему оценка могла быть ниже (<70)? Для абсолютно нетехнического пользователя, который хочет получить ответ на свой вопрос одной фразой, метод неприменим. Он требует дополнительных действий (поиска фактов), что усложняет и замедляет взаимодействие с LLM. Вся автоматизация, которая является сутью SubgraphRAG, остается "за кадром" и недоступна пользователю.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с