Улучшение способности сопоставления патентов больших языковых моделей с помощью графа памяти

Исследование предлагает метод MemGraph, который значительно улучшает способность LLM сравнивать сложные текстовые документы (в данном случае, патенты). Вместо того чтобы просить модель сразу дать ответ, пользователь сначала заставляет её выполнить две промежуточные задачи: извлечь из каждого текста ключевые термины (сущности), а затем на их основе построить иерархическую классификацию (онтологию).

Ключевой результат: Двухэтапный промптинг, заставляющий LLM сначала структурировать информацию, а затем ее анализировать, повышает точность сравнения на 10-17% и делает выводы модели более надежными и осмысленными.

Суть метода MemGraph, переведенная на язык обычного пользователя, заключается в том, чтобы не доверять "интуиции" LLM при решении сложных задач на сравнение, а заставить её "думать на бумаге" в два шага.

Представьте, что вы просите LLM сравнить два сложных объекта (например, два смартфона). Если просто спросить "какой лучше?", модель может зацепиться за поверхностные ключевые слова (например, "батарея", "камера") и дать неточный ответ. Метод MemGraph предлагает заставить модель действовать как настоящий эксперт:

1. Шаг 1: Извлечение "ДНК" объекта (сущностей). Вы даете модели описания двух смартфонов и просите: "Выпиши из каждого текста список самых важных технических характеристик и уникальных функций. Без воды, только конкретные термины". Например: "Чипсет Snapdragon 8 Gen 3", "AMOLED-экран 120 Гц", "Телеобъектив с 5x зумом". Это заставляет модель сфокусироваться на значимых деталях, а не на маркетинговых фразах.

2. Шаг 2: Построение "родословной" (онтологии) и сравнение. Вы берете эти списки сущностей и даете модели вторую команду: "А теперь для каждого смартфона создай логическую структуру категорий, например: Производительность > Чипсет, Дисплей > Тип матрицы, Камера > Модули > Зум. Разложи все извлеченные сущности по этой структуре. После этого, сравнив получившиеся структуры, скажи, какой телефон лучше для фотографа и почему".

Этот подход заменяет поверхностное сопоставление слов на глубокое структурное сравнение. Модель вынуждена не просто находить совпадения, а понимать, как конкретная характеристика (сущность) вписывается в общую концепцию (онтологию) продукта.

*Прямая применимость:Чрезвычайно высокая. Пользователь может скопировать двухшаговую логику для любой задачи, требующей детального сравнения:

* Выбор между двумя товарами (телефоны, ноутбуки, автомобили).
* Анализ двух резюме кандидатов на должность.
* Сравнение условий двух договоров или тарифов.
* Поиск наиболее релевантной научной статьи из нескольких предложенных.
Метод реализуется двумя последовательными промптами в любом чат-боте.

• Концептуальная ценность: Дает пользователю мощную ментальную модель: "Не заставляй LLM делать сложный вывод в один шаг. Заставь его сначала подготовить и структурировать данные". Это учит декомпозиции задачи и помогает понять, что LLM лучше рассуждает, когда ее рассуждения сделаны явными и estructтурированными.

• Потенциал для адаптации: Метод легко адаптируется. Вместо "патента" пользователь подставляет свой контекст. Вместо "IPC-классификации" просит создать логичную иерархию для своей области.

  • Механизм адаптации:
    1. Определите, что вы хотите сравнить (товары, тексты, резюме).
    2. В первом промпте попросите извлечь ключевые "сущности" (характеристики, навыки, условия).
    3. Во втором промпте попросите создать "онтологию" (структуру категорий) и на ее основе провести сравнение, сделав аргументированный вывод.

Этот промпт работает, потому что он в точности реализует метод MemGraph:

1. Избегаем поверхностного анализа: Вместо того чтобы LLM сразу делала вывод, мы заставляем ее на Шаге 1 "извлечь сущности" (канбан-доски, диаграмма Ганта, корпоративный портал, роботы и триггеры). Это заставляет модель сфокусироваться на конкретных функциях, а не на общих словах.

2. Принуждаем к структурному мышлению: На Шаге 2 мы даем модели готовую "онтологию" (структуру категорий) и просим разложить по ней извлеченные факты. Это не дает модели "сбиться с пути". Она вынуждена сравнивать не просто списки фич, а сравнивать их в контексте Управления продажами или Простоты освоения.

3. Повышаем надежность вывода: Финальная рекомендация основывается не на "общем впечатлении" модели, а на результатах предыдущего структурного анализа. Это делает вывод гораздо более обоснованным и точным, напрямую решая задачу пользователя о приоритете простоты.

Этот пример работает по той же логике, что и предыдущий, но в другой сфере:

1. Фокус на релевантном: Шаг 1 заставляет LLM извлечь не все подряд, а именно то, что важно для "семейного отдыха" (песчаные пляжи, детские клубы, аренда машины, таверны). Это сразу отсекает нерелевантную информацию.

2. Создание системы координат: Шаг 2 формирует "онтологию" — систему критериев для принятия решения (Тип пляжа, Формат отдыха). Модель не может просто сказать "в Турции хорошо", она обязана проанализировать каждое направление по заданным параметрам.

Сравнение в рамках заданной структуры позволяет LLM сделать точный и аргументированный вывод, соответствующий главному приоритету пользователя ("беззаботный отдых под рукой"). Вместо абстрактного сравнения стран, модель сравнивает конкретные форматы отдыха, что и требовалось пользователю. Это и есть практическое применение метода MemGraph.

• A. Релевантность техникам промтинга: Да, исследование предлагает конкретный двухэтапный паттерн промптинга: сначала извлечение сущностей, затем построение онтологий для сравнения. В таблице 1 приведены готовые шаблоны промптов.
• B. Улучшение качества диалоговых ответов: Да, основной результат — значительное повышение точности в сложной задаче сравнения (патентный мэтчинг), что напрямую транслируется в более качественные и обоснованные ответы в чат-сценариях.
• C. Прямая практическая применимость: Да, метод (MemGraph) полностью реализуется через промпты, без необходимости в коде или дообучении модели. Любой пользователь может применить эту двухшаговую логику в обычном чате с LLM.
• D. Концептуальная ценность: Очень высокая. Исследование объясняет, почему LLM часто ошибаются при сравнении (поверхностное сопоставление ключевых слов) и дает ментальную модель, как это исправить: заставить модель сначала структурировать информацию (извлечь "сущности" и "онтологии"), а уже потом делать выводы.

• E. Новая полезная практика (кластеризация): Работа попадает сразу в несколько ключевых кластеров:

  • Кластер 1 (Техники формулирования): Предлагает метод декомпозиции задачи на два последовательных промпта.
  • Кластер 5 (Извлечение и структурирование): Является ядром метода — извлечение сущностей и создание иерархической структуры (онтологии).
  • Кластер 7 (Надежность и стабильность): Метод напрямую направлен на снижение ошибок ("галлюцинаций" при сравнении) и повышение надежности выводов.

• Чек-лист практичности (+15 баллов): Да, исследование дает готовые конструкции, показывает, как структурировать сложные запросы, раскрывает неочевидные особенности поведения LLM и предлагает способ улучшить точность.

Оценка 90/100 основана на том, что исследование предлагает не просто "трюк", а целую методологию для решения сложных задач сравнения, которую можно немедленно применить на практике. Это фундаментальный подход к улучшению качества рассуждений LLM через структурирование информации с помощью промптов.