STRUCTSENSE: Агентский фреймворк, не зависящий от задач, для извлечения структурированной информации с оценкой и бенчмаркингом с участием человека

Исследование представляет STRUCTSENSE — систему из нескольких ИИ-агентов для точного извлечения структурированной информации (например, данных для таблицы) из неструктурированного текста (научных статей). Система разбивает задачу на роли: один агент извлекает данные, другой сверяет их с базой знаний (онтологией), а третий (агент-судья) оценивает и критикует результат для его улучшения.

Ключевой результат: Такой многоагентный подход с этапом самооценки и возможностью вмешательства человека значительно превосходит простые запросы к LLM, особенно в сложных и узкоспециализированных областях.

Суть метода для обычного пользователя заключается в том, чтобы перестать давать LLM одну большую и сложную инструкцию, а вместо этого смоделировать в своем промпте работу команды из нескольких "специалистов". Вместо того чтобы писать "Проанализируй текст и дай мне данные", вы создаете в рамках одного или нескольких последовательных промптов рабочий процесс.

Этот процесс состоит из трех ключевых шагов, которые можно имитировать в чате:

1. Роль: Агент-Извлекатель (Extractor Agent). Вы даете LLM четкую инструкцию извлечь информацию из текста в соответствии с заданной структурой (например, JSON или таблица). Это первый, "черновой" этап.

2. Роль: Агент-Сверки (Alignment Agent). Вы предоставляете модели "справочник" или "онтологию" — список правильных терминов, категорий или определений. Затем вы просите модель проверить извлеченные на первом шаге данные и привести их в соответствие с этим справочником. Это помогает избежать двусмысленности и стандартизировать результат. Например, если модель извлекла "мышь" и "крыса", а в вашем справочнике есть только категория "грызуны", она должна будет произвести замену.

3. Роль: Агент-Судья (Judge Agent). Это самый важный шаг. Вы просите LLM выступить в роли строгого критика и оценить свою же работу с предыдущих шагов. Вы даете ей критерии для оценки: "Проверь, все ли данные извлечены? Нет ли пропусков? Соответствует ли результат запрошенному формату? Насколько точны данные?". Этот этап самокоррекции заставляет модель найти и исправить собственные ошибки.

Таким образом, вы превращаете один запрос в управляемый, многоэтапный процесс, где каждый следующий шаг повышает качество результата предыдущего.

• Прямая применимость: Пользователь может напрямую симулировать этот метод в любом чат-боте. Это делается либо через последовательность из 2-3 промптов ("Сначала извлеки...", "Теперь проверь...", "А теперь оцени свою работу..."), либо в рамках одного большого, хорошо структурированного промпта, где эти шаги описаны как последовательные задачи.

• Концептуальная ценность: Ключевая идея — декомпозиция и самокритика. Исследование наглядно доказывает, что LLM работают гораздо надежнее, когда их заставляют сначала выполнить действие, а затем его отрефлексировать и проверить. Это помогает пользователю понять, что для получения качественного результата нужно не просто дать команду, а выстроить для модели "рабочий процесс".

• Потенциал для адаптации: Метод универсален и легко адаптируется для любой задачи, требующей высокой точности. Вместо извлечения данных это может быть написание текста ("Сначала напиши черновик...", "Теперь проверь его на стилистические ошибки по этим критериям..."), анализ документов, создание планов и т.д. Механизм адаптации — просто заменить "извлечение данных" на целевое действие, сохранив при этом шаги "сверка со справочником" (если применимо) и "самокритика".

Представим, что вы маркетолог и хотите проанализировать отзывы клиентов на новый продукт, чтобы составить сводку для руководства.

Ты — опытный маркетолог-аналитик. Твоя задача — проанализировать отзывы клиентов и подготовить структурированную сводку.

**КОНТЕКСТ:**
Ниже приведены отзывы клиентов на наш новый фитнес-браслет "VitaPulse S3".

<отзывы>
1. "Купил VitaPulse S3 неделю назад. В целом нравится, шаги считает точно. Но вот мониторинг сна — это просто ужас, показывает полную ерунду. Батарея держит дня 4, что неплохо. Приложение для телефона удобное, синхронизируется без проблем." - Иван П.
2. "Браслет красивый, на руке сидит хорошо. Пульс меряет с погрешностью, сравнивала с тонометром. Заявлено 5 дней работы, а у меня сел за 3. Неприятно. Зато уведомления с мессенджеров приходят стабильно." - Анна В.
3. "Отличная вещь за свои деньги! Особенно порадовала функция дыхательных упражнений. Помогает успокоиться. Сон отслеживает вроде бы корректно, не знаю, чего там Иван жалуется. Батарейка могла бы быть и получше." - Сергей К.


**ТВОЙ РАБОЧИЙ ПРОЦЕСС:**

**ЗАДАЧА 1: АГЕНТ-ИЗВЛЕКАТЕЛЬ**
Проанализируй отзывы и извлеки всю информацию в формате JSON. Используй следующую структуру для каждого отзыва:
{
  "author": "имя автора",
  "positive_aspects": ["список позитивных моментов"],
  "negative_aspects": ["список негативных моментов"],
  "mentioned_features": ["список упомянутых функций, например, 'мониторинг сна', 'батарея'"]
}
Создай список из таких JSON-объектов.

**ЗАДАЧА 2: АГЕНТ-СУДЬЯ (САМОКРИТИКА)**
После того как ты сгенерируешь JSON, немедленно переключись в роль строгого внутреннего контролера качества.
Твоя цель — проверить свою работу из ЗАДАЧИ 1 по следующим критериям:
1.  **Полнота:** Извлек ли ты ВСЕ упомянутые позитивные и негативные аспекты из КАЖДОГО отзыва? Не пропустил ли что-то?
2.  **Точность:** Правильно ли ты отнес аспект к позитивному или негативному?
3.  **Формат:** Строго ли ты следовал структуре JSON? Все ли скобки и кавычки на месте?

Напиши отчет о самопроверке. Если найдешь ошибки или неточности, предоставь **исправленную и финальную версию JSON**.

Этот промпт эффективен, потому что он имитирует архитектуру STRUCTSENSE, заставляя LLM работать в несколько этапов, что снижает когнитивную нагрузку и повышает точность:

1. Декомпозиция задачи: Вместо общей команды "проанализируй отзывы", мы разбиваем ее на две четкие подзадачи: "сначала извлеки" (АГЕНТ-ИЗВЛЕКАТЕЛЬ) и "потом проверь" (АГЕНТ-СУДЬЯ). Это позволяет модели сфокусироваться на каждой части по отдельности.
2. Принудительная рефлексия: ЗАДАЧА 2 заставляет модель не просто выдать результат, а перепроверить его по заданным критериям. Это активирует другие нейронные пути, отвечающие за логику и сравнение, и помогает отловить ошибки, которые были допущены на этапе "творческого" извлечения информации.
3. Четкие критерии: "Судья" получает конкретные пункты для проверки (полнота, точность, формат). Это направляет процесс самокритики и делает его более эффективным, чем общая просьба "проверь на ошибки".

Задача: Составить краткий план поездки в Стамбул на 3 дня на основе статьи из тревел-блога.

Ты — опытный планировщик путешествий. Твоя задача — помочь мне составить план поездки.

**КОНТЕКСТ:**
Вот отрывок из статьи "Стамбул за 3 дня: что посмотреть новичку".

<текст статьи>
"В первый день обязательно начните с исторического центра. Посетите Голубую мечеть и собор Святой Софии, они находятся рядом. После обеда в одном из ресторанчиков Султанахмета, отправляйтесь в Цистерну Базилику. Вечер можно провести на Гранд-базаре, но будьте готовы к толпам. На второй день рекомендую отправиться на другой берег Золотого Рога. Поднимитесь на Галатскую башню для панорамного вида, а затем прогуляйтесь по улице Истикляль с ее историческими трамвайчиками. Обязательно попробуйте местный стрит-фуд, например, балык-экмек у Галатского моста. Третий день посвятите азиатской части. Сядьте на паром в Кадыкёй, погуляйте по его модному району Мода и выпейте кофе. Это совсем другой Стамбул, более спокойный и аутентичный."


**ТВОЙ РАБОЧИЙ ПРОЦЕСС:**

**ЗАДАЧА 1: АГЕНТ-ИЗВЛЕКАТЕЛЬ**
Извлеки из текста все упомянутые достопримечательности, места и активности. Сгруппируй их по дням. Представь результат в виде простого списка.

**ЗАДАЧА 2: АГЕНТ-СУДЬЯ (САМОКРИТИКА)**
Сразу после выполнения ЗАДАЧИ 1, выступи в роли придирчивого редактора туристических гидов. Проверь свой список по следующим критериям:
1.  **Полнота:** Упомянуты ли ВСЕ локации и активности из текста (включая еду и шоппинг)?
2.  **Логика:** Правильно ли сгруппированы активности по дням в соответствии с текстом?
3.  **Ясность:** Понятен ли каждый пункт? Может, стоит что-то уточнить?

Напиши краткий отчет о самопроверке. Если нашел ошибки или упущения, предоставь **финальный, исправленный и улучшенный план поездки в виде таблицы** с колонками: "День", "Активность/Место", "Краткое описание".

Этот промпт работает по тем же принципам, что и предыдущий, но с небольшими отличиями в применении:

1. От простого к сложному: ЗАДАЧА 1 просит извлечь информацию в простом формате (список). Это легкая "черновая" работа для модели. ЗАДАЧА 2 требует не только проверки, но и реструктуризации данных в более сложный формат (таблицу). Это позволяет модели сначала сфокусироваться на содержании, а затем на форме.
2. Контекстуальная проверка: "Агент-судья" здесь проверяет не только полноту, но и логику группировки по дням, что является ключевым требованием для плана поездки. Это заставляет модель не просто выдергивать факты, а анализировать их взаимосвязи в исходном тексте.
3. Добавление ценности: Просьба "уточнить" пункты и представить результат в виде таблицы с описанием мотивирует модель не просто переписать извлеченное, а обогатить его, сделав финальный результат более полезным для пользователя. Это симуляция цикла "извлечение-улучшение", который лежит в основе фреймворка STRUCTSENSE.