От RAG до агентного: валидация ответов исламской медицины с помощью агентов LLM.

Исследование показывает, что стандартный подход с предоставлением модели контекста (RAG) для ответа на вопрос дает хорошие, но неполные и не всегда безопасные результаты. Авторы предлагают добавить второй, "агентский" шаг: после генерации чернового ответа заставить ту же самую LLM выступить в роли критика, который перепроверяет факты по контексту, добавляет научное обоснование и указывает на риски. Этот двухэтапный процесс значительно повышает точность, полноту и надежность финального ответа.

Ключевой результат: Явное указание LLM на необходимость самокритики своего же ответа — это мощнейший инструмент для снижения галлюцинаций и повышения качества генерации.

Суть метода, названногоTibbe-AG, заключается в разделении сложной задачи "дать качественный ответ" на два последовательных и более простых подзадачи:

1. Генерация черновика (RAG): Сначала вы даете модели LLM задачу и весь необходимый контекст (например, текст статьи, документ, описание продукта). На основе этого контекста модель генерирует первоначальный, "черновой" вариант ответа. Этот шаг уже лучше, чем ответ без контекста, так как он снижает вероятность откровенных выдумок.

2. Агентская самокритика (Agentic Self-Critique): Это ключевая инновация. Вместо того чтобы принять черновой ответ, вы даете модели новую инструкцию: "А теперь выступи в роли дотошного эксперта-критика. Возьми свой предыдущий ответ и проверь его по следующим пунктам: (а) все ли факты соответствуют предоставленному мной тексту? (б) достаточно ли глубоко раскрыта суть? (в) какие есть риски или важные оговорки, о которых нужно упомянуть? Перепиши свой ответ, чтобы он стал точнее, полнее и безопаснее."

Этот второй шаг заставляет модель переключиться с режима "генератора" в режим "оценщика". Она вынуждена провести факт-чекинг, углубить аргументацию и добавить критически важные детали, которые были упущены в первой итерации. В результате финальный ответ становится на порядок более качественным и надежным.

*Прямая применимость:Исключительно высокая. Любой пользователь в любом чате (ChatGPT, Claude, Gemini) может реализовать этот метод. Достаточно в одном промпте дать контекст и попросить черновик, а в следующем промпте — попросить покритиковать и улучшить этот черновик по заданным критериям. Это можно сделать даже в рамках одного, но хорошо структурированного промпта.

• Концептуальная ценность: Огромная. Исследование наглядно доказывает, что LLM по умолчанию не склонны к самокритике. Они оптимизированы для генерации наиболее вероятного текста, а не для его проверки. Пользователь должен усвоить важный урок: чтобы получить качественный результат, нужно не только ставить задачу, но и явно запрашивать процесс её верификации. Это сдвигает парадигму взаимодействия от "вопрос-ответ" к "постановка задачи - контроль исполнения".

• Потенциал для адаптации: Метод абсолютно универсален. Вместо исламских медицинских текстов контекстом может быть что угодно: финансовый отчет, юридический документ, маркетинговая стратегия, отзывы клиентов, научная статья. Критерии для самокритики также легко адаптируются под задачу: для анализа отчета это будут "точность цифр" и "выявление рисков", а для маркетингового текста — "соответствие Tone of Voice" и "сила призыва к действию".

Представим, что вы маркетолог и хотите получить краткий анализ отзыва клиента на ваш новый онлайн-курс.

Ты — опытный маркетолог-аналитик. Твоя задача — проанализировать отзыв клиента и подготовить отчет для команды продукта.
**Действуй строго по шагам:**

**ШАГ 1: Создание черновика анализа**
Прочитай отзыв клиента, приведенный ниже в теге `<ОТЗЫВ>`, и напиши краткий черновик анализа. В черновике просто выдели основные позитивные и негативные моменты.

**ШАГ 2: Агентская самокритика и финальный отчет**
После создания черновика, немедленно перейди в роль "Старшего менеджера по продукту". Выполни строгую самокритику своего же черновика по следующим критериям:
1. **Глубина:** Достаточно ли глубоко я копнул? Возможно, за негативом скрывается конкретная проблема с UX/UI, а за позитивом — ключевая ценность продукта?
2. **Действенность:** Какие конкретные, практические рекомендации для команды разработки и маркетинга можно извлечь из этого отзыва?
3. **Скрытые потребности:** Какие невысказанные желания или "боли" клиента можно предположить на основе его слов?

На основе этой критики напиши финальный, подробный и структурированный отчет.

<ОТЗЫВ>
"Курс в целом неплохой, много полезной информации. Особенно понравился модуль про SEO. Но я постоянно путался в навигации на платформе, чтобы найти нужное видео, приходилось делать кучу кликов. И еще, хотелось бы больше практических домашних заданий, а то теории много, а как применить — не всегда понятно."
ОТЗЫВ

Этот промпт работает за счет декомпозиции сложной аналитической задачи на два этапа, что имитирует процесс мышления человека-эксперта и использует выводы исследования:

1. Разделение когнитивной нагрузки: На Шаге 1 модель решает простую задачу — извлечь и суммировать факты (RAG-подобная операция). Ей не нужно одновременно анализировать, делать выводы и давать рекомендации. Это позволяет получить качественный "сырой" материал.
2. Активация критического мышления: Шаг 2 является прямой реализацией "agentic self-critique". Смена роли на "Старшего менеджера" и четкие критерии критики (Глубина, Действенность, Скрытые потребности) заставляют модель не просто пересказать черновик, а оценить его и обогатить. Она вынуждена искать причинно-следственные связи ("путался в навигации" -> "проблема с UX/UI"), генерировать гипотезы ("не хватает практики" -> "скрытая потребность в применимости знаний") и формулировать конкретные задачи для команды.

В итоге, вместо поверхностного пересказа отзыва пользователь получает глубокий анализ с практическими выводами.

Задача: составить план здорового питания на день на основе статьи о средиземноморской диете.

Ты — профессиональный диетолог. Твоя задача — помочь мне составить план питания на один день, основываясь на принципах из статьи.
**Действуй строго по шагам:**

**ШАГ 1: Набросок плана питания**
Прочитай ключевые принципы средиземноморской диеты в теге `<СТАТЬЯ>` и составь черновой вариант меню на день (завтрак, обед, ужин).

**ШАГ 2: Самокритика и улучшение плана**
Сразу после создания черновика, выполни его критический анализ с точки зрения опытного диетолога. Задай себе следующие вопросы:
1. **Сбалансированность:** Сбалансирован ли план по белкам, жирам и углеводам? Достаточно ли клетчатки?
2. **Безопасность и риски:** Есть ли в этом плане продукты, которые могут быть вредны для людей с определенными заболеваниями (например, с проблемами ЖКТ или аллергиями)? Какие предупреждения стоит добавить?
3. **Практичность:** Насколько этот план реалистичен для обычного работающего человека? Легко ли найти эти продукты? Сколько времени займет готовка?

На основе этой самокритики доработай план, добавив в него конкретные граммовки, варианты замены продуктов и важные предупреждения.

<СТАТЬЯ>
"Средиземноморская диета богата овощами, фруктами, цельнозерновыми, бобовыми и орехами. Основной источник жиров — оливковое масло. Рыба и морепродукты употребляются регулярно, а вот красное мясо и сладости — редко. Важно пить много воды и есть молочные продукты, такие как йогурт и сыр, в умеренных количествах."
СТАТЬЯ

Этот промпт эффективен, потому что он предотвращает типичную ошибку LLM — выдачу слишком общего или потенциально небезопасного совета.

1. Генерация на основе контекста: На Шаге 1 модель просто компилирует меню из разрешенных продуктов, представленных в статье (<СТАТЬЯ>). Это базовый RAG-сценарий, который гарантирует, что ответ будет релевантен теме.

2. Добавление слоя экспертизы и безопасности: Шаг 2 — это реализация агентской самокритики из исследования. Критерии (Сбалансированность, Безопасность, Практичность) заставляют модель выйти за рамки простого перечисления продуктов. Она вынуждена "подумать" как настоящий диетолог:

   • Проанализировать не только состав, но и баланс нутриентов.
   • Самое важное: предвидеть потенциальные риски и добавить оговорки (противопоказания), что является ключевым аспектом надежности, подчеркнутым в исследовании.
   • Оценить план с точки зрения реальной жизни, что делает совет не просто правильным, но и полезным.

• A. Релевантность техникам промтинга: Да, исследование предлагает конкретную, мощную двухэтапную технику промптинга (генерация + самокритика).
• B. Улучшение качества диалоговых ответов: Да, это основная цель и результат исследования. Показано значительное улучшение точности, полноты и безопасности ответов.
• C. Прямая практическая применимость: Да, метод полностью воспроизводим в любом чат-боте без использования кода. Пользователь может реализовать его с помощью двух последовательных промптов.
• D. Концептуальная ценность: Очень высокая. Раскрывает, что LLM необходимо явно указывать на необходимость проверки и критики собственных ответов, что является ключевым инсайтом для пользователей.
• E. Новая полезная практика (кластеризация): Работа напрямую попадает в кластеры №1 (Техники формулирования), №6 (Контекст и память) и №7 (Надежность и стабильность).
• Чек-лист практичности: Даны ответы на все вопросы, что дает +15 баллов к базовой оценке. Исследование предлагает готовую конструкцию, показывает как структурировать запрос и раскрывает неочевидные особенности LLM.

Исследование получает 95 из 100 баллов. Это почти идеальный пример научной работы, выводы которой напрямую и немедленно применимы обычным пользователем для кардинального улучшения качества ответов LLM. Метод "генерация + самокритика" универсален и не зависит от предметной области.

• Аргументы "ЗА" высокую оценку:

  • Универсальность: Техника самокритики применима к любой задаче: от анализа маркетингового текста до составления плана путешествия.
  • Простота: Метод не требует сложных конструкций. Он интуитивно понятен: сначала попроси сделать, потом попроси проверить и улучшить.
  • Эффективность: Как показывают результаты (рост 3C3H score с ~0.67 до ~0.80), прирост в качестве огромен. Это один из самых действенных приемов для повышения надежности.
  • Концептуальный прорыв для пользователя: Работа учит пользователя не просто давать задачу, а управлять процессом мышления модели, разделяя его на этапы.

• Контраргументы (почему не 100):

  • Узкая предметная область: Фокус на исламской медицине может отпугнуть пользователя, который по заголовку решит, что работа не имеет к нему отношения. Ценнейший универсальный метод "завернут" в очень специфическую оболочку.
  • Академический язык: Статья написана сложным языком (Tibbe-AG, dense retriever, 3C3H metric), что затрудняет извлечение сути для неспециалиста. Требуется "переводчик" (как эта оценка), чтобы донести идею.