Обзор автоматической оценки галлюцинаций в генерации естественного языка

Это исследование представляет собой масштабный обзор 74 научных работ, посвященных автоматическому обнаружению галлюцинаций (недостоверной информации) в текстах, сгенерированных языковыми моделями. Авторы систематизируют все подходы в единую структуру, которая включает сбор доказательств и механизм сравнения для вынесения вердикта о наличии галлюцинации. Работа вводит фундаментальное различие между двумя типами ошибок: несоответствием предоставленному источнику (Source Faithfulness) и несоответствием фактам реального мира (World Factuality).

Ключевой результат: Создана единая классификация и ментальная модель для понимания и оценки галлюцинаций LLM, что позволяет пользователю осознанно бороться с ними.

Для обычного пользователя суть исследования сводится к двум практическим идеям, которые можно использовать для улучшения своих промптов и оценки ответов LLM.

1. Два типа "вранья" LLM: Понимание этого — ключ к решению проблемы.

   • Ошибка верности источнику (Source Faithfulness, SF): Модель искажает или выдумывает информацию, которой не было в предоставленном вами тексте (контексте). Например, вы дали ей статью про кошек, а в кратком пересказе она упомянула собак. Это ошибка чтения и интерпретации вашего материала.
   • Ошибка верности фактам (World Factuality, WF): Модель генерирует информацию, которая противоречит общеизвестным фактам, даже если в вашем тексте этого не было. Например, в ответе на вопрос о столице Австралии она называет Сидней вместо Канберры. Это ошибка ее собственных "знаний".

2. Как с этим бороться (адаптация методов из статьи):

   • Превращаем LLM в судью (LLM as a Judge): Вместо того чтобы просто просить сгенерировать текст, мы добавляем в промпт второй шаг — заставляем модель саму себя оценить.
   • Применяем самопроверку (Self-Consistency Check): Мы просим модель сгенерировать несколько вариантов ответа, а затем найти и указать расхождения между ними. Логика проста: если модель генерирует противоречивую информацию по одному и тому же вопросу, скорее всего, она не уверена в ответе и может галлюцинировать.

Методика для пользователя: При написании промпта, особенно для важных задач (анализ документов, подготовка материалов), всегда встраивайте в него этап верификации. Заставьте модель не просто выполнить задачу, а еще и проверить свою работу по четким критериям, основанным на понимании SF и WF.

*Прямая применимость:Низкая, если говорить о копировании готовых решений. Однако концепцииSFиWFприменимы немедленно для анализа любого ответа LLM. Пользователь может сразу определить: "Ага, модель выдумала это из моей статьи (SF) или просто ошиблась в факте (WF)?".

• Концептуальная ценность: Очень высокая. Исследование дает пользователю "диагностический инструмент". Вместо того чтобы просто говорить "чат-бот врет", пользователь может классифицировать ошибку. Это помогает формулировать более точные уточняющие промпты для исправления:

  • При SF-ошибке: "Перепроверь свой ответ. В пункте 3 моего документа не было упоминания об этом. Исправь."
  • При WF-ошибке: "Информация о [факте] неверна. Согласно общедоступным данным, [правильный факт]. Скорректируй ответ."

• Потенциал для адаптации: Огромный. Академические методы оценки, описанные в статье, легко превращаются в практические инструкции для промпта.

  • Механизм адаптации: Берем концепцию, например, "Self-consistency check". В исследовании это автоматический процесс, где система сама генерирует много ответов и сравнивает их. Для пользователя это превращается в простую инструкцию в промпте: "Сначала напиши ответ. Затем сгенерируй еще два альтернативных ответа. После этого сравни все три версии и укажи, есть ли между ними противоречия в фактах." Это заставляет модель выполнять ту же логическую операцию, повышая надежность вывода.

Представим, что вы SMM-менеджер и вам нужно на основе отзыва клиента быстро составить пост для социальных сетей.

# РОЛЬ:

Ты — опытный SMM-менеджер. Твой стиль — дружелюбный, но убедительный.

# КОНТЕКСТ (отзыв клиента):

"Мы вчера были в вашем кафе "Уютный уголок". Очень понравился лавандовый раф, просто космос! А вот чизкейк был суховат, если честно. Обслуживание на высоте, официант был очень внимателен. Но музыка играла слишком громко, мешала разговаривать."

# ЗАДАЧА:

Напиши короткий рекламный пост для соцсетей на основе этого отзыва. Подчеркни сильные стороны и тактично обойди негативные моменты, не искажая суть отзыва.

# КОНТРОЛЬ КАЧЕСТВА И ПРОВЕРКА НА ГАЛЛЮЦИНАЦИИ (самый важный шаг):

Перед тем как выдать финальный текст поста, выполни следующую проверку в 3 шага:

1. **Проверка на верность источнику (Source Faithfulness):**

- Убедись, что все упомянутые в посте позитивные факты (лавандовый раф, внимательный официант) взяты **строго из отзыва** в `КОНТЕКСТЕ`.
- Проверь, не добавил ли ты от себя несуществующих деталей (например, "уютная атмосфера", "быстрое приготовление").
2. **Проверка на верность фактам (World Factuality):**

- Проверь, нет ли в тексте поста фактических ошибок. Например, если ты упоминаешь "лавандовый раф", убедись, что это популярный и известный напиток, а не твоя выдумка.
3. **Самопроверка на непротиворечивость (Self-Consistency):**

- Сгенерируй про себя два разных варианта поста. Сравни их. Если в одном ты пишешь "наш фирменный напиток", а в другом "наша новинка", это противоречие. Устрани его.

Только после этой трёхэтапной проверки предоставь мне один, самый лучший вариант поста.

Этот промпт работает за счет того, что он не просто дает команду, а встраивает в нее процесс верификации, основанный на ключевых идеях исследования:

• Явное разделение SF и WF: Инструкции Проверка на верность источнику и Проверка на верность фактам заставляют модель поочередно фокусироваться на двух разных типах потенциальных галлюцинаций. Это предотвращает как "додумывание" деталей из контекста, так и ошибки в общих знаниях.
• Адаптация "LLM as a Judge": Модель получает приказ не только сгенерировать контент, но и выступить в роли собственного критика и редактора. Это активирует ее аналитические, а не только творческие способности.
• Эмуляция "Self-Consistency Check": Требование "сгенерируй про себя два разных варианта поста и сравни их" — это прямая адаптация метода проверки на самосогласованность. Это заставляет модель "задуматься" и выбрать наиболее стабильную и достоверную формулировку, снижая вероятность случайной галлюцинации.

Представим, вы хотите составить для себя краткую памятку по здоровому питанию на основе популярной онлайн-статьи.

# РОЛЬ:

Ты — ассистент-диетолог. Твоя задача — извлекать ключевую, практическую информацию и представлять ее в виде простой и понятной памятки.

# СТАТЬЯ ДЛЯ АНАЛИЗА:

<сюда вставляется текст длинной статьи о средиземноморской диете, ее принципах, пользе и продуктах>

# ЗАДАЧА:

Проанализируй текст статьи и составь на его основе памятку "Основы средиземноморской диеты" в виде списка из 5-7 ключевых правил.

# ОБЯЗАТЕЛЬНАЯ ПРОВЕРКА ПЕРЕД ОТВЕТОМ:

Выполни строгий фактчекинг своего ответа по следующим пунктам, чтобы исключить галлюцинации и дезинформацию.

1. **Верность источнику (SF-Check):**

- Перечисли мысленно все пункты своей памятки. Для каждого пункта найди точное подтверждение в тексте `СТАТЬИ ДЛЯ АНАЛИЗА`. Если прямого подтверждения нет — удали или переформулируй пункт. Не добавляй советы, которых не было в статье.
2. **Верность фактам и здравому смыслу (WF-Check):**

- Проверь, не противоречит ли какой-либо из советов в памятке общепринятым научным знаниям о питании. Если в статье есть спорное утверждение (например, "пейте 5 бокалов вина в день"), добавь к этому пункту пометку `(требует консультации с врачом)`.
3. **Исключение ложных обещаний (Hallucination of Effect):**

- Проверь, не приписываешь ли ты диете чудодейственных свойств, о которых не говорилось в статье (например, "гарантированное похудение на 10 кг за месяц" или "полное излечение от диабета").

Выдай финальный ответ только после того, как убедишься, что все пункты проверки пройдены.

Этот промпт эффективен, потому что он переводит академическую задачу "оценки галлюцинаций" в конкретные исполнимые инструкции для LLM, напрямую связанные с темой здоровья, где точность критически важна.

• Конкретизация проверок под задачу: Вместо общих фраз, проверки адаптированы под медицинскую тематику. Например, WF-Check не просто просит проверить факты, а предлагает конкретное действие — добавить предупреждение (требует консультации с врачом), если совет сомнителен. Это практично.
• Целевая борьба с галлюцинациями: Пункт Исключение ложных обещаний (Hallucination of Effect) — это продвинутая форма проверки. Он нацелен на специфический тип галлюцинаций, когда модель преувеличивает результаты или выдумывает несуществующие эффекты. Это показывает, как общую концепцию из статьи можно детализировать для более точного контроля.
• Принуждение к рефлексии: Команда "Перечисли мысленно все пункты... найди точное подтверждение" заставляет модель выполнять пошаговую внутреннюю верификацию (подобно "Chain-of-Thought"), а не выдавать ответ сразу. Этот процесс самоанализа значительно повышает точность и верность источнику (Source Faithfulness).

• A. Релевантность техникам промтинга: Косвенная. Исследование не предлагает готовых промптов, но детально описывает и классифицирует проблему (галлюцинации) и методы ее обнаружения. Эти методы можно адаптировать в промпт-стратегии.
• B. Улучшение качества диалоговых ответов: Высокое. Понимание фундаментального различия между Source Faithfulness (SF) и World Factuality (WF) позволяет пользователю точнее диагностировать и исправлять ошибки в ответах LLM.
• C. Прямая практическая применимость: Средняя. Исследование описывает автоматизированные системы. Пользователь не может запустить эти системы, но может эмулировать их логику вручную через промпты (например, заставить модель саму себя проверить).
• D. Концептуальная ценность: Очень высокая. Это главное достоинство работы для пользователя. Она дает четкую ментальную модель для понимания галлюцинаций, объясняя, почему LLM "врет" (из-за неверного прочтения источника или из-за неверных собственных знаний).
• E. Новая полезная практика (кластер): Работа однозначно попадает в кластеры №2 (Поведенческие закономерности LLM) и №7 (Надежность и стабильность), так как раскрывает ключевые типы ошибок и описывает методы их обнаружения для повышения надежности.
• Чек-лист практичности (+15 баллов): Да, работа раскрывает неочевидные особенности поведения LLM (различие SF и WF) и предлагает способы (косвенно, через описание методов) улучшить consistency/точность ответов. Это дает +15 баллов к базовой оценке.

Исследование получает 85 баллов. Это не пошаговая инструкция, а фундаментальная работа, которая дает пользователю "суперспособность" — умение правильно диагностировать тип галлюцинации и применять целенаправленные, а не случайные, методы ее исправления.