От одного к многому: как большие языковые модели галлюцинируют при многодокументном суммировании.

Исследование изучает, как и почему большие языковые модели (LLM) "галлюцинируют" (придумывают факты) при создании краткого содержания (суммаризации) на основе нескольких текстовых документов. Авторы обнаружили, что до 75% сгенерированного текста может быть выдумкой, причем ошибки чаще всего появляются ближе к концу ответа.

Ключевой результат: LLM склонны выдумывать информацию, которой нет в источниках, и чаще всего размещают эти выдумки и неточности в конце сгенерированного ответа.

Суть подхода исследователей можно объяснить в нескольких шагах:

1. Создание "ловушки" для LLM: Они брали несколько документов (например, новостных статей) на одну общую тему и просили разные LLM (GPT-4o, Llama 3.1 и др.) сделать краткую выжимку по конкретному подпункту этой темы в виде списка.
2. Проверка на честность: Затем они автоматически сравнивали каждый пункт из сгенерированного LLM списка с исходными текстами. Так они выявляли, какая информация взята из источников, а какая — полностью выдумана (галлюцинация) или является просто "водой" (например, перефразированием самого запроса).
3. Усложнение задачи: Исследователи пошли дальше и провели гениальный эксперимент — они просили модель сделать выжимку по теме, которой вообще не было в предоставленных документах. Цель — посмотреть, признается ли модель, что информации нет, или она предпочтет ее выдумать.
4. Анализ паттернов: В результате этих экспериментов они проанализировали тысячи ответов и выявили четкие закономерности: где именно в ответе чаще всего появляются ошибки, какие модели врут чаще, и как количество документов влияет на качество.

Главный вывод для пользователя — это понимание "психологии" LLM. Модель — не библиотекарь, который ищет факты. Она — мастер импровизации, который стремится дать связный и правдоподобный ответ любой ценой, даже если для этого нужно что-то додумать. И делает она это по предсказуемым паттернам.

*Прямая применимость:

* **Правило "Последних 20%":** Всегда перепроверяйте последние пункты или абзацы в длинных ответах LLM, особенно в задачах суммаризации. Вероятность ошибки там максимальна.
* **Проверка на "пустоту":** Если вы запрашиваете информацию по очень узкой теме из большого объема текста, будьте готовы к тому, что модель может сгенерировать правдоподобную ложь. Если ответ кажется слишком "гладким", стоит перепроверить его особенно тщательно.
* **Не усложняйте без нужды:** Исследование показало, что инструкция "выбери только общую для всех источников информацию" может парадоксальным образом увеличить количество галлюцинаций. Иногда более простой и прямой запрос работает лучше.

• Концептуальная ценность:

  • Это исследование разрушает иллюзию, что LLM — это база знаний. Оно показывает, что это генератор текста, склонный к конфабуляции (заполнению пробелов в памяти выдумками).
  • Оно дает понимание, что увеличение количества информации (документов) не всегда ведет к улучшению качества ответа. Иногда это просто добавляет "шум", в котором модель теряется.

• Потенциал для адаптации:

  • На основе этих выводов можно разработать двухэтапные промпты. Шаг 1: "Сделай выжимку из этих документов". Шаг 2: "А теперь для каждого пункта из твоего ответа найди и процитируй точное предложение из исходных текстов, которое его подтверждает". Этот второй шаг заставляет модель саму верифицировать свою работу и выявлять галлюцинации.

Представьте, что вы маркетолог и хотите проанализировать несколько отзывов клиентов о вашем продукте, чтобы составить отчет для руководства.

Ты — внимательный и беспристрастный аналитик. Твоя задача — проанализировать отзывы клиентов о новом фитнес-приложении и составить краткую сводку.
**# Контекст: Исходные отзывы**

<Отзыв 1>
"Приложение отличное, пользуюсь уже месяц. Тренировки разнообразные, особенно нравится йога. Но вот счетчик калорий часто ошибается, показывает нереальные цифры. Также нет интеграции с моими часами."
Отзыв 1

<Отзыв 2>
"В целом неплохо. Интерфейс понятный. Трекер сна работает хорошо. Хотелось бы больше силовых тренировок. Счетчик калорий — это просто катастрофа, пришлось отключить."
Отзыв 2

<Отзыв 3>
"Мне нравится! Особенно раздел с медитациями. Использую трекер сна каждый день. А вот с калориями беда, пришлось установить другое приложение для этого."
Отзыв 3

**# Задание**

Составь краткую сводку в виде списка, разделив ее на "Плюсы" и "Минусы".

**# Критически важные инструкции по предотвращению ошибок**

1. **Принцип "Только факты":** Включай в сводку только ту информацию, которая явно присутствует в отзывах. Не делай собственных выводов и не добавляй общих фраз (например, "приложение имеет большой потенциал").
2. **Правило "Нет информации — нет пункта":** Если в отзывах нет информации о каком-то аспекте (например, о работе службы поддержки), не упоминай его и ничего не придумывай.
3. **Самопроверка конца списка:** После того как составишь список минусов, перепроверь последний пункт. Убедись, что он точно основан на отзывах, а не является твоим обобщающим суждением.

Этот промпт напрямую использует выводы исследования для повышения надежности ответа:

• Инструкция №1 ("Только факты"): Борется с "педантичными" и "фабрикационными" ошибками (Pedantic/Fabrication errors), о которых говорится в исследовании, запрещая модели добавлять "отсебятину" и общие, неконкретные фразы.
• Инструкция №2 ("Нет информации — нет пункта"): Прямо противодействует главной проблеме, выявленной в работе, — склонности LLM выдумывать информацию, когда ее нет в источниках ("summarizing the unsummarizable").
• Инструкция №3 ("Самопроверка конца списка"): Это прямое применение ключевого вывода о том, что галлюцинации чаще всего появляются в конце генерируемого текста. Мы заставляем модель провести самоконтроль в самой уязвимой точке, что снижает вероятность ошибки.

Представьте, вы студент и пишете реферат. Вы нашли три научные статьи по теме и хотите получить из них основные тезисы.

Ты — ассистент исследователя. Твоя задача — извлечь ключевые тезисы из предоставленных фрагментов научных статей о влиянии сна на когнитивные функции.
**# Контекст: Фрагменты статей**

<Статья 1>
"...наше исследование показало, что недостаток сна (менее 6 часов) коррелирует со снижением скорости реакции на 15% у испытуемых..."
Статья 1

<Статья 2>
"...фаза глубокого сна играет ключевую роль в консолидации долговременной памяти. Участники, демонстрировавшие более длительную фазу глубокого сна, лучше справлялись с тестами на запоминание..."
Статья 2

<Статья 3>
"...хроническое недосыпание приводит к ухудшению исполнительных функций, в частности, способности к планированию и принятию решений. Однако прямого влияния на словарный запас выявлено не было."
Статья 3

**# Задание**

Сформулируй 3-4 основных вывода из этих статей в виде нумерованного списка.

**# Правила для обеспечения точности**

1. **Без синтеза новых идей:** Не объединяй выводы из разных статей в один новый тезис. Каждый пункт твоего списка должен быть основан на информации из ОДНОЙ конкретной статьи.
2. **Обязательная проверка:** В конце своего ответа, под списком, добавь раздел "Источник для последнего тезиса" и укажи, из какой статьи (1, 2 или 3) взят последний пункт твоего списка. Это обязательно.
3. **Если нет общих выводов:** Не пытайся найти "общий знаменатель" или сделать глобальный вывод, если он не сформулирован в текстах. Просто перечисли ключевые факты.

Этот промпт также основан на выводах исследования, но адаптирован для академического контекста:

• Инструкция №1 ("Без синтеза новых идей"): Предотвращает тонкие галлюцинации, когда модель берет два верных факта из разных источников и создает из них новый, но уже не подтвержденный источниками вывод.
• Инструкция №2 ("Обязательная проверка"): Это еще один способ заставить модель провести самопроверку самого уязвимого места — конца ответа. Требование указать источник для последнего тезиса заставляет модель "заземлить" его в конкретном тексте, а не выдумать.
• Инструкция №3 ("Если нет общих выводов"): Борется с ошибкой "Instruction Inconsistency", когда модель пытается быть "полезной" и следует неявным паттернам (например, всегда писать заключение), даже если ее об этом не просили и данных для этого нет. Это снижает риск появления общих, но не подкрепленных фактами фраз.

• A. Релевантность техникам промтинга: Да, исследование анализирует, как разные формулировки инструкций (например, просьба сфокусироваться на "достоверной" информации) влияют на результат, и дает понимание, почему это может работать не так, как ожидалось.
• B. Улучшение качества диалоговых ответов: Определенно. Выводы напрямую касаются точности и правдоподобия ответов в задаче суммаризации, что является частым сценарием использования чат-ботов.
• C. Прямая практическая применимость: Высокая. Пользователь без каких-либо технических навыков может немедленно применить выводы для критической оценки ответов LLM и адаптации своих запросов, чтобы снизить риски.
• D. Концептуальная ценность: Очень высокая. Исследование блестяще раскрывает "ментальную модель" LLM, объясняя ее склонность к фабрикации, зависимость от порядка информации и влияние "шума" из множества источников.
• E. Новая полезная практика (Кластеры):
  • Кластер 2 (Поведенческие закономерности LLM): Да, это ядро исследования. Ключевые выводы: галлюцинации чаще появляются в конце ответа; ошибки часто происходят из-за информации в последних документах (recency bias).
  • Кластер 6 (Контекст и память): Да, вся работа посвящена проблеме обработки множества документов (длинный контекст).
  • Кластер 7 (Надежность и стабильность): Да, это центральная тема. Работа посвящена анализу галлюцинаций и предлагает понимание, как повысить надежность.
• Чек-лист практичности (+15 баллов):
  • Дает готовые фразы/конструкции для промптов? (Нет)
  • Объясняет, где в промпте размещать важную информацию? (Да, косвенно, показывая, что ошибки могут происходить из-за последних документов в контексте).
  • Показывает, как структурировать сложные запросы? (Да, показывая ловушки, в которые можно попасть).
  • Раскрывает неочевидные особенности поведения LLM? (Да, это главный вклад работы).
  • Раскрывает эффективные метода суммаризации текста (Да, через анализ неэффективных методов и их последствий).
  • Предлагает способы улучшить consistency/точность ответов? (Да, через понимание природы ошибок и предложение методов пост-обработки).
  • Итог: Однозначное "ДА" на несколько пунктов. Базовая оценка в 75+ баллов получает бонус в 15 баллов.

Аргументы в пользу оценки 92: Исследование предоставляет два чрезвычайно ценных и практически применимых вывода для любого пользователя: 1. "Галлюцинации живут в конце": Знание о том, что ошибки и выдумки чаще всего скапливаются в конце сгенерированного ответа, — это простой и мощный эвристический прием. Он позволяет пользователю сфокусировать свое внимание и критическое мышление на самой уязвимой части ответа LLM. 2. "Модель лучше соврет, чем промолчит": Демонстрация того, что LLM (особенно GPT-3.5) с вероятностью до ~80% сгенерирует ответ на тему, информация о которой полностью отсутствует в источниках, является фундаментальным знанием. Это учит пользователя не доверять по умолчанию любому ответу, особенно если запрос был по узкой теме.

Эти выводы напрямую влияют на то, как пользователь должен писать промпты и, что еще важнее, как он должен верифицировать ответы. Работа получает оценку выше 90, так как ее выводы можно немедленно интегрировать в свой рабочий процесс и значительно повысить качество итоговых результатов за счет более грамотной проверки.