Три типа источников против галлюцинаций: структурированная проверка фактов в LLM

Система работает во время генерации ответа LLM:

ШАГ 1: Извлечение фактов
LLM генерирует текст → Fine-tuned T5 извлекает проверяемые утверждения

ШАГ 2: Параллельная проверка по типам источников
Каждое утверждение → одновременно:
 - Structured: Wikidata, YAGO, domain ontologies
 - Real-time: Google/Bing API (приоритет .edu/.gov)
 - Academic: PubMed, arXiv, SEC filings

ШАГ 3: Оценка консистентности и авторитетности
Байесовская агрегация → Confidence Score
= α·(согласованность источников) + β·(авторитетность) + γ·(временная релевантность)

ШАГ 4: Коррекция (если Confidence < порог)
Adaptive Correction Pipeline → замена факта / добавление hedge / указание источника

Задача: Ты пишешь аналитику для клиента про российский e-commerce. Попросил LLM: "Когда Wildberries вышел на рынок Казахстана?" Модель ответила: "2019 год". Нужна точность — ошибка в датах подорвёт доверие к отчёту.

Промпт (адаптация принципа мультисорсинга):

Проверь это утверждение: "Wildberries вышел на рынок Казахстана в 2019 году"

Используй три типа источников:
1. СТРУКТУРИРОВАННЫЕ: Wikipedia, корпоративные справочники, официальный сайт компании
2. СВЕЖИЕ: новости РБК, Коммерсант, Ведомости за период 2015-2024
3. СПЕЦИАЛИЗИРОВАННЫЕ: отчёты e-commerce аналитиков, пресс-релизы Wildberries

Для каждого источника:
- Укажи название, URL и дату публикации
- Оцени авторитетность (0-100): официальные источники и крупные медиа выше
- Проверь актуальность: для событий 2015-2020 приоритет историческим источникам

Затем:
1. Сравни даты между источниками
2. Отметь любые противоречия
3. Оцени итоговую уверенность в дате (0-100%)
4. Дай окончательный ответ с обоснованием

Результат:

Модель вернёт структурированную проверку: список источников с датами, оценками авторитетности и временной релевантности. Ты увидишь консистентность (все говорят "2017" vs "2019 только в одном блоге") и итоговый confidence score. Если источники противоречат — модель явно это укажет и предложит углублённый поиск. Финальный ответ будет либо скорректирован ("Фактически Wildberries вышел в Казахстан в 2017, по данным..."), либо с оговоркой ("Источники противоречат: 2017 vs 2019, требуется дополнительная проверка").

Проблема LLM: Модель генерирует текст по паттернам из обучающих данных, без доступа к актуальной базе фактов. Она не "помнит" конкретный год события — она воспроизводит вероятностное распределение слов. Если в корпусе было больше упоминаний неверной даты (например, из-за популярного, но ошибочного источника), модель повторит эту ошибку с уверенностью.

Сильная сторона: LLM отлично извлекает, сравнивает и синтезирует информацию из разных источников. Если дать ей конкретные данные и попросить проверить консистентность — она это сделает надёжно.

Как метод использует сильную сторону: Вместо того чтобы полагаться на "память" LLM, мы даём ей роль аналитика фактов: собрать свежие данные из авторитетных источников, сравнить их, оценить противоречия, вынести вердикт. Разделение источников по типам критично: structured покрывает устоявшиеся факты, real-time — новости и изменения, academic — специализированные домены. Один тип не компенсирует слабость другого.

Рычаги управления:

• Типы источников: добавь локальные медиа для региональных фактов, убери academic для общих вопросов
• Threshold для Confidence: снизь для менее критичных задач (быстрее, но больше пропущенных ошибок), повысь для критичных (медленнее, надёжнее)
• Приоритизация: для исторических фактов повысь вес structured, для новостей — real-time
• Temporal constraints: укажи временной диапазон для поиска ("только источники после 2020")

Проверь утверждение: {утверждение}

Используй три типа источников:
1. СТРУКТУРИРОВАННЫЕ: {справочники, базы данных, официальные сайты}
2. СВЕЖИЕ: {новости, актуальные публикации за период {временной_диапазон}}
3. СПЕЦИАЛИЗИРОВАННЫЕ: {домен-специфичные ресурсы для {области_утверждения}}

Для каждого источника укажи:
- Название и ссылку
- Дату публикации
- Авторитетность (0-100): приоритет {критерии_авторитетности}
- Найденная информация

Затем:
1. Сравни информацию между источниками
2. Отметь противоречия
3. Оцени консистентность (0-100%)
4. Оцени итоговую уверенность в утверждении (0-100%)
5. Дай окончательный вердикт: ПОДТВЕРЖДЕНО / ОПРОВЕРГНУТО / НЕОДНОЗНАЧНО

Если вердикт ОПРОВЕРГНУТО или НЕОДНОЗНАЧНО, предложи корректную формулировку.

Как заполнять:

• {утверждение} — конкретный факт для проверки (дата, число, событие)
• {временной_диапазон} — период релевантности (для новостей 2023 года укажи "2023-2024")
• {область_утверждения} — домен (медицина → PubMed, финансы → Bloomberg/SEC, e-commerce → отраслевые аналитики)
• {критерии_авторитетности} — что считаешь надёжным (official sources > крупные медиа > блоги)

🚀 Быстрый старт — вставь в чат:

Вот шаблон для проверки фактов по типам источников. Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит какое утверждение проверять, какие источники считать авторитетными для твоей области, какой временной диапазон актуален — потому что разные домены требуют разной приоритизации источников (для медицины academic > web, для новостей наоборот). Она возьмёт структуру multi-source verification и адаптирует под конкретный факт.

⚠️ Требует доступа к веб-поиску: Работает в Claude/ChatGPT с включённым web search, иначе модель ограничена знаниями на момент обучения.

⚠️ Медленнее простого ответа: Параллельная проверка по нескольким источникам увеличивает время ответа. В исследовании система работала 2.8 секунды vs 0.8 секунды для обычного LLM.

⚠️ Субъективные утверждения не проверяются: Метод работает для объективных фактов (даты, числа, события). Оценки, мнения, творческий контент — вне зоны применимости.

⚠️ Противоречивые источники требуют ручного решения: Когда авторитетные источники дают разную информацию, система флагает это, но финальное решение за человеком.

⚠️ Зависимость от качества источников: Если авторитетные источники содержат одинаковую ошибку (например, массовое копирование неверной даты), система не обнаружит проблему.

Команда протестировала фреймворк на пяти бенчмарках: HaluEval (5000 примеров галлюцинаций в диалогах), TruthfulQA (817 вопросов-ловушек на распространённые заблуждения), FEVER (200K claims для проверки по Wikipedia), Scientific Claims (1400 научных утверждений) и COVID-FACT (4000+ claims о COVID-19). Выбор неслучаен: первые три покрывают общие знания и исторические факты, последние два проверяют специализированные домены и быстро меняющуюся информацию.

Сравнивали с пятью baseline: обычный LLM без проверок, self-consistency (генерация нескольких ответов + выбор консенсуса), chain-of-verification (LLM проверяет сам себя), RAG (retrieval только из Wikipedia), и FactScore (декомпозиция на атомарные факты + проверка по Wikipedia).

Ключевая находка: Все baseline используют один тип источника или одну стратегию. RAG и FactScore — только Wikipedia (отстают по свежим темам). Self-consistency — только внутренние паттерны модели (не ловит систематические ошибки из обучающих данных). Chain-of-verification — модель проверяет саму себя теми же знаниями (галлюцинация воспроизводится).

Multi-source approach выиграл именно потому что комбинирует типы источников: structured (Wikidata, YAGO) для устоявшихся фактов, real-time web search для новостей, academic databases (PubMed, arXiv) для специализированных доменов. Байесовская агрегация взвешивает источники по авторитетности (.edu/.gov выше блогов) и временной релевантности (для COVID-19 статья 2023 важнее 2019).

Что удивило: Даже простое добавление веб-поиска (RAG) дало только 25% снижение галлюцинаций vs 67% у multi-source. Разница в структурированной проверке консистентности между типами источников. Когда Wikipedia говорит одно, а свежие новости другое — это сигнал для углублённой проверки. Single-source системы этот сигнал пропускают.

Пользовательское исследование с 75 экспертами (медицина, финансы, образование, журналистика) показало 89% удовлетворённость исправленными ответами vs 64% без проверки. Медики отметили 78% снижение потенциально опасной дезинформации — критично для здоровья. Финансовые аналитики оценили точность данных о рынках на 82% выше.

Практический инсайт: Галлюцинации снижаются не от "больше данных", а от разнообразия типов источников + проверки консистентности. Один Wikipedia на 200K claims (FEVER) менее эффективен, чем комбинация структурированных БД + веб + academic репозитории.

Multi-Modal Fact-Verification Framework for Reducing Hallucinations in Large Language Models

Piyushkumar Patel, Microsoft

Ключевые отсылки:

• FEVER Dataset (Thorne et al., 2018) — стандарт для fact-checking бенчмарков
• TruthfulQA (Lin et al., 2022) — вопросы-ловушки на заблуждения
• Retrieval-Augmented Generation (Lewis et al., 2020) — foundational RAG paper
• Sentence-BERT (Reimers & Gurevych, 2019) — semantic similarity для matching