TL;DR
LLM галлюцинирует ссылки не сама по себе, а в ответ на запрос — без явной просьбы дать источники ни одна модель из 10 не сгенерировала ни одной цитаты. Это значит, что проблема находится не внутри модели, а в том, как вы её спрашиваете. Исследователи из Clemson University проверили 69 557 цитаций из 10 коммерческих LLM по трём академическим базам данных и нашли два практических фильтра, которые резко повышают точность.
Главная боль: попросил LLM дать источники — и получил правдоподобно оформленное, но несуществующее. Автор есть, журнал есть, год есть — только такой статьи никогда не было. Найти это без ручной проверки почти невозможно. Средний уровень выдумки — от 11% у лучших моделей до 57% у худших. Причина: модели «вспоминают» паттерн цитаты, а не сам источник. Когда реального якоря в обучающих данных нет — они генерируют правдоподобное, а не правдивое.
Два фильтра решают это практически. Первый: спросить одно и то же у трёх разных LLM и взять только то, что все они назвали — точность растёт с 16% до 96%. Второй: в одной модели повторить запрос три раза и взять ссылки, которые появились хотя бы дважды — точность 89%. Оба фильтра работают потому, что реальные источники стабильны, а выдуманные — случайны.
Схема метода
Два независимых фильтра. Применять можно по отдельности или вместе.
Фильтр 1 — Множественные модели (3 отдельных чата):
ШАГ 1: Задать одинаковый запрос о источниках в ChatGPT → список ссылок
ШАГ 2: Тот же запрос в Claude → список ссылок
ШАГ 3: Тот же запрос в Gemini (или любой третьей модели) → список ссылок
ШАГ 4: Выбрать только источники, которые появились в ≥2 ответах
→ приоритет тем, что появились в 3 из 3
Фильтр 2 — Повторение в одной модели (3 запроса в одном чате или в новых чатах):
ШАГ 1: Задать запрос → список ссылок #1
ШАГ 2: Тот же запрос заново → список ссылок #2
ШАГ 3: Тот же запрос заново → список ссылок #3
ШАГ 4: Взять только ссылки, которые появились ≥2 раза из 3
Бонусный фильтр — Формулировка запроса (один промпт):
Было: "дай свежие и влиятельные источники по теме X"
Стало: "дай основopolojные и классические источники по теме X"
Галлюцинаций становится на 19% меньше автоматически.
Пример применения
Задача: Антон Носик пишет аналитический обзор для инвестиционного комитета — нужны ключевые научные работы по влиянию социальных сетей на политическую поляризацию. Просит ChatGPT дать список источников, вставляет в слайды, через неделю коллеги находят три несуществующих статьи.
Промпт с фильтром формулировки + повторением:
Какие основополагающие и классические научные работы
изучали влияние социальных сетей на политическую поляризацию?
Дай список: авторы, название, журнал, год.
Только реально существующие работы — если не уверен, не включай.
Запустить 3 раза подряд (новый чат или новый запрос), затем:
Вот три списка источников по теме [вставить тему].
Выдели только те работы, которые встречаются минимум в двух списках.
Список 1: [вставить]
Список 2: [вставить]
Список 3: [вставить]
Результат: Модель выдаст пересечение — короткий список из 5-10 источников, которые воспроизводились стабильно. Это кандидаты на реальные работы. По-прежнему нужна финальная проверка через Google Scholar или Semantic Scholar, но список сокращается с «50 сомнительных» до «8 вероятно настоящих».
Почему это работает
LLM не «помнит» статьи — она «предсказывает» правдоподобный текст. Когда вы просите источники, модель генерирует строку, которая по паттерну выглядит как цитата: фамилия, название, журнал, год. Если в её обучающих данных реальная статья встречалась многократно — она воспроизведёт её точно. Если нет — сгенерирует что-то «похожее на правду». Оба результата внешне неотличимы.
Реальные источники стабильны, выдуманные — случайны. Это ключевой инсайт исследования. Фальшивая цитата — это стохастический артефакт: она возникает один раз в специфическом контексте и маловероятно воспроизведётся снова. Настоящая статья существует как «гравитационный центр» во многих документах обучающих данных — модель будет воспроизводить её последовательно. Фильтр повторения использует именно это различие.
Формулировка «семинальные/классические» снижает галлюцинации потому, что такие работы цитируются тысячи раз и хорошо закреплены в данных модели. «Свежие и влиятельные» — это задача найти что-то, чего в данных либо ещё нет (выходит за дату среза), либо почти нет. Модель «заполняет пробел» выдуманным.
Рычаги управления: - Количество повторений → 2 из 3 — хороший баланс. Если тема очень узкая — поднимите до 3 из 3 - Количество моделей → 3 модели дают 96% точности. Две модели — уже 87%, тоже полезно - Формулировка → «семинальные / основополагающие / классические / фундаментальные» вместо «новые / свежие / последние» - Домен → чем менее популярна область (структурная инженерия, узкие медицинские темы), тем выше риск — применяйте оба фильтра
Шаблон промпта
Шаблон 1 — Смена формулировки
Какие основополагающие и классические научные работы
изучали {тему}?
Приведи список: авторы, название, журнал или конференция, год.
Включай только работы, в существовании которых уверен.
Если не знаешь точного названия — не включай.
{тему} — ваша область: «влияние микробиома на иммунитет», «машинное обучение в финансах», «управление командами в условиях неопределённости»
Шаблон 2 — Фильтр пересечения (после 3 повторений)
Ниже три списка источников по теме {тема}, полученных независимо.
Выдели только те работы, которые встречаются минимум в {2 или 3} списках из трёх.
Для каждой выбранной работы укажи: сколько раз встречается + полные данные.
Список 1:
{список_1}
Список 2:
{список_2}
Список 3:
{список_3}
{тема} — тема запроса
{2 или 3} — 2 для баланса, 3 для максимальной осторожности
{список_1/2/3} — ответы из трёх предыдущих запросов
🚀 Быстрый старт — вставь в чат:
Вот шаблоны для проверки источников от LLM на галлюцинации.
Адаптируй под мою задачу: {твоя задача — например,
"пишу обзор литературы по нейросетям в медицине"}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит тему и уточнит сколько источников нужно — чтобы правильно сформировать исходный запрос для повторений. Она возьмёт паттерн из шаблона и сгенерирует три варианта запроса, которые вы запустите по очереди.
Ограничения
⚠️ Фильтр не гарантирует 100%: Даже при согласии трёх моделей ~4% источников остаются галлюцинацией. Финальная проверка через Google Scholar, Semantic Scholar или Киберленинку обязательна.
⚠️ Узкие и нишевые темы — зона риска: Структурная инженерия, региональные исследования, редкие медицинские области — галлюцинации достигают 50%+. Чем уже тема, тем жёстче нужна проверка.
⚠️ «Новее» не значит «лучше» для цитирований: haiku-4.5 галлюцинирует на 57% против 49% у haiku-3.5 — более новая модель оказалась хуже. Не полагайтесь на «последнюю версию» как гарантию точности.
⚠️ Модели предпочитают популярные и открытые работы: Даже реальные источники, которые LLM называет, — это в основном хайли-цитируемые open-access статьи. Малоизвестные, но важные работы модели с большой вероятностью пропустят или выдумают в их «духе».
⚠️ Смена формулировки снижает, но не убирает риск: «Семинальные источники» всё равно галлюцинируются — просто реже. Этот приём уменьшает ошибку на ~19 п.п., но не решает проблему полностью.
Как исследовали
Команда Clemson University поставила, пожалуй, самый масштабный эксперимент по цитатным галлюцинациям на сегодня. 10 коммерческих LLM от OpenAI, Anthropic, Meta, DeepSeek, Mistral и Moonshot AI получили одинаковые промпты по четырём академическим областям — и выдали в сумме 69 557 цитаций, которые автоматически проверяли по трём базам данных (CrossRef, OpenAlex, Semantic Scholar).
Умная деталь дизайна — контрольное условие без запроса на источники: те же вопросы по теме, но без слов «дайте ссылки». Все 10 моделей, все 3030 ответов — ноль цитат. Это доказывает, что галлюцинации не «встроены» в модель, а запускаются самим запросом.
Ещё одна находка, которая удивила: haiku-4.5 оказалась хуже haiku-3.5 (57% vs 49% галлюцинаций). Это разрушает интуицию «новее = лучше» — при выборе модели для работы с источниками версия не гарантирует качество. GPT-5-mini показал лучший результат (11.4%), но генерировал меньше цитаций в принципе — возможно, модель «знает, что не знает» и не выдаёт источников, когда не уверена.
Самый практичный инсайт вышел из анализа пересечений: исследователи заметили, что реальные источники воспроизводятся сходно разными моделями, а выдуманные — нет. Это превратилось в два верификационных фильтра, проверенных на всём корпусе данных.
Оригинал из исследования (материалы проверки пересечений)
Cross-model convergence results:
- Cited by 1 model: match rate 16.5%
- Cited by 2 models: match rate 87.4%
- Cited by ≥3 models: match rate 95.6% (5.8× improvement over single-model)
Within-model repetition results:
- Appears in 1 of 3 replications: match rate 28.6%
- Appears in ≥2 of 3 replications: match rate 88.9% (3.1× improvement)
Framing effect (across all 10 models, no exceptions):
- "Recent and influential" framing: hallucination rate 74.1%
- "Seminal and foundational" framing: hallucination rate 55.0%
- Difference: 19.1 percentage points
Контекст: Авторы проверяли каждую цитацию через автоматический pipeline с нечётким совпадением по заголовкам (Jaccard distance), авторам и году. Дополнительно вручную валидировали выборку из 225 цитаций через GPT-4.1-mini с веб-поиском — точность подтверждённых составила 100%.
Адаптации и экстраполяции
💡 Принцип стабильности применим шире цитаций
Тот же механизм работает для любых фактических данных: статистика, даты, имена, технические характеристики. Если LLM трижды называет одну и ту же цифру — скорее всего, она реальна. Если каждый раз другую — сигнал к проверке.
🔧 Техника: перенести фильтр повторений на факты
Я задам тебе один и тот же вопрос трижды. После всех трёх ответов — выдели только те факты, которые ты назвал во всех трёх ответах. Это моя проверка на стабильность информации. Вопрос: {фактический вопрос} [После ответа]: Теперь ответь на тот же вопрос ещё раз, не глядя на предыдущий ответ. [Повтори трижды, затем попроси пересечение]
💡 Адаптация для исследований в бизнесе
Пишете конкурентный анализ или рыночный обзор и просите LLM назвать ключевых игроков, данные о рынке или исследования — риск тот же. Применяйте формулировку «устоявшиеся и известные игроки рынка» вместо «новые и перспективные стартапы».
💡 Экстраполяция: фрейминг «старое vs новое» как общий принцип
Исследование доказывает: чем глубже факт «закреплён» в обучающих данных (много упоминаний, давно существует, широко доступен), тем точнее его воспроизводит модель. Это значит:
- Просите LLM объяснять классические концепции, а не формулировать новые определения
- Используйте LLM для известных технологий, а не для описания свежих инструментов
- Когда нужна свежая информация — запрашивайте структуру и критерии оценки, а не сами факты
Ресурсы
Название: How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations
Данные и код: - HuggingFace: huggingface.co/datasets/mznaser/llm-citation-hallucination-audit - GitHub: github.com/mznaser-clemson/llm-citation-hallucination-audit
Автор: M.Z. Naser, PhD, PE — School of Civil and Environmental Engineering & Earth Sciences, Clemson University; Artificial Intelligence Research Institute for Science and Engineering, Clemson University, USA. Контакт: mznaser@clemson.edu
Смежные исследования упомянутые в работе: Walters & Wilder (базовое исследование GPT-3.5/4), Linardon et al. (фактор знакомости темы), TruthfulQA, HalluLens (ACL 2025)