TL;DR
Когда просишь ChatGPT или Claude помочь с источниками — модель генерирует несуществующие ссылки с той же уверенностью, что и реальные. Названия правдоподобные, авторы реальные (но к этой статье не имеют отношения),年份 подходящая. На вид — нормальная ссылка. По факту — пустышка, которая ни на что не указывает.
Это не редкий баг. В контролируемых экспериментах LLM галлюцинируют от 11 до 56% ссылок в зависимости от модели и темы. Причина простая: модель не "ищет" источники — она предсказывает, как должна выглядеть правдоподобная ссылка. Авторитетный заголовок, известные имена, уважаемый журнал — и выдаёт. Проверить, существует ли это на самом деле, модель не может.
Масштаб проблемы виден в академическом мире, но она касается каждого: коммерческие отчёты, аналитика, статьи в блог, презентации инвесторам — везде, где ты просишь LLM "добавить источники" или "что говорят исследования по теме", ты рискуешь получить красиво оформленный вымысел.
Схема проблемы
ТЫ: "Дай источники по теме X"
↓
LLM: предсказывает паттерн "правдоподобной ссылки"
(не ищет, не проверяет — генерирует)
↓
РЕЗУЛЬТАТ: название + авторы + год + журнал
→ Выглядит реально. Может не существовать.
↓
ТЫ: вставляешь в текст → читатель не проверяет
↓
ИТОГ: несуществующий источник в публичном документе
Три сценария, где это ударит:
1. СТАТЬЯ / ДИССЕРТАЦИЯ → ссылки на несуществующие работы
2. БИЗНЕС-ОТЧЁТ → "исследование McKinsey 2023" которого нет
3. ПРЕЗЕНТАЦИЯ → "по данным Gartner" = выдумка
Пример применения
Задача: Иван готовит аналитическую записку для инвесторов стартапа в edtech. Просит ChatGPT подобрать исследования о влиянии микрообучения на запоминание.
Что обычно происходит (❌ опасная версия):
Расскажи какие исследования доказывают эффективность
микрообучения для корпоративного обучения.
Дай конкретные источники с авторами и годом.
Модель выдаст 5-7 ссылок. Часть реальная. Часть придуманная. Отличить без проверки — невозможно. Иван вставит всё в презентацию. Инвестор загуглит первую ссылку — не найдёт.
Промпт (✅ безопасная версия):
Ты — аналитик-исследователь. Правило работы:
ты НЕ генерируешь конкретные ссылки на работы,
в существовании которых не уверен на 100%.
Задача: объясни что говорит наука о микрообучении
в корпоративном обучении.
Формат ответа:
— Опиши направления исследований и основные выводы
(без конкретных ссылок)
— Назови 2-3 автора или организации, которые ТОЧНО
работали в этой теме — и только тех, в ком уверен
— Для каждой возможной ссылки добавь пометку:
"Проверь перед использованием в [Google Scholar /
Semantic Scholar]"
— Если не знаешь точной работы — скажи прямо:
"Такие исследования есть, но конкретную ссылку
лучше найти самостоятельно"
Результат: Модель опишет направления исследований: эффект интервального повторения, кривая забывания Эббингауза, работы Nielsen Norman Group по UX обучения. Для конкретных ссылок поставит флаги неуверенности. Иван возьмёт реальные имена и направления — и за 10 минут найдёт подтверждённые источники в Scholar.
Почему это работает (и почему не работает "в лоб")
Слабость LLM в этой задаче: Модель не ищет в реальном времени — она предсказывает следующий токен. Когда ты пишешь "авторы работы о X, 2022, журнал Y" — модель заполняет шаблон, потому что видела тысячи похожих паттернов. Ей буквально "всё равно" существует ли конкретная работа — она оптимизирует под правдоподобность текста, не под фактическую точность.
Почему уверенный тон — ловушка: LLM не различает "я точно знаю" и "это звучит правдоподобно". Оба варианта она выдаёт одинаково уверенным языком. Нет внутреннего сигнала "я придумываю". Модель не лжёт намеренно — она просто не умеет не генерировать правдоподобный текст.
Что работает: Явное разделение задач. Вместо "дай источники" — сначала "объясни тему", потом ищи источники сам. Или: дай модели роль верификатора, а не генератора. Модель лучше справляется с задачей "оцени достоверность этой ссылки", чем с задачей "придумай ссылку".
Шаблон промпта
Вариант 1: Безопасная работа с темой (без ссылок)
Ты — аналитик-исследователь с правилом:
не цитировать источники, в существовании которых
нет уверенности.
Задача: {опиши что нужно — тему, вопрос, задачу}
Как отвечать:
— Объясни что говорит наука/практика по теме
— Назови направления исследований и ключевые выводы
— Упомяни авторов или организации только если уверен
в их работе по этой теме
— Не придумывай названия статей, журналы, годы
— Если есть пробел в знаниях — скажи прямо
Вариант 2: Верификация подозрительной ссылки
Проверь эту ссылку и оцени её достоверность:
{вставь ссылку: название, авторы, год, журнал}
Ответь по пунктам:
1. Ты знаешь эту работу? (да / нет / не уверен)
2. Что именно ты знаешь об этих авторах и этой теме?
3. Есть ли что-то подозрительное в деталях?
4. Твоя рекомендация: доверять / проверить / не использовать
Не придумывай детали чтобы звучать убедительно.
Неуверенность — полезный ответ.
Что подставлять:
- {опиши задачу} — тема для аналитики, раздел статьи, тезис для презентации
- {вставь ссылку} — конкретная ссылка, которую дала LLM или нашёл где-то
🚀 Быстрый старт — вставь в чат:
Вот шаблон безопасной работы с источниками.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы уточнить контекст.
[вставить шаблон выше]
LLM спросит: что за тема, для какого формата текста, нужны ли ссылки совсем или только направления — потому что без этого нельзя правильно настроить "уровень осторожности" в работе с источниками.
Почему это работает — механика
LLM обучена предсказывать правдоподобный текст, а не истинные факты. Для неё "хорошая ссылка" = та, которая похожа на тысячи ссылок в обучающих данных. Нет механизма, который бы сказал: "подожди, я генерирую несуществующую статью".
Когда ты даёшь явные инструкции "не придумывай — скажи если не знаешь", модель переключается в режим осторожности. Она по-прежнему может ошибаться, но вероятность галлюцинации снижается — потому что ты создаёшь контекст, где "не знаю" является правильным ответом, а не провалом.
Дополнительный рычаг: разделение генерации и верификации. Спроси сначала "расскажи тему без ссылок", потом проверь ссылки сам — это разные задачи с разными уровнями риска.
Ключевой рычаг: Не проси LLM "дать источники" — проси "помочь разобраться в теме". Источники ищи сам через Scholar, Perplexity, или специализированные базы.
Ограничения
⚠️ Инструкции не дают гарантий: Даже с явным запросом "не придумывай" модель может галлюцинировать ссылки. Осторожный промпт снижает риск, не устраняет его полностью.
⚠️ Верификационный запрос — не замена проверке: Если попросить LLM оценить ссылку, она может подтвердить несуществующую работу. Результат такой проверки — дополнительный сигнал, не финальный вердикт.
⚠️ Проблема масштабируется с темой: Чем менее известна тема, тем выше риск галлюцинации. На узких, нишевых, свежих темах — не доверяй ни одной ссылке без внешней проверки.
⚠️ Инструменты с поиском снижают, но не решают проблему: ChatGPT с browsing, Perplexity, Claude с web-поиском — ошибаются реже, но всё равно могут смешивать реальные и придуманные детали.
Как исследовали
Команда из Microsoft взялась за узкую, но верифицируемую часть проблемы галлюцинаций: ссылки в реальных опубликованных научных статьях. Не сгенерированный текст, не черновики — именно финальные версии принятых статей с четырёх топовых конференций (ICLR, ICML, NeurIPS, USENIX Security), прошедших рецензирование. Корпус — почти 50 000 статей и 2,6 миллиона ссылок.
Они построили автоматический верификатор RefChecker: каждая ссылка проверяется по шести базам (Semantic Scholar, CrossRef, DBLP и другие), подозрительные случаи эскалируются к LLM с веб-поиском. Важная деталь: за галлюцинацию считали только жёсткие случаи — несуществующая работа или совпадает название, но авторы совсем другие. Опечатки в годе, смена журнала, prepring vs proceedings — всё это НЕ считалось. То есть цифры — нижняя граница, реальная картина хуже.
Результат оказался неожиданным в обе стороны. На уровне отдельных ссылок — галлюцинаций меньше процента, казалось бы немного. Но конференция содержит тысячи статей и сотни тысяч ссылок, поэтому каждая двадцатая статья на NeurIPS-2025 содержит минимум две галлюцинированных ссылки. После публичного запуска ChatGPT (конец 2022) количество таких случаев заметно выросло и больше не снижалось. Что удивило отдельно: галлюцинированные ссылки нашлись даже в награждённых работах — то есть самых внимательно проверенных.
Адаптации и экстраполяции
💡 Адаптация для бизнес-аналитики: разделение задач
Если нужен раздел "что говорит рынок/наука" в pitch deck или отчёте — используй двухшаговый протокол:
ШАГ 1. Попроси LLM объяснить тему
"Объясни что известно о [тема] — направления
исследований, ключевые выводы, основные авторы.
Без конкретных ссылок."
ШАГ 2. Найди источники сам
По ключевым терминам из ответа → Google Scholar /
Perplexity / Semantic Scholar.
Нашёл статью → верни в чат для обсуждения содержания.
Так ты используешь LLM для ориентирования в теме, а источники ищешь там, где они действительно существуют.
🔧 Техника: спроси "чего ты не знаешь" → снижает уверенную галлюцинацию
Добавь в конец любого запроса про источники:
Перед ответом скажи: какие части темы ты знаешь
уверенно, а какие — нет? Где риск что я получу
неточную информацию?
Модель, настроенная на мета-рефлексию, реже выдаёт галлюцинации с абсолютной уверенностью — потому что обозначение границ знания смещает её генерацию к честным флагам неопределённости.
Ресурсы
Статья: Phantom References: Hallucinated Citations That Survive Peer Review at Top-Tier Conferences
Авторы: Mark Russinovich, Ram Shankar Siva Kumar, Ahmed Salem — Microsoft
RefChecker (open source): https://github.com/markrussinovich/refchecker
Связанные инструменты: Semantic Scholar (semanticscholar.org), Perplexity AI — инструменты с реальным поиском снижают риск галлюцинаций источников