TL;DR
Чем меньше источников по теме в интернете — тем больше LLM выдумывает факты. При этом модель остаётся такой же уверенной и последовательной: задай один и тот же вопрос три раза — получишь три одинаково звучащих и одинаково неправильных ответа. Это не случайный сбой, а системный паттерн.
Большинство пользователей проверяют LLM через повторение: спрашивают снова, сравнивают ответы — если совпали, доверяют. Этот приём работает для Украины, Сбербанка или Илона Маска. Он ломается для регионального рынка, нишевого поставщика, малоизвестного события, нового тренда. Модель не знает, что не знает — и заполняет пустоту «ближайшим правдоподобным» контентом из обучающих данных. Она отвечает так же уверенно, но уже не про реальность, а про похожие темы.
Исследование проверило 5 460 ответов пяти ведущих LLM по 28 конфликтам с разной степенью медиаосвещённости. Ошибочность растёт по мере того, как редеет информационный след: около 20% ошибок на хорошо освещённых темах — и почти 50% на «забытых». Для пользователя это одно правило: чем нишевее тема, тем жёстче нужна верификация.
Карта рисков
ЗОНА ЗЕЛЁНАЯ — LLM работает надёжно
Тема: широко освещена в СМИ, много независимых источников
Примеры: крупные компании, известные события, публичные фигуры
Риск ошибки: ~20%
ЗОНА ЖЁЛТАЯ — LLM работает, но с оговорками
Тема: средняя освещённость, источники есть, но неполные
Примеры: региональные рынки, события 2+ лет назад, средний бизнес
Риск ошибки: ~30%
ЗОНА КРАСНАЯ — LLM уверенно выдумывает
Тема: мало источников, локальные данные, нишевые игроки
Примеры: новые стартапы, локальные конфликты, узкие B2B-ниши
Риск ошибки: ~50%
⚠️ Повтор вопроса НЕ помогает — ответ будет тем же, и таким же неверным
Пример применения
Задача: Ты изучаешь рынок B2B-логистики Краснодарского края — ищешь данные по объёмам, игрокам, ценам. Просишь LLM сделать быстрый обзор.
Промпт:
Перед тем как отвечать, оцени: насколько эта тема хорошо освещена в интернете?
Используй такую шкалу:
— ШИРОКО: крупные федеральные СМИ, много независимых источников, актуальные данные
— СРЕДНЕ: источники есть, но могут быть устаревшими или неполными
— УЗКО: мало источников, данные косвенные, тема нишевая
Для каждого факта в ответе укажи в скобках: (ШИРОКО / СРЕДНЕ / УЗКО).
Если оцениваешь как УЗКО — явно предупреди, что данные могут быть выдуманными или устаревшими.
Вопрос: {твой вопрос о нишевой теме}
Результат: Модель сначала оценит зону риска, потом ответит — и промаркирует каждый факт уровнем уверенности. Там, где поставит УЗКО, добавит предупреждение. Это не гарантия точности, но даёт карту: вот что можно использовать сразу, вот что нужно проверять вручную.
Почему это работает
LLM обучается на текстах из интернета. Если по теме написано много — модель использует реальные факты из реальных источников. Если мало — она опирается на «ближайший похожий паттерн» из своих данных. Например, про региональный рынок логистики Краснодара нет аналитических отчётов — зато про логистику Москвы есть много. Модель берёт московские данные, немного корректирует под запрос и выдаёт как краснодарские. Звучит правдоподобно. Не является правдой.
Слабость LLM — у неё нет встроенного счётчика уверенности, привязанного к качеству источников. Она не различает «я знаю это из десяти независимых источников» и «я достраиваю это из общего паттерна». Обе ситуации выглядят одинаково в тексте.
Промпт с явной просьбой оценить информационное покрытие включает у модели механизм метарефлексии: она обращает внимание на то, насколько хорошо она знает тему, прежде чем отвечать. Это не идеальный фильтр — но он существенно снижает количество уверенных выдумок.
Рычаги управления: - Шкала ШИРОКО/СРЕДНЕ/УЗКО → расширь до 5 уровней или замени на «процент уверенности 0–100%» - Маркировка каждого факта → убери, если нужен чистый текст без пометок (но тогда теряешь видимость рисков) - Требование предупреждения → замени на «откажись от ответа, если УЗКО» — для задач, где лучше молчание, чем ошибка
Шаблон промпта
Оцени информационное покрытие темы перед ответом:
ШИРОКО — федеральные СМИ, много независимых источников, свежие данные
СРЕДНЕ — источники есть, но могут быть неполными или устаревшими
УЗКО — мало источников, данные косвенные или нишевые
Для каждого факта в ответе добавь метку в скобках: (ШИРОКО / СРЕДНЕ / УЗКО).
Где поставишь УЗКО — явно предупреди об этом в тексте.
Вопрос: {твой вопрос}
Тема: {название темы / ниши / области}
Зачем мне это: {контекст — чтобы модель понимала, какой уровень риска критичен}
Что подставлять:
- {твой вопрос} — конкретный фактический вопрос
- {название темы} — помогает модели заранее оценить нишевость
- {контекст} — например, «для принятия решения о партнёрстве» или «для первичного обзора» — меняет то, как агрессивно модель будет предупреждать
🚀 Быстрый старт — вставь в чат:
Вот шаблон для проверки нишевых фактов. Адаптируй под мою задачу: [твоя задача].
Задавай уточняющие вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про тему и цель запроса — потому что без этого она не сможет точно оценить, насколько нишевой является область и какой уровень риска критичен для твоей задачи. Она возьмёт паттерн из шаблона и адаптирует под твой запрос.
Почему это важно: бонус-инсайт про GEO
Исследование нашло ещё один эффект — Generative Engine Optimization (GEO, оптимизация под генеративные движки).
Логика простая: кто заполнил интернет текстами по теме — тот и формирует ответ LLM. Для хорошо освещённых тем это нивелируется: много независимых источников уравновешивают друг друга. Для нишевых — один крупный игрок с SEO-оптимизированным сайтом или продвинутый пресс-релиз может стать главным «источником правды» для модели.
Практическое следствие для вас: - Просишь LLM сравнить конкурентов в нише → тот, кто больше писал о себе в интернете, получит более «позитивный» портрет - Исследуешь поставщика через LLM → компания с хорошо оптимизированным сайтом выглядит лучше, чем реально хорошая компания без контента - Запрашиваешь аналитику по рынку → источником часто становится тот, кто активнее публикуется, а не тот, кто точнее
Правило: чем нишевее запрос, тем больше у вас причин проверить источник напрямую, а не доверять синтезу LLM.
Ограничения
⚠️ Это про фактические вопросы, не про творчество: Thin Record Effect касается запросов о реальных событиях, данных, людях, компаниях. Для написания текстов, мозгового штурма, анализа загруженного материала — этот принцип не применим.
⚠️ Промпт снижает, но не устраняет риск: Явный запрос на оценку покрытия не превращает модель в верификатор. Она может ошибиться и в самооценке — особенно если не знает, что не знает.
⚠️ Повторные запросы не спасают: Если три одинаковых ответа кажутся вам «проверкой» — это ложная уверенность. Исследование показало: на нишевых темах модель стабильно воспроизводит одну и ту же ошибку. Согласованность ≠ точность.
⚠️ GEO-эффект сложно детектировать: У вас нет способа узнать, чей контент повлиял на ответ модели. Для критических решений — верифицируйте через первичные источники.
Ресурсы
Работа: How Artificial Intelligence LLM Engines Shape the Global Conflict Information Environment Автор: Jason Miklian, Centre for Global Sustainability, University of Oslo Дата: Working Draft, July 2026 Контакт: jason.miklian@globe.uio.no
Ключевые смежные работы из исследования: - Jaźwińska & Chandrasekar (2025) — LLM цитируют неверный источник в 60%+ случаев - Farquhar et al. (2024) — методы детекции галлюцинаций - Nestaas et al. (2024); Aggarwal et al. (2024) — GEO-оптимизация под LLM - GDELT Global Knowledge Graph — база для измерения медиаосвещённости - ACLED — база данных вооружённых конфликтов