TL;DR
LLM реагирует на всё, что есть в промпте — включая ложные утверждения, которые вы добавили чтобы их опровергнуть. Если вы пишете "я слышал, что вакцины вызывают рак — это же неправда, да?" — модель уже "заражена". Дисклеймер "это неподтверждённая информация" не помогает. Контекст перевешивает внутренние знания модели.
Главная находка: ложный контекст в промпте снижает точность ответов примерно на 7 процентных пунктов и меняет каждый 10-й ответ на противоположный. При этом бытовые слова вместо медицинских терминов — почти не проблема: точность падает меньше чем на 2 пункта. Модели отлично понимают "болит в груди, тяжело дышать" вместо "плевральный выпот". Проблема не в словах, а в ложных смысловых утверждениях в контексте.
Практический вывод: миф в вопросе — яд, бытовой язык — норма. Не включай сомнительные утверждения в основной вопрос. Если нужно проверить миф — изолируй его в отдельное сообщение. Структурируй ожидаемый ответ через варианты — это снижает влияние плохого контекста.
Схема принципов
ПРИНЦИП 1: Изолируй сомнительный контекст → отдельное сообщение
❌ "Читал, что ибупрофен опасен при COVID — это правда, стоит принимать?"
✅ Сообщение 1: "Стоит ли принимать ибупрофен при COVID с температурой 38.5?"
Сообщение 2: "Отдельно: насколько подтверждён тезис об опасности ибупрофена при COVID?"
ПРИНЦИП 2: Пиши бытовыми словами → модели понимают без проблем
✅ "Задыхаюсь, сердце быстро бьётся" = "диспноэ и тахикардия"
ПРИНЦИП 3: Структурируй ответ через варианты → меньше уязвимости к плохому контексту
✅ Предложи явные варианты: "Да / Нет / Зависит от ситуации"
ПРИНЦИП 4: Предупреждение после вопроса, не до
❌ "Я знаю, что следующее неправда, но [ложь]... вопрос:"
✅ "Вопрос: ... [отдельно] Проверь этот тезис: [ложь]"
Все шаги — в обычном чате, без кода и инструментов.
Пример применения
Задача: Маша прочитала в телеграм-канале "Доктор Мясников Live", что "антибиотики при простуде убивают иммунитет и делают организм слабее". Хочет спросить ChatGPT, надо ли пить антибиотики при ОРВИ с температурой 39.
Промпт ❌ — как обычно делают:
Я читала, что антибиотики при простуде убивают иммунитет и делают организм
слабее — это якобы ненаучное утверждение. Стоит ли мне принимать антибиотики
при ОРВИ с температурой 39?
Промпт ✅ — изолированный подход:
Вопрос 1: Стоит ли принимать антибиотики при ОРВИ с температурой 39?
Ответь одним из вариантов: стоит / не стоит / зависит от ситуации.
Кратко обоснуй.
---
Вопрос 2 (отдельно): Я слышала утверждение: "антибиотики при простуде
убивают иммунитет и ослабляют организм". Насколько это подтверждено?
Оцени: подтверждено / спорно / опровергнуто / нет данных.
Результат: В первом промпте утверждение из телеграма попадает в контекст — модель начинает хеджировать ("с одной стороны... с другой стороны...") даже при чётком медицинском консенсусе против антибиотиков при ОРВИ. Во втором промпте первый вопрос получит чёткий ответ с позицией, второй — отдельную проверку мифа. Никакого перекрёстного "заражения".
Почему это работает
LLM строит ответ из всего, что есть в промпте. Когда вы добавляете ложное утверждение — пусть даже с дисклеймером — модель всё равно использует его как контекст при генерации. Это не ошибка модели, это механика: все слова запроса взвешиваются при формировании ответа. Ложный контекст тянет ответ в свою сторону.
Модель склонна угождать контексту, а не знанию — это называют "подхалимством" (sycophancy) LLM. Если контекст содержит утверждение X, а внутренние знания говорят не-X, модель часто дрейфует к X. Особенно на открытых вопросах без вариантов ответа — там нет "якоря", и контекст рулит.
Структура ответа — защита. Когда вы предлагаете явные варианты ("да/нет/зависит"), модель вынуждена зафиксировать позицию до того, как начнёт хеджировать. Формат с вариантами — как якорь. Вопросы с несколькими вариантами ответа в исследовании оказались заметно устойчивее к ложному контексту, чем открытые.
Рычаги управления: - Два сообщения вместо одного → разрываешь связку "миф + вопрос", получаешь два независимых ответа - Варианты ответа → снижают контекстный дрейф, повышают чёткость позиции - Дисклеймер после вопроса, не до → если уж нужно предупредить, ставь его после основного вопроса, не перед ним — так он меньше загрязняет постановку - Бытовой язык → можно без терминов, модели справляются
Шаблон промпта
Мне нужен чёткий ответ на вопрос: {вопрос}
Ответь строго одним из вариантов: {вариант_1} / {вариант_2} / {вариант_3}
Кратко обоснуй выбор — 2-3 предложения.
---
[Следующее сообщение — отдельно:]
Проверь утверждение: "{сомнительное_утверждение}"
Оцени уровень доказательности: подтверждено / спорно / опровергнуто / нет данных.
Поясни коротко.
Что подставлять:
- {вопрос} — чистый вопрос без лишнего контекста и мифов
- {вариант_1/2/3} — явные варианты ответа под вашу задачу (да/нет/зависит; стоит/не стоит; верно/неверно/частично)
- {сомнительное_утверждение} — миф или слух, который хотите проверить — только в отдельном сообщении
🚀 Быстрый старт — вставь в чат:
Вот шаблон для чистых вопросов без контекстного загрязнения.
Адаптируй под мою ситуацию: {опиши задачу}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какой основной вопрос и есть ли сомнительные утверждения, которые нужно изолировать — потому что это ключевое разделение, которое делает ответ устойчивым к чужим мифам в вашей голове.
Ограничения
⚠️ Исследовали медицину, принцип — универсальный: Любой ложный контекст в промпте влияет на ответ — в юриспруденции, финансах, hr, маркетинге. Механика та же.
⚠️ Дисклеймер не работает: Даже явная пометка "это неподтверждённая информация" не устраняет влияние ложного утверждения на ответ. Единственный надёжный способ — изоляция в отдельный запрос.
⚠️ Не тестировали разные "уровни правдоподобности" лжи: Как ведёт себя модель, если ложное утверждение звучит очень убедительно — неизвестно. Вероятно, хуже.
⚠️ Маленькая выборка: По 100 примеров на датасет — направление надёжное (все четыре модели показали одну картину), но точные цифры стоит воспринимать как ориентир.
⚠️ Открытые вопросы уязвимее структурированных: Если ваша задача требует развёрнутого ответа без вариантов — защита через структуру недоступна. Тогда остаётся только изоляция контекста.
Как исследовали
Команда из Гарварда взяла три медицинских датасета: вопросы из биомедицинских статей (PubMedQA), клинические кейсы из американского медэкзамена (MedQA-USMLE) и твиты о вакцинах. По 100 примеров на каждый — итого 3 600 запросов к четырём моделям.
Идея была простой: каждый вопрос прогнали в трёх версиях — чистый оригинал, с добавленным ложным утверждением из баз верифицированной дезинформации (COVIDLIES, HealthVer, мифы ВОЗ), и с бытовыми словами вместо медицинских терминов. Ложь к каждому вопросу подбиралась по тематической близости и сопровождалась явным дисклеймером.
Самый неожиданный результат: дисклеймер не помог. Модели падали в точности даже когда ложное утверждение явно помечено как "неподтверждённое". Ещё интереснее: более точная в базе модель — не обязательно более устойчивая. GPT-4.1-nano с приличной базовой точностью упал под дезинформацией сильнее, чем маленькая открытая Llama 3.1-8B. Mistral-7B просел почти на 12 пунктов — в три раза больше, чем Llama. Эти данные опровергают интуицию "мощная модель = устойчивая модель". И ещё один инсайт: вопросы с вариантами ответа (тесты) оказались заметно устойчивее к мифам, чем открытые вопросы — структура сама по себе защищает.
Адаптации и экстраполяции
🔧 "Загрязнённый контекст" встречается везде — не только в медицине
Тот же принцип работает когда вы обсуждаете с ChatGPT спорную бизнес-идею ("я слышал, что рынок насыщен — что думаешь о моей идее?"), юридический вопрос, или оцениваете текст ("это обычно считается плохим стилем — но как тебе мой текст?"). Модель слышит оценку и дрейфует к ней.
🔧 Техника: два сообщения для любого "заражённого" вопроса
Сообщение 1: Чистый вопрос, ноль чужих оценок и мифов Сообщение 2: "Отдельно — я слышал [утверждение]. Насколько это верно?"
Читаешь оба ответа рядом. Первый — незаражённая оценка, второй — проверка мифа. Сравниваешь.
🔧 Явный выбор позиции как защита от дрейфа
Когда нужна точность, а не рассуждение — попроси зафиксировать позицию до обоснования:
Сначала одно слово: {да / нет / зависит}.
Потом объясни почему — 3 предложения максимум.
Это заставляет модель "встать на позицию" до того, как плохой контекст начнёт её размывать.
Ресурсы
Название работы: Evaluating LLM Robustness Under Domain-Specific Prompt Perturbations in Public Health Applications
Авторы: Chuqing Zhao, Haochen Yang — School of Engineering and Applied Sciences, Harvard University, Boston
Датасеты: PubMedQA, MedQA-USMLE, COVID-19 Vaccine Stance
Источники дезинформации в эксперименте: COVIDLIES, HealthVer, WHO mythbusters
Связанные работы: PromptRobust (общий бенчмарк устойчивости промптов), RAmBLA (робастность в биомедицине), SycEval (подхалимство LLM — arxiv.org/abs/2502.08177)