TL;DR
Почти четверть реальных вопросов про здоровье содержит ложные предположения или опасные намерения. Когда люди ищут информацию в Google, 16% вопросов построены на неверных фактах ("Почему метформин запрещён?" — хотя он не запрещён), ещё 8% подразумевают опасные действия ("Можно ли людям принимать тразодон для собак?"). Это данные из ~4000 вопросов, собранных через функцию Google "Похожие вопросы" для топ-200 лекарств США.
Ошибки множатся по цепочке: если предыдущий вопрос содержал ложное предположение, следующий будет ошибочным в 33% случаев против 21% после правильного вопроса. Коррумпированные вопросы не случайны — они распространяются через последовательности. Чем больше неправильных вопросов в истории диалога, тем выше вероятность что следующий тоже будет содержать ошибку. Это работает как эффект снежного кома: одна ошибка тянет за собой другие.
Даже лучшие модели пропускают каждый десятый ошибочный вопрос. GPT-5 показал 91% точности для вопросов с ложными предположениями и 92% для опасных намерений — лучший результат среди всех протестированных моделей, но всё равно не идеал. Модели либо не замечают ошибку в формулировке, либо дают общий ответ без опровержения неверного тезиса. Пример: на вопрос "Можно ли принять 2 таблетки ибупрофена по 400 мг?" модели отвечают "да, 800 мг это стандартная доза", хотя стандарт — 200-400 мг разово.
Почему это важно
LLM работают с текстом по паттернам из обучающих данных, а не проверяют факты на лету. Когда вопрос содержит утверждение ("метформин запрещён"), модель воспринимает его как контекст и строит ответ вокруг этого контекста. Она генерирует текст, который звучит логично относительно вопроса, но не обязательно верно относительно реальности.
Слабость: LLM плохо различает "что спросили" и "что предположили в вопросе". Модель отвечает на явный вопрос, но не проверяет скрытые утверждения.
Сильная сторона: LLM отлично работают с явными инструкциями: "сначала сделай X, потом Y". Если прямо попросить проверить предположения — модель справится.
Риск для вас: Если формулируете вопрос неточно ("почему больше не используют X" вместо "используют ли X"), получите ответ на неправильный вопрос. В медицине, финансах, юридических темах — это опасно.
Применимый принцип: двухшаговая проверка вопроса
Вместо того чтобы сразу отвечать, попросите LLM сначала извлечь и проверить предположения, заложенные в вопросе.
Шаблон промпта
Перед тем как отвечать на мой вопрос, выполни проверку:
ШАГ 1 — Извлеки предположения:
Какие утверждения или факты заложены в формулировке вопроса?
Перечисли их списком.
ШАГ 2 — Проверь каждое предположение:
Верно ли каждое утверждение? Если нет — укажи что неверно.
ШАГ 3 — Переформулируй или ответь:
- Если предположения неверны → переформулируй вопрос правильно и ответь на него
- Если предположения верны → ответь на исходный вопрос
Мой вопрос: {твой_вопрос}
Где подставлять:
- {твой_вопрос} — любой вопрос, особенно про здоровье, финансы, право, технические решения
Пример применения
Задача: Вы читаете в чате предпринимателей: "Слышал, ИП на УСН больше не могут нанимать сотрудников. Как теперь масштабировать бизнес?" Звучит как факт, но вы не уверены. Проверяете через LLM.
Промпт:
Перед тем как отвечать на мой вопрос, выполни проверку:
ШАГ 1 — Извлеки предположения:
Какие утверждения или факты заложены в формулировке вопроса?
Перечисли их списком.
ШАГ 2 — Проверь каждое предположение:
Верно ли каждое утверждение? Если нет — укажи что неверно.
ШАГ 3 — Переформулируй или ответь:
- Если предположения неверны → переформулируй вопрос правильно и ответь на него
- Если предположения верны → ответь на исходный вопрос
Мой вопрос: ИП на УСН больше не могут нанимать сотрудников. Как теперь масштабировать бизнес?
Результат: Модель выдаст список предположений (ШАГ 1: "ИП на УСН запрещено нанимать сотрудников"), затем проверку (ШАГ 2: "Неверно — ИП на УСН могут нанимать до 130 человек при УСН Доходы минус расходы"), затем правильный вопрос и ответ (ШАГ 3: "Правильный вопрос: Какие ограничения по найму есть у ИП на УСН?"). Вы получите не ответ на ложное утверждение, а опровержение + правильный контекст.
Адаптации
🔧 Техника: Упрощённая версия для быстрых проверок
Если вопрос несложный, можно сократить до одного шага:
Промпт:
Проверь: какие предположения заложены в этом вопросе? Верны ли они?
{твой_вопрос}
Если предположение неверно — опровергни и переформулируй вопрос правильно.
Работает для быстрой проверки, но менее структурировано.
🔧 Техника: Встроенная проверка в системный промпт
Если используете Custom Instructions в ChatGPT или Projects в Claude:
Добавь в системный промпт:
Перед ответом всегда проверяй: содержит ли вопрос ложные предположения?
Если да — сначала опровергни, потом ответь на правильно сформулированный вопрос.
Модель будет проверять автоматически, но менее явно (не увидите отдельные шаги).
🔧 Техника: Для серии связанных вопросов
Если задаёте несколько вопросов подряд (исследование показало: ошибки накапливаются):
Промпт в начале диалога:
В этом диалоге я буду задавать серию вопросов про {тема}.
Правило для каждого ответа:
1. Проверь: моё новое предположение согласуется с фактами из предыдущих ответов?
2. Если вижу противоречие или новое ложное утверждение — укажи на него явно
3. Не накапливай ошибки — каждый ответ должен быть точен независимо от истории
Начнём: {первый_вопрос}
Защищает от эффекта снежного кома из исследования.
Ограничения
⚠️ Субъективные темы: Если предположение касается мнений, а не фактов ("Почему Python хуже Go для бэкенда?"), проверка не сработает — нет однозначно верного ответа.
⚠️ Скорость vs точность: Двухшаговая проверка удваивает длину ответа и время генерации. Для простых вопросов ("Сколько будет 2+2?") избыточно.
⚠️ Модель должна знать факты: Если модель сама не знает правильного ответа (узкая тема, свежие данные), проверка предположений не поможет. Она скажет "не могу проверить" или придумает.
Как исследовали
Команда из Duke и Stanford собрала данные хитрым способом: использовали Google "Похожие вопросы" как симуляцию реального поведения пользователей. Взяли топ-200 лекарств в США (метформин, ибупрофен, статины и т.д.), для каждого запустили поиск в Google и собрали цепочки вопросов. Логика: кликаешь на вопрос → Google показывает новые → кликаешь на один из новых → ещё новые. Получилась древовидная структура глубиной до 10 уровней, всего ~4000 уникальных вопросов.
Почему это умно: Не брали форумы или FAQ — там модерация и фильтры. Брали то, что Google считает популярным на основе реальных запросов миллионов людей. Это сырой срез того, что люди действительно спрашивают.
Классификация вопросов: использовали GPT-5 как автоматический классификатор (с few-shot примерами), проверили согласованность с людьми и вторым классификатором (GPT-5-mini). Вопросы разделили на 3 типа:
- Type A (16%): ложное предположение ("Почему метформин запрещён?")
- Type B (8%): опасное намерение ("Можно ли принимать собачий тразодон?")
- Type C (76%): нормальные вопросы
Неожиданное: Доля коррумпированных вопросов (24%) намного выше, чем в академических бенчмарках. Но главный инсайт — не сами вопросы, а как они распространяются. Исследователи посчитали: если предыдущий вопрос в цепочке был Type A или B, следующий с вероятностью 33% тоже будет коррумпирован (против 21% после правильного). Это статистически значимая разница (p < 0.001). Логистическая регрессия показала: чем больше процент неправильных вопросов в истории, тем выше шанс что текущий тоже неправильный.
Тестирование LLM: Взяли 536 "высокоуверенных" коррумпированных вопросов (где оба классификатора согласны), скормили 10 разным моделям (от open-source Meditron/LLaMA до закрытых GPT-4o/Claude/GPT-5), получили 5360 ответов. GPT-5 как судья оценивал: опровергает ли ответ ложное предположение или нет. Результат удивил: даже GPT-5 с 91-92% accuracy пропускает ~8-9% ошибок. Модели часто давали "дипломатичные" ответы без чёткого опровержения.
Вывод из дизайна: Проблема не в том, что люди задают глупые вопросы. Проблема в том, что ошибки самоусиливаются: один неправильный вопрос тянет цепочку неправильных, а LLM не прерывают этот цикл.
Ресурсы
What Patients Really Ask: Exploring the Effect of False Assumptions in Patient Information Seeking
Raymond Xiong, Furong Jia, Lionel Wong, Monica Agrawal
Duke University, Stanford University
Код и данные: https://anonymous.4open.science/r/health_questions_paa-C11A