TL;DR
LLM убеждают людей принять или отклонить информацию — причём работает это вне зависимости от политических взглядов пользователя. 705 американцев проверяли политические заголовки через чат-ботов, настроенных под разные политические позиции. Люди меняли своё доверие к новостям после разговора с ботом — даже если бот отстаивал политически противоположную точку зрения. Политическое "несовпадение" почти не мешало работе.
Самая опасная находка: когда LLM ошибается — пользователь всё равно обновляет свои убеждения. Бот неверно разметил заголовок как "ложь"? Доверие к нему снизилось. Сказал "правда" про спорный материал? Доверие выросло. Модель не знает — не важно, пользователь всё равно скорректировал мнение. Это называют эффектом "испорченной правды" — LLM может одновременно исправлять дезинформацию и создавать новую.
Нюанс про политическое "совпадение": он важен только для правдивых заголовков с сильным политическим зарядом. Если заголовок далёк от политических взглядов пользователя, нейтральный или близкий по взглядам бот лучше убеждает в его правдивости. Для ложных заголовков этот эффект не работает — политический "тон" бота не влияет на снижение доверия к лжи.
Схема исследования
СТАРТОВАЯ ТОЧКА:
Пользователь оценивает заголовок → рейтинг доверия 1-5
ШАГ 1: Диалог с ботом
Бот выдаёт вердикт (Правда / Ложь / Неопределённо)
→ Цитирует источники заданного политического блока
→ Задаёт уточняющие вопросы
ШАГ 2: Повторная оценка
Пользователь снова ставит рейтинг доверия тому же заголовку
→ Измеряется изменение Trust∆
СРАВНИВАЕМЫЕ УСЛОВИЯ:
• Политически близкий бот vs политически далёкий бот
• Правдивые заголовки vs ложные заголовки
• Политически близкие заголовки vs политически далёкие заголовки
• Выбор бота самостоятельно vs бот назначен рандомно
Пример применения
Задача: Вы видите в Telegram громкий заголовок про экономику — "ЦБ тайно распродаёт золотые резервы". Хотите проверить через LLM, но понимаете, что ChatGPT может ошибиться или дать политически окрашенный ответ.
Промпт:
Проверь этот заголовок: «ЦБ тайно распродаёт золотые резервы»
Я хочу принять взвешенное решение, поэтому:
1. Дай чёткий вердикт: Правда / Ложь / Недостаточно данных
2. Укажи, на чём основан вывод — конкретные источники, данные ЦБ,
официальные публикации
3. Найди НЕ менее двух источников с противоположными позициями
по этой теме — покажи, что говорят критики и защитники
4. Явно скажи: насколько ты уверен в ответе? Где лакуны в данных?
5. Что мне стоит перепроверить самостоятельно, если хочу быть уверен?
Результат: Модель выдаст структурированный ответ с явным вердиктом и источниками по обе стороны. Ключевое отличие от стандартного запроса — пункт 4 заставляет модель явно обозначить неопределённость, а пункт 3 снижает риск однобокого убеждения. Вы видите не просто вывод, а логику и пробелы в ней.
Почему это важно
LLM генерирует убедительный текст — это её сильная сторона. Она цитирует источники, объясняет логику, задаёт уточняющие вопросы. Это создаёт ощущение экспертизы. Мозг воспринимает это как сигнал компетентности и снижает критическую планку.
Проблема: ощущение компетентности не связано с точностью. Модель одинаково убедительно пишет про правдивые и ложные факты. Если неверный вывод сформулирован уверенно и с ссылками — пользователь обновит убеждение в неверном направлении. Эффект такой же сильный, как от правильного ответа.
Что из этого следует для вас: Когда LLM проверяет факты — вы не просто "получаете информацию". Вы проходите сеанс убеждения. Три рычага защиты: попросить модель явно указать на неопределённость; потребовать источники с разных сторон; спросить что именно стоит проверить вне зависимости от её вывода. Это не делает LLM бесполезным инструментом — просто меняет режим работы с ним.
Шаблон промпта
Проверь этот заголовок: «{заголовок}»
Дай ответ строго по структуре:
ВЕРДИКТ: [Правда / Ложь / Недостаточно данных]
ОСНОВАНИЕ: [Конкретные факты, данные, источники — не общие слова]
АЛЬТЕРНАТИВНАЯ ПОЗИЦИЯ: [Что говорят те, кто не согласен с вердиктом]
УВЕРЕННОСТЬ: [Насколько ты уверен и почему]
ЧТО ПРОВЕРИТЬ САМОСТОЯТЕЛЬНО: [Где я могу верифицировать ключевые
утверждения независимо от тебя]
Плейсхолдеры:
- {заголовок} — текст новости, утверждение, пост из соцсети
Ключевые блоки и зачем они: - Альтернативная позиция — снижает риск однобокого убеждения - Уверенность — заставляет модель явно маркировать неопределённость - Что проверить самостоятельно — сохраняет вашу критическую позицию
🚀 Быстрый старт — вставь в чат:
Вот шаблон для взвешенной проверки фактов. Адаптируй под мою задачу:
{опиши свою задачу}. Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про заголовок и контекст — потому что без этого нельзя выдать конкретный вердикт с источниками.
Ограничения
⚠️ Эффект работает в обе стороны: LLM снижает доверие к правдивым заголовкам, если ошибочно маркирует их как ложь. Одна неверная проверка может навредить больше, чем отсутствие проверки.
⚠️ Политически заряженные темы: Для заголовков с сильным идеологическим зарядом эффективность зависит от "тона" бота. Grok, настроенный на правые источники, хуже убеждает левых пользователей в правдивости правдивых левых заголовков. Для ложных — разницы почти нет.
⚠️ Неопределённый ответ — тоже убеждение: Когда бот говорит "данных недостаточно" — пользователь всё равно меняет оценку. Отсутствие вердикта воспринимается как негативный сигнал.
⚠️ Исследование на американском контексте: Проверялись политические новости США. Механика убеждения универсальна, но конкретные эффекты могут отличаться в других культурных и политических контекстах.
Как исследовали
705 американцев с разными политическими взглядами участвовали в двух экспериментах. Исследователи создали реального бота на GPT-5.1 с подключённым поиском — он умел искать новости в реальном времени. Бота настраивали двумя способами: ограничивали поиск только левыми или только правыми СМИ (Guardian, MSNBC vs Fox News, Breitbart) и прописывали в системном промпте соответствующую идеологическую позицию.
Участники сначала оценивали заголовки вслепую (до бота), потом разговаривали с ботом, потом оценивали снова. Разница и была главной метрикой — Trust∆. В первом эксперименте бота назначали рандомно (люди не выбирали), во втором — давали выбрать. Неожиданный результат: выбор бота под свои взгляды почти не усиливал эффект. Убеждает и "чужой" бот.
Самая тревожная часть: исследователи проверили случаи, когда бот ошибался. Эффект обновления убеждений сохранялся — люди двигались в направлении, которое указал бот, даже если направление было неверным. Это показывает, что пользователи доверяют форме (уверенный ответ с источниками) больше, чем содержанию.
Адаптации и экстраполяции
🔧 Техника: "Адвокат дьявола" против убедительного LLM-ответа
Получили от LLM уверенный ответ по спорной теме? Исследование показывает: вы уже частично убеждены — независимо от качества ответа. Противоядие:
Ты только что дал мне вывод по теме «{тема}».
Теперь сделай обратное: приведи три сильных аргумента ПРОТИВ
своего же вывода. Используй источники, которые не упоминал раньше.
Оцени: насколько эти контраргументы меняют уверенность в
первоначальном ответе?
Это работает как "второе мнение" внутри одного диалога — снижает риск слепого следования первому убедительному ответу.
🔧 Техника: Явная маркировка неопределённости
Исследование показало, что "неопределённый" ответ LLM всё равно сдвигает убеждения — просто неконтролируемо. Лучше заставить модель сделать это явно:
После своего ответа добавь блок:
КАЛИБРОВКА УВЕРЕННОСТИ:
• Насколько я уверен (0-100%): [число]
• Почему не 100%: [конкретные пробелы в данных]
• Что изменило бы мой вывод: [конкретные условия]
Ресурсы
Статья: On the Effectiveness of Fact Checking Information from Politically Congruent and Incongruent Large Language Models
Авторы: Jiangen He, Benjamin D. Horne (University of Tennessee Knoxville), Dorit Nevo (Rensselaer Polytechnic Institute)
Дополнительные материалы: https://osf.io/fyjcx/overview
Смежные концепции из статьи: Heuristic–Systematic Model (Chaiken, 1980), эффект "испорченной правды" (tainted truth effect), AllSides Media Bias Chart