TL;DR
Когда вы проверяете AI-вывод, ваш мозг работает асимметрично: правильное вы распознаёте хорошо, ошибочное — почти случайно. Исследование показало, что правильные утверждения AI люди принимают верно в 74% случаев, а ошибочные отклоняют верно только в 49% — то есть почти как монета. При этом уверенность одинаково высокая в обоих случаях.
Проблема глубже, чем кажется. Вы не чувствуете разницы между «я правильно одобрил» и «я ошибочно одобрил» — внутреннее ощущение уверенности не связано с точностью. Это значит, что когда AI генерирует текст, код или анализ, который «выглядит правдоподобно», вы, скорее всего, его примете — даже если там ошибка.
Самая опасная часть: AI-объяснения не помогают, а вредят. Когда AI давал объяснение к своему же выводу, точность проверки не росла. Когда объяснение было некачественным — точность падала, но уверенность всё равно росла. То есть плохое объяснение от AI делает вас более самоуверенным и менее точным одновременно.
Схема проблемы и практического ответа
Ситуация: вы получили AI-вывод и читаете его
Обычный путь:
→ Вывод выглядит логично
→ AI объяснил, почему так
→ Чувствуете уверенность → Одобряете
↳ ошибку при этом не замечаете в ~50% случаев
Протокол активной проверки (извлечённый из исследования):
ШАГ 1: Прочитайте вывод БЕЗ объяснения AI (если можно — скройте)
ШАГ 2: Придумайте конкретный сценарий, где это должно работать — проверьте руками
ШАГ 3: Спросите AI: "Найди ошибки и пропуски в своём же ответе"
ШАГ 4: Если объяснение AI кажется убедительным — это сигнал удвоить скептицизм
Все шаги — в одном или нескольких запросах в чате, без инфраструктуры.
Пример применения
Задача: Вы попросили ChatGPT написать договор оферты для вашего онлайн-курса по инвестициям. Курс стоит 49 000 рублей, доступ — 12 месяцев, возврат — по закону о защите прав потребителей. AI написал договор, объяснил каждый пункт. Всё выглядит профессионально.
Промпт для активной проверки:
Вот договор оферты, который ты написал. Теперь сыграй роль юриста-скептика.
Твоя задача — найти ошибки и пропуски, а не защищать текст.
Ответь на три вопроса:
1. В каких ситуациях этот договор не защитит продавца? Дай конкретные сценарии (возврат после просмотра 90% материалов, технические сбои, смерть клиента и т.д.)
2. Что договор обещает, но что юридически невозможно выполнить или сложно отстоять?
3. Что типично включают в договоры онлайн-школ, но здесь пропущено?
Не хвали договор. Ищи проблемы.
[вставить текст договора]
Результат: Модель переключится из режима «объяснять» в режим «критиковать» и выдаст список конкретных уязвимостей: отсутствие форс-мажорной оговорки, нечёткие условия возврата, проблемы с персональными данными. Это то, что вы с высокой вероятностью пропустили бы при обычном чтении — потому что договор «выглядит правильно».
Почему это работает
Слабость: ваш мозг при чтении AI-вывода ищет подтверждение, а не опровержение. Когда текст структурирован, объяснён и звучит авторитетно — он активирует ощущение «всё правильно». Проверка по принципу «читаю и кажется ок» систематически пропускает ошибки, которые не бросаются в глаза.
Особенность AI-объяснений: объяснение, которое AI генерирует к своему же выводу, часто сглаживает ошибки — оно написано в той же логике, что и сам ответ. Читая объяснение, вы не приближаетесь к истине, а удаляетесь: объяснение убеждает вас, что всё верно, даже когда это не так.
Как работает протокол: смена роли («найди ошибки, не защищай») меняет режим генерации у AI. Модель начинает симулировать критика, а не автора — и находит то, что автор намеренно или случайно обошёл. Вы при этом тоже переходите из режима «одобрить» в режим «проверить», что статистически повышает шанс поймать ошибку.
Рычаги управления: - Конкретность сценариев → чем точнее вы называете ситуации для проверки (не «найди ошибки», а «что будет при возврате после 90% просмотра»), тем конкретнее находки - Количество ролей → можно добавить «сыграй роль клиента, который хочет вернуть деньги» — другой угол зрения - Запрет на похвалу → фраза «не хвали» или «не защищай» критически важна — без неё модель будет балансировать критику и одобрение
Шаблон промпта
Вот {тип контента}, который ты создал. Теперь переключись в режим критика.
Твоя задача — найти ошибки и пропуски, не защищать текст.
Ответь на три вопроса:
1. В каких конкретных ситуациях {тип контента} не сработает или даст неверный результат?
2. Что {тип контента} утверждает или подразумевает, но что неточно или невозможно выполнить?
3. Что обычно включают в {тип контента} подобного рода, но здесь отсутствует?
Не одобряй. Не балансируй критику похвалой. Только проблемы.
{вставить текст для проверки}
Плейсхолдеры:
- {тип контента} — договор, план, стратегия, анализ, код, письмо, техзадание
- {вставить текст} — то, что AI написал ранее
🚀 Быстрый старт — вставь в чат:
Вот шаблон для активной проверки AI-вывода.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какой тип контента проверяем и какие сценарии важны — потому что без конкретики критика будет абстрактной и менее полезной.
Ограничения
⚠️ Работает на фактических ошибках, не на субъективном качестве: протокол хорош для поиска логических пропусков, юридических уязвимостей, фактических неточностей. Для оценки «хорошо ли написано» или «убедительно ли звучит» — не поможет.
⚠️ AI-критик тоже ошибается: модель, которую просят найти ошибки в своём тексте, может придумывать несуществующие проблемы или пропускать настоящие. Это лучше, чем ничего — но не замена живому эксперту для критически важных документов.
⚠️ Эффект накапливается при усталости: исследование показало, что участники теряли внимание после 10 однотипных задач. Если вы проверяете много AI-вывода подряд, протокол вам поможет — но и сам протокол нужно применять свежим взглядом.
Как исследовали
Команда поставила чистый эксперимент: 86 программистов оценивали функции на Python с готовыми постусловиями (assertions) — правилами, которым должен соответствовать результат функции. Половина постусловий была правильной, половина — намеренно сломанной (но правдоподобно выглядящей). К каждому постусловию прилагался один из пяти типов объяснений: точное, чрезмерно детальное, недостаточное, ошибочное — или вообще без объяснения.
Интересна логика дизайна: исследователи специально взяли функции средней сложности — достаточно нетривиальные, чтобы ошибку нельзя было заметить с первого взгляда, но достаточно простые, чтобы участник мог разобраться за разумное время. Это дало «чистый» сигнал именно о качестве проверки, а не о перегрузке.
Результат удивил самих авторов: они ожидали, что объяснения помогут. Оказалось — нет. Причём логика за этим понятна: объяснение пишется той же моделью в той же логике, что сам вывод. Оно не добавляет независимой проверки — только повторяет ту же точку зрения с большей убедительностью.
Дополнительно провели 10 углублённых сессий с мышлением вслух, которые показали пять устойчивых стратегий проверки. Самая распространённая и самая опасная: разработчики сравнивали постусловие с документацией, а не с реальным поведением кода. Это объясняет, почему ошибки «несоответствия краевых случаев» систематически пропускались — они не видны при поверхностном сравнении с описанием.
Адаптации и экстраполяции
💡 Адаптация для проверки любого AI-контента (не кода)
Тот же принцип работает за пределами программирования. Маркетинговая стратегия, финансовый план, юридический документ — везде, где AI генерирует «правдоподобный» вывод, ваша интуиция «выглядит правильно» ненадёжна.
Ты написал {тип документа}. Теперь представь, что ты —
{конкретная роль скептика: налоговый инспектор / конкурент / недовольный клиент}.
С позиции {роль} найди:
— Что в этом документе/плане/тексте легко оспорить или опровергнуть?
— Что он обещает, но не обеспечивает?
— Какой сценарий покажет, что это не работает?
Только критика. Плюсы не нужны.
🔧 Техника: разделить «читать» и «проверять»
Проблема в том, что при обычном чтении AI-объяснение и AI-вывод воспринимаются вместе, усиливая друг друга.
Решение: сначала попросите AI дать только вывод без объяснений. Сформируйте собственное мнение. Потом запросите объяснение. Потом — критику.
Шаг 1: "Ответь на вопрос без объяснений: [вопрос]"
Шаг 2: [сформируйте своё мнение]
Шаг 3: "Объясни подробнее"
Шаг 4: "Теперь найди слабые места в этом ответе"
Это разрывает цикл, при котором объяснение подкрепляет ошибку ещё до того, как вы успели её заметить.
Ресурсы
Название работы: Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions
Авторы: Zhanna Kaufman, Adithya Murali, Yuriy Brun, Madeline Endres
Университеты: University of Massachusetts Amherst, University of Wisconsin–Madison
Датасет: HumanEval (OpenAI) — использовался как база функций
Связанные работы: Endres et al. — LLM-generated postconditions; ChatAssert — генерация тестовых оракулов