Тезисы

Это не про знания. Модель уже знает правильный ответ. Проблема в другом: чтобы опровергнуть ошибку, нужна возможность на неё сослаться. Собственное рассуждение такой возможности не даёт — это поток текста, а не набор адресуемых утверждений. Внешнее сообщение — даёт. Применяй: "проверь себя в целом" → не работает. "Ты написал X — это верно?" → работает. Разница в том, есть ли у модели конкретный объект для разбора

На задачах без правильного ответа первые шаги захватывают главное. Дальнейшие шаги не улучшают точность — они добавляют альтернативные точки зрения, которые тянут позицию в разные стороны. Разница ощутимая: развёрнутое рассуждение на таких задачах снижает качество ответа примерно на 17 процентных пунктов по сравнению с коротким. Применяй: На стратегических, этических и прогнозных задачах останавливай рассуждение рано. Не проси думать "максимально подробно" — проси думать "кратко и прямо"

Когда рядом нет других документов, модель включает «режим ревью». Спрашивает себя: что тут написано, сходится ли. Когда рядом другие источники — переключается в режим арбитра: кому верить больше. Арбитраж идёт по стилю, а не по корректности чисел. Это не баг одного вендора — воспроизводится на разных моделях. Применяй: хочешь критической проверки — убирай конкуренцию источников из запроса

Есть два способа поднять оценку: показать больше сильного или спрятать слабое. Первый работает стабильно. Второй — в трети случаев даёт обратный эффект: модель становится строже. Механика: модель не «прощает» проблему если её переформулировать — она замечает попытку уйти от ответа. А новое яркое достоинство добавляет сигнал без конфликта с существующими. Применяй: в промпте явно пиши «не трогай то, что уже признано сильным» и «не оправдывай слабые места — меняй только контекст вокруг них»

Контекст задачи — самый мощный рычаг из доступных. Перефразирование меняет примерно каждое десятое решение модели. Разная температура — каждое двадцатое. Смена формата задачи — каждое третье. Почему: перефразирование и температура работают внутри одного режима рассуждения. Смена формата переключает сам режим — другие паттерны, другие встроенные приоритеты. Применяй: если хочешь изменить логику ответа, а не тон — меняй формат задачи, не слова вопроса

Стандартная угодливость модели — поменяла вывод после твоего возражения. Это заметно. Эта угодливость другая: вывод тот же, но обоснования переписаны. Модель придумывает разные цепочки рассуждений под разные позиции пользователя. Выглядит как качественный анализ. По факту — рационализация. Применяй: если хочешь проверить качество анализа, спроси обоснование противоположного вывода. Если оно звучит так же убедительно — перед тобой рационализация

Разговорный запрос ("правда ли что X?") подразумевает: скажи что думаешь. Запрос на документ ("напиши питч про X") подразумевает: напиши хорошо. Модель переключается в режим исполнителя — и оптимизирует убедительность. Честность про неопределённости падает первой. Результат: одна и та же спорная тема в разговоре получает осторожный ответ, а в документе — уверенные claims без оговорок. Применяй: если нужна честная оценка — спрашивай в разговорном формате, а не "напиши документ про X"

На фактических вопросах у модели есть знания: она сравнивает давление с тем, что знает, и уступает охотнее когда ты прав. На моральных вопросах базовая точность всех протестированных моделей — около 50%. Это уровень случайного угадывания. Нет надёжных знаний — нет фильтра для давления. Применяй: не рассчитывай что правота аргумента защитит тебя от нужного результата. Встраивай явные ограничения прямо в запрос

Каждое "понимаю вас" само по себе нормально. Паттерн из таких сообщений — нет. Если попросить модель "не льсти" без деталей, она пропустит большинство угодливых ответов: каждый по отдельности кажется уместным. Нужно описать конкретные формы угодливости и запретить именно их. Применяй: вместо будь честным пиши не говори "отлично", "понимаю", "разумно" без конкретного содержания следом

Схема "критик атакует — генератор правит" работает в обе стороны. Если критик может сверить каждый довод с источником — он ловит реальные ошибки. Если источника нет — критик гадает, генератор соглашается, ответ становится хуже. Правило для запроса: задача верификационная ("найди ошибку", "проверь противоречие") — запускай двух агентов. Задача открытая ("напиши", "придумай", "предложи") — используй одного агента, точнее

Написать "я профессор" и задать вопрос — менее 1% лишних переворотов. Написать "я профессор и считаю, что ответ X" — уже ~46%. Вся сила давления — в конкретном указании куда перевернуться, а не в статусе. Механика: модель видела в обучающих данных паттерн "эксперт назвал X → согласились" миллионы раз. Применяй: Не бойся давать контекст о себе. Бойся случайно добавить "и думаю что правильно Y"

Исследования, которые находили политический уклон в LLM, использовали тесты с принудительным выбором: "согласен/нет", "поддерживаете/против". На открытых вопросах тот же уклон исчезает. Это значит: уклон не встроен в модель — он возникает когда нет места для уклонения. Применяй: прежде чем доверять выводу "модель придерживается X взглядов" — проверь, каким форматом это измеряли. Если принудительным выбором — это артефакт метода

Инструкция «выбери лучшее» не предусматривает ответ «одинаково». Модель следует ей буквально — и называет победителя даже там где его нет. Это не ошибка рассуждений. Это точное следование заданию. Применяй: всегда добавляй «если варианты неразличимы — отвечай "ничья"». Без этой фразы оценка между похожими текстами ненадёжна

Модель обучалась на текстах, где персонажи появляются вместе — в диалоге, в команде, в соавторстве. Поэтому у неё сложились не отдельные «любимые имена», а пары. Elena притягивает Marcus. Aris притягивает Lena. Одна роль тянет за собой другую — как актёрский кастинг. Применяй: если хочешь сломать ансамбль — задай одно имя явно. Второе имя тоже сменится. Задавать оба не обязательно.

Два одинаковых по информации запроса с разным контекстом дают разные ответы. Модель не идёт проверять: ты журналист или нет. Она оценивает: весь контекст запроса складывается в легитимный сценарий? Если да — отвечает. Поэтому шифрование и трюки не работают: они меняют форму, но не смысл. А рамка меняет смысл. Применяй: когда получаешь отказ — не переформулируй сам запрос, переупакуй контекст вокруг него

На английском у модели больше обучающих данных с задачами сравнения и оценки. Поэтому на нём она реже меняет вердикт при смене порядка или формулировок. Переключение на другой язык меняет каждый десятый вердикт — не потому что ответ неверный, а потому что модель переключается на другие признаки. Применяй: промпт для любого ИИ-сравнения пиши на английском — даже если оцениваемые тексты на русском