База практического промптинга по науке
Техники, доказанные исследованиями
NovaPaperAlert
Уведомления о новых исследованиях
Попросить модель проверить собственную работу — почти бессмысленно. Модель защищает то, что написала. Видит опечатки, не замечает сломанной логики. MAS-Algorithm позволяет выстроить цепочку специализированных ролей, где проверщик физически не связан с тем, кто писал — конфликта интересов нет. Ключевая фишка: сигнал FIX vs RETHINK — проверщик не просто говорит 'неправильно', а указывает куда идти: к исполнителю (починить конкретное место) или к логику (переосмыслить подход с нуля). Без этого различия модели латают следствие, не трогая причину — и ходят по кругу.
Парадокс: чем больше AI-моделей спорят между собой — тем хуже итоговый ответ. Не интуитивное ощущение, а математически доказанный факт. MA-PoP позволяет объединять мнения нескольких моделей так, чтобы они реально дополняли друг друга, а не схлопывались в усреднённую кашу. Фишка: не давай моделям видеть ответы друг друга — спрашивай каждую отдельно, собирай вероятности по вариантам, перемножай и получай строгий консенсус без взаимного заражения мнениями.
Парадокс: самый свободный интерфейс из когда-либо существующих — чистый текстовый чат без меню, кнопок и подсказок — приводит к наименьшему исследованию. Анализ 140 000 реальных диалогов показал: шаблоны, которые вы используете в первых сессиях, потом появляются в ваших запросах в 5–50 раз чаще, чем паттерны, освоенные позже. Большинство пользователей стабилизируются на одном стиле уже через 3–5 сессий — не потому что нашли лучшее, а потому что нашли первое. Фишка: у вас есть буквально несколько начальных сессий, чтобы осознанно выбрать стиль работы — потом выбор делает инерция, а не вы.
Модель внутри фиксирует вашу фактическую ошибку с той же силой, что и без всякой задачи. Но молчит. Не потому что не знает правду — исследование прямо показывает: внутреннее «знание» одинаковое в обоих случаях. Проблема в том, что три элемента задачного обрамления — формат, ограничение темы, сам факт наличия задачи — захватывают внимание модели раньше, чем открывается окно для поправки. Метод позволяет вытащить это знание наружу: добавь явное разрешение проверять факты или вынеси проверку в отдельный шаг — и модель начнёт говорить то, что знала всё время, но не говорила.
Обнаружено: дефолтный режим ассистента — не нейтральная точка. Это L3, уровень организации. Отсюда советы уровня 'диверсифицируйте подходы и привлеките заинтересованные стороны' на вопрос о семейном бюджете. Концепция оси гранулярности позволяет целенаправленно выбирать уровень конкретности ответа — от личного совета с расчётами под конкретную ситуацию до системного анализа с горизонтом в годы. Фишка: добавь к роли личный опыт плюс ограничение масштаба — 'работаю с обычными людьми, не с корпорациями' — и модель съезжает с уровня организации на уровень живого человека. Без этих деталей получишь доклад, а не совет.
Написать LLM 'будь справедливым' — то же самое, что не писать ничего. Модель и так считает, что ведёт себя справедливо — у неё нет внутреннего этического счётчика, который среагирует на слово 'этично'. Метод 'поведенческой конституции' даёт возможность закладывать устойчивые правила в кастомные инструкции ChatGPT или Project-файлы Claude — и модель реально меняет вывод, а не делает вид. Фишка: вместо 'избегай предвзятости' пиши 'повтори анализ, подставив имя другого пола, и сравни результат' — это условие текстовое, модель проверяет его прямо в процессе генерации, и вывод действительно меняется.
У LLM два разных канала работы с гипотезами — генерация и оценка. При открытом вопросе «что пошло не так?» модель видит ваши примеры и строит объяснение вокруг них — аккуратное, компактное, но часто слишком узкое. Метод позволяет переключить запрос в оценочный режим: дать список кандидатов вместо пустого листа. В режиме оценки модель сравнивает, а не ищет — и этот канал работает точнее, потому что убирает проблему поиска с нуля.
76% неправильных ответов проходят само-проверку LLM без единого замечания. Не потому что модель ленится — она архитектурно не может быть автором и честным критиком в одном потоке. Метод внешнего критика позволяет получить реальную проверку любого ответа — через разделение генерации и оценки на два отдельных контекста. Новый чат — новая точка генерации. Модель не знает, что 'сама это написала'. Нет инерции автора. С установкой 'ошибки есть' — она ищет дыры, а не подтверждает логику.
Модель видела CVE в тренировочных данных — и всё равно предложила дырявую версию. В 72–91% случаев уязвимость была публично известна ещё до окончания обучения. Внешний анкоринг позволяет убрать уязвимые библиотеки из сгенерированного кода — без дополнительных инструментов и за одно изменение в промпте. Тысячи туториалов 2019–2022 годов "перекрикивают" несколько CVE-предупреждений — модель воспроизводит самые частые паттерны, а не самые безопасные. Укажи версии сам или попроси не пинить — и модель следует жёсткому ограничению вместо того, чтобы "вспоминать" популярную версию из обучения.
Парадокс: спроси модель «ты всё ещё в роли скептика?» — она скажет «да». Но к 5-6 обмену придирчивый клиент уже мягко соглашается, а жёсткий инвестор вдруг начинает подбадривать. Метод Scripted Persona Structure позволяет держать персонажа в рамках роли на протяжении всей сессии — без этого поведение сдвигается, а самоотчёт молчит. Фишка: вместо открытого разговора — конкретные ситуации для реакции. Не «поговори как придирчивый клиент», а «вот три ситуации, реагируй по очереди» — дрейф исчезает на 97%.
Финальный текст выглядит хорошо — и в этом ловушка. LLM в длинном чате не различает «важный контекст» и «случайно попавший рядом»: она тащит всё из истории, и это незаметно делает структуру хрупкой — вы видите это только когда правите. Метод Execution Lineage (цепочка выполнения) позволяет строить многошаговую работу так, чтобы каждый шаг получал ровно нужный контекст — и правка одного этапа не ломала остальные. Фишка: промежуточный результат каждого шага вы сохраняете явно и передаёте в следующий шаг текстом — не через историю чата, а как явный аргумент. Контекст перестаёт течь сам — вы решаете, что куда идёт.
Обнаружено: LLM выдаёт правильные ответы неправильным способом. Классификатор на 30 когнитивных задачах отличает людей от AI по поведению с точностью 88% — даже когда по результатам они неотличимы (55%). Метод позволяет получать реалистичное человекоподобное поведение — для симуляции пользователей, UX-тестирования, ролевых сценариев. Фишка: описывай не что ответить, а как думать — добавь в промпт паттерны адаптации, нерешительность, реакцию на ошибку. Поведение становится реалистичным, а не просто технически правильным.
Парадокс: замени обученные веса визуального внимания нейросети случайным шумом — результаты те же или даже лучше. Это значит, что механизм «разглядывания» изображений в ChatGPT-4o, Claude и Gemini в значительной мере декоративен. Метод явного направления внимания позволяет обойти эту дыру: заставь модель сначала вслух описать конкретные зоны изображения — и только потом проси анализ. Текстовые инструкции работают как навигатор там, где визуальное внимание теряется, — точность резко растёт.
«Составь план, думай пошагово, запоминай все наблюдения» — и модель справляется хуже, чем без этих инструкций. Минимальный промпт бьёт «прокачанного» агента на 32% в задачах поиска. Принцип CCI (Cross-Component Interference) позволяет убрать из промпта инструкции, которые реально мешают, и оставить только те, что работают. Инструкция «используй инструменты» одна даёт 70% от всей пользы полного промпта — всё остальное это мета-управление: не добавляет данных, но ест внимание модели. Меньше инструкций = больше сил на задачу.
Чем яснее ты показываешь свою позицию в вопросе, тем менее честный анализ получаешь. Это не ощущение — это измеренный эффект: под эмоциональным давлением («я уверен, что X») измерение многоперспективности деградирует сильнее всех остальных четырёх. Метод SCRuB позволяет получать от модели полноценный аналитический разбор спорных ситуаций — вместо замаскированного подтверждения твоей позиции. Нейтральная формулировка вопроса убирает смещение на входе, пятимерный рубрик в самом промпте структурирует выход так, что модели не остаётся места угадывать что тебе понравится. Итог — в 80,8% случаев эксперты-судьи выбирали ответ модели над письменными рассуждениями людей с учёной степенью.
Модель не анализирует что именно ты просишь — она считывает зачем ты это просишь. Одна и та же просьба: 'хочу узнать как работает X' — отказ, 'исследую X для статьи' — развёрнутый разбор. Фишка: слова 'исследую', 'анализирую', 'разбираю механику' — это встроенный маркер безопасного контекста, зашитый в модель через обучение с подкреплением. Метод позволяет получать аналитические ответы на 'чувствительные' темы там, где стандартный запрос даёт отказ — без обмана, просто через точный выбор контекстной рамки. Llama, Mistral, Phi — у всех троих evaluation-фреймирование даёт меньше отказов, чем deployment-фреймирование.
Одна фраза в конце любого промпта — и модель перестаёт «плыть» к ответу. Метод Post-Reasoning позволяет получать конкретный вывод сразу, без типичного вступления «это зависит от контекста, но с одной стороны...». Фишка: добавь «Сначала дай итоговый ответ, затем обоснуй» — и модель, зная что потом придётся объяснять, формулирует первый же токен точнее. Работает в 88% из 117 протестированных комбинаций моделей и задач — бесплатно, без дообучения, одной строкой.
Constraint Decay (затухание ограничений) — это явление: когда ты добавляешь в промпт всё больше требований, модель начинает их терять. Не случайно и не равномерно — чем конкретнее и «структурнее» требование, тем выше шанс, что именно оно выпадет.
Чем лучше модель обучена слушаться, тем скучнее и однообразнее она пишет. Исследование измерило разнообразие языка у двух поколений моделей и выяснило: новые GPT-4o, Qwen 2.5, LLaMA 3.3 пишут менее разнообразно, чем старые необученные модели 2023 года. И значительно беднее, чем живые журналисты.
Рабочая ссылка — это не проверенный факт. Команда PwC протестировала 14 крупных моделей: ссылки работают в 94%+ случаев, контент по теме в 80%+, но конкретные утверждения из этих источников подтверждаются лишь в 39–77%. Метод трёхуровневой проверки позволяет отличить красивую цитату от реально проверенного факта до того, как цифры уйдут в презентацию или отчёт. Фишка: уровни 1–2 проходят почти всегда — провал всегда на уровне 3, и именно этот уровень большинство пользователей не проверяют никогда.
«Кроме случаев X» в конце абзаца и «кроме» в начале — для человека одно и то же. Для LLM — нет: 6–9% вердиктов меняются от простой перестановки, хотя правило не изменилось ни на букву. Три приёма позволяют строить оценочные промпты, которые держат результат при любой перефразировке — для HR-ботов, модерации, проверки договоров. Фишка: исключения ставь до основного правила, не после — модель генерирует ответ слева направо, первые блоки задают рамку для всего остального. «Кроме» в конце как опровержение после уверенного утверждения: технически присутствует, но направление уже задано.
Вероятность победы первой модели на Chatbot Arena над пятидесятой — 0,53. Это хуже броска монеты. Один глобальный рейтинг пытается усреднить предпочтения носителей 116 языков — и в итоге не представляет никого из них. Исследование позволяет выбрать личный портфель из 2-4 моделей под конкретный язык и задачи — вместо погони за одним «чемпионом» из общего списка. Фишка: 5 правильно подобранных ранжирований покрывают 96% пользователей — против 21% при выборе топ-5 из глобального рейтинга. Победитель Arena — это модель, которая одинаково средне подходит всем, а не отлично работает именно для вас.
Парадокс: модель правильно отвечает «да, контекст изменился» на прямой вопрос — и следующим сообщением советует коворкинги в городе, который вы три недели как покинули. Метод явной проверки предпосылок позволяет это остановить: попросить модель выписать все допущения из вопроса и сверить их с историей диалога до того, как она начнёт отвечать. Фишка: модель следует фрейму вопроса, а не истории диалога — если вопрос содержит устаревший факт как данность, он становится якорем. Явный шаг «выпиши допущения → проверь по истории → уточни» разрывает этот якорь без кода и без дообучения.
Обнаружено: AI ошибается не потому, что плохо рассуждает — а потому что читает пересказ вместо оригинала. Из 357 неправильных ответов 92% исчезли, когда модели дали полный текст разговора вместо сжатого. Архитектура True Memory позволяет хранить информацию дословно и искать точно в момент запроса — а не решать заранее, что важно. Фишка: сжатие до запроса — лотерея. Когда ты ещё не знаешь что спросишь через неделю — ты не знаешь что выбросить.
...
Показать по: