База практического промптинга по науке
Техники, доказанные исследованиями
NovaPaperAlert
Уведомления о новых исследованиях
Системный промпт, написанный за один проход, иногда работает хуже нуля. Не потому что инструкции плохие — а потому что общие советы оставляют слишком много простора для трактовки. Модель заполняет этот простор своими паттернами. Не твоими. Probe-and-Refine позволяет превратить расплывчатые инструкции в операционно точные правила — модель сама находит в них дырки через синтетические провалы. Фишка: ты не придумываешь что добавить в инструкции — ты смотришь где они сыплются, и патчишь именно эти места. Три итерации — и "анализируй тщательно" превращается в "сначала определи индустрию клиента, потом боль, потом структуру разделов".
Парадокс: просить разные модели оценить текст — опаснее, чем одну. Разные архитектуры «заражают» результат в 3–5 раз сильнее, чем одна модель с разными инструкциями. Метод трёх оценщиков позволяет получить надёжную оценку от AI без перекоса в «любимые» свойства конкретной модели. Фишка: три разных критерия в одном промпте создают независимые векторы предпочтений — там где все трое сходятся, это реальная проблема, а не вкус одного судьи. Итог — -72% смещения без смены модели и без единой строки кода.
Страх, что модель защищает свой текст — обоснован. Но срабатывает он не там, где все думают. При редактуре по чётким правилам модель оценивает свой и чужой текст одинаково честно — 4 модели, реальное авторство, одинаковая частота принятых правок. Метод позволяет безопасно пускать ту же модель на проверку своей же работы — без открытия нового чата. Фишка: замени «проверь, хорошо ли написано» на «проверь, выполнены ли правила 1, 2, 3» — и самолюбие не включается. Вопрос об авторстве исчезает сам: правило либо выполнено, либо нет.
AI не ищет лучший продукт — он воспроизводит паттерны цитирования из интернета. Крупные бренды попадают в ответы в 73% случаев, нишевые — в 11%. Не плавный градиент, а три чётких ступеньки — и провалиться между ними легко. GEO-диагностика позволяет найти конкретные причины невидимости и создать контент, который AI захочет процитировать. Фишка: не все форматы равны — подборки 'лучшие X инструментов' дают 21% всех AI-цитирований. Добавь цифры и имя автора — попадёшь в ответы на 25–40% чаще, чем без них.
Claude ставит бизнес-идее 8 из 10. GPT — 6 из 10. Кто прав? Скорее всего, оба врут: до 90% разницы объясняется не качеством идеи, а тем, что каждая модель системно гнёт в свою сторону шкалы вне зависимости от содержания. Метод ортогональных пар позволяет поймать это смещение и получить оценки, которым можно доверять. Фишка: задай один и тот же вопрос в прямой и обратной формулировке в разных чатах — если оба ответа высокие, модель просто любит высокие числа, а не хвалит твою идею. Реальный победитель — объект с наибольшей разницей между прямой и обратной оценкой.
Один вопрос делает AI максимально предвзятым. Другой — почти нейтральным. Фото одно и то же. Исследователи изменили только один атрибут — одежду, очки, причёску — и замеряли, как меняется суждение модели. Результат: смысловая согласованность определяет силу предвзятости. Спрашиваешь 'богатый или бедный?' — AI смотрит на одежду и реагирует на полную мощность. Спрашиваешь 'честный?' — та же одежда почти не влияет. Знание этой карты позволяет переформулировать вопрос — и получать заметно менее искажённые оценки людей по фото. Из 73 изученных атрибутов внешности всего 15 создают около 80% всей предвзятости — стиль одежды, тип телосложения и возраст в топе.
Один промпт «извлеки все важные поля из договора» — универсальный способ получить пропуски, галлюцинации и мешанину. Метод Prompt-Plan-Extract позволяет точно вытаскивать структурированные данные из любого сложного документа — договора, отчёта, тендера, вакансии. Фишка: вместо одного жирного запроса — четыре узких роли с разными задачами. Маппер делит документ на смысловые блоки, планировщик решает что где искать, исполнитель заполняет поля, компилятор сводит результаты и разрешает конфликты. Каждая роль делает одно — и не путается с остальными.
LLM не умеет молчать — её буквально не учили. Обучающие данные полны уверенных ответов, и модель воспроизводит эту интонацию даже когда придумывает цифры из головы. Исследование собрало 24 метода, которые позволяют понять когда ответу модели доверять нельзя — и всё это без доступа к её внутренним весам. Фишка: лучше всего работают не просьбы "оцени уверенность", а методы, которые вынуждают модель сравнить несколько своих ответов между собой. Модель, которая каждый раз отвечает по-разному, буквально показывает руками что блефует.
Модель читает ваш документ как человек без блокнота — держит всё в голове, но к 10-й странице уже не помнит что было на 1-й. Именно поэтому LLM пропускает противоречия между разделами — даже очевидные. Running Summary Review даёт возможность ловить логические дыры и несоответствия между частями длинных документов: 68% пойманных ошибок против 37% при проверке всего текста за один запрос. Фишка: после каждого раздела модель пишет конспект ключевых утверждений — и он уходит в следующий запрос. Это искусственная долгосрочная память вместо той, которой у модели нет.
89% самостоятельных пересмотров в стандартной многоагентной дискуссии LLM — вредные: модель не спорит, она просто дрейфует к чужой ошибке. Метод честных разнородных агентов позволяет строить дискуссии, где пересмотры идут в правильную сторону — один агент с другим профессиональным фреймом роняет вредные пересмотры с 89% до 35%. Фишка: дело не в «скептике» или «критике» — а в том, что роль задана честной и с другим опытом. Враждебный агент использует тот же механизм влияния, только разворачивает дрейф к ошибке — без аккуратной формулировки ролей многоагентный формат делает результаты хуже, а не лучше.
Ты думаешь, что показываешь модели формат ответа. На самом деле — показываешь ей, кем быть. Понимание этого позволяет управлять тоном, ролью и стилем LLM точнее, чем любая инструкция. Каждый few-shot пример кодирует не паттерн поведения, а образ роли: безобидный пример «вопрос → структурный ответ» включает у модели образ полезного и аккуратного ассистента — и этот образ тянется дальше на все следующие ответы. Последний пример в контексте весит непропорционально много — у модели сильный уклон в сторону недавнего. Лучший пример ставь последним.
Парадокс: чем длиннее список правил и тегов в системном промпте, тем хуже модель понимает реальную задачу. Авторы провели 391 сессию и назвали этот эффект «болезнью индексов» — модель перестаёт понимать смысл и начинает «играть в символы». Принцип Пан позволяет вести долгосрочные проекты без этого накопленного мусора. Фишка: вместо правил — явная цель сессии плюс отдельный чистый документ с текущим состоянием. Остальное модель сделает сама — она уже знает всё нужное из обучения, ей просто нужно понять зачем.
93% — частота утечек у Claude Sonnet при работе с документами. И вот что неприятно: чем умнее модель, тем хуже результат — она лучше понимает задачу, а значит крепче держит данные в голове и охотнее их воспроизводит. Дописать в системный промпт 'не раскрывай персональные данные' математически не работает — это доказано в исследовании. Метод структурной изоляции позволяет работать с чувствительными документами — договорами, платёжками, анкетами — не раскрывая реальных значений AI вообще. Заменяешь паспортный номер на [PASSPORT_ID] до отправки — модель работает с токеном, ставит его в нужное место в шаблоне, а ты подставляешь реальное значение уже сам. Слить нечего: числа никогда не попадали в чат.
Обнаружено: LLM без точного профиля аудитории оптимизирует под «среднего читателя» — которого не существует. Говоришь «адаптируй для CEO» — она берёт немного сложного, немного простого и выдаёт кашу, которая не нужна никому. Audience-Profiling позволяет получить точно разные версии одного материала — для инвестора, технаря и новичка — из одного запроса. Фишка: заменяешь расплывчатый ярлык точным профилем из пяти параметров — роль, уровень знаний, цель, желаемая глубина, бюджет внимания. Модель переключается с угадывания на фильтрацию: что включить, что убрать, какую глубину взять.
Разобрали 326 провалов лучших AI-агентов на сложных задачах — и нашли закономерность: 46% всех ошибок начинаются не с незнания, а с того что план разваливается на первом препятствии и модель везёт эту ошибку до самого конца. DelveAgent позволяет решать многошаговые задачи без накопления ошибок — через явное переплнирование, двойную память и двухуровневую проверку прямо в промпте. Три XML-блока в одном промпте создают три отдельных слоя контроля: план пересматривается после каждого шага, факты и выводы хранятся в разных журналах, финальный аудитор смотрит на весь ответ целиком — даже Gemini Deep Research справлялся лишь с третью задач без этой структуры.
Одно изменение в рабочем процессе — результат в 12 раз лучше. Не смена модели, не дообучение. Просто другая формулировка того, что пошло не так. Метод позволяет вести многошаговые задачи без деградации: модель не теряет нить к шестому ходу, а держится десятки итераций. Вместо 'неверно, переделай' — конкретно: какой критерий нарушен и почему. Модель получает точный сигнал для исправления. Без него она угадывает. Угадывание накапливает ошибки — за 5–6 ходов без конкретной обратной связи диалог необратимо съезжает у всех протестированных моделей.
«Игнорируй пол кандидата» — эта инструкция не снизила уклон ни в одной из пяти протестированных моделей. Ни на одну. Цифры до и после — одинаковые. Метод анонимизации входных данных позволяет оценивать резюме без систематического перекоса — просто убираешь имя перед отправкой. Сигнал нельзя игнорировать — его можно только убрать. Убираешь имя из материала — уклон исчезает почти полностью.
Парадокс: несколько LLM-агентов в дискуссии могут прийти к уверенности выше той, с которой стартовал любой из них — а простое усреднение мнений на это математически неспособно. Причина: у каждой LLM есть скрытый якорь — внутреннее убеждение из предобучения, которое тянет её позицию к себе, даже когда она вслух говорит «принимаю ваш аргумент». Метод явного якоря позволяет воспроизвести этот механизм в одиночном промпте: не просить «взвесь все стороны», а задать каждому агенту конкретное, неизменное убеждение — и дискуссия вытащит вывод, которого не было ни в одной стартовой позиции. Фишка: чем дальше якоря агентов друг от друга — тем дальше группа уходит от банального усреднения. Дискуссия оседает не там, где стартовали агенты, а там, где стоят их якоря — и если это место далеко от старта, группа выходит за пределы любого индивидуального ответа.
Парадокс: две модели из 21 показали идеальную воспроизводимость — и при этом сильнейшее позиционное смещение из всех протестированных. Они всегда выбирали первый вариант. Всегда. Независимо от того, что там написано. Метод двойного запроса позволяет за две минуты проверить — LLM судит по содержанию или просто по очерёдности. Запусти одно сравнение дважды с переставленными вариантами. Совпали победители — оценке можно верить. Разошлись — модель реагировала на место в списке, а не на качество текста. Аргументы при этом звучат одинаково убедительно в обоих случаях — и именно это делает ловушку незаметной.
LLM не умеет молчать. Дал расплывчатое задание — она не замирает, не спрашивает, а уверенно заполняет пробелы и едет вперёд. В длинных цепочках одно раннее допущение тянет за собой десятки неверных шагов. Метод Uncertainty Decomposition позволяет остановить модель до первого действия и заставить её явно оценить: задача ясна или нет. Фишка: порядок XML-тегов задаёт порядок мышления —
<неопределённость_задачи> стоит в тексте раньше <действие>, и модель физически не может перешагнуть через оценку ясности. Итог: вместо уверенного движения не туда — конкретный уточняющий вопрос.
Парадокс: GPT-4 и Claude дают этот сбой чаще, чем Mistral и небольшие Llama. «Лучше обучена на безопасность» здесь означает «хуже работает с фактами». Метод двухшагового анализа позволяет получить фактический вывод даже в чувствительных юридических, медицинских и HR-ситуациях — там, где модель обычно уходит в уклончивые рассуждения, игнорируя доказательства. Сначала принуждаешь модель выписать релевантные факты, потом задаёшь вопрос — когда она сама перечислила доказательства, закрыть логический вывод ей уже значительно сложнее. И ещё одно: добавление фразы «будь объективен, без предвзятости» усиливает проблему в 2–9 раз — это не инструкция, а сигнал тревоги.
Получил ответ — но снова 'не совсем то'. Переспросил. Снова не то. Открыл новый чат. Это не модель плохая — это в промпте дыра. В нём нет блока, который объясняет модели что для тебя вообще значит 'хороший результат'. CSV-фреймворк позволяет строить промпты, которые дают результат, которому ты доверяешь и реально используешь — а не складываешь в папку 'надо переделать'. Фишка: три элемента — контекст, конкретность, проверяемость — влияют на разные стадии. Контекст и конкретность определяют что получишь. А проверяемость — захочешь ли этим воспользоваться. Большинство добавляют первые два и застревают в петле правок — потому что пропускают третий.
Паттерн: LLM слышит «я в кризисе» — но почти не слышит «помоги мне самому разобраться». Вот откуда захват мышления: модель решает за тебя, даже если ты не просил. Все пять протестированных моделей — GPT, Claude, Gemini, Llama, Qwen — показали умеренный или высокий уровень этого паттерна. Хуже того: с каждым сообщением в разговоре становилось не лучше, а хуже. Anti-Atrophy Prompt позволяет переключить модель из режима «советника» в режим «фасилитатора» — через один блок инструкций в начале разговора. Главная фишка — drift-check каждые 5-7 сообщений: без него сократовский режим неизбежно рассыпается — и решение снова её, а не твоё.
Парадокс: просьба «сделай профессиональнее» опаснее, чем «сделай короче» — при «чистке» текст теряет меньше слов, но уходит от смысла в 6-7 раз дальше. Защитный промпт с явным чек-листом позволяет сохранить оговорки и увидеть что именно изменилось — не гадать, а проверить. Режется первым не содержание, а неопределённость: фразы «нельзя исключить», «предположительно», «по оценкам» исчезают потому что модель считает уверенный тон признаком хорошего текста — и молча выбрасывает «слабость».
...
Показать по: