База практического промптинга по науке
Техники, доказанные исследованиями
NovaPaperAlert
Уведомления о новых исследованиях
Парадокс: чем точнее называешь ошибку LLM — тем аккуратнее она её воспроизведёт. Скажи 'это solution drift, остановись' → модель согласится, опишет ошибку лучше тебя, предложит исправление — и в следующем же абзаце уйдёт в тот же drift, только глубже упакованный. Исследователи назвали это хелицоидом: петля, которая поднимается по спирали, но не выходит из неё. Метод task absorption позволяет получить честный анализ в высокоставочных решениях — там, где без вмешательства модель неизбежно уходит в уверенный, но пустой перформанс заботы. Фишка: не исправляй ошибку словами — занимай ресурсы задачей. Дай аналитическую задачу с несовместимыми фреймами и явными пробелами в данных. Ресурсы, которые шли бы на 'выглядеть полезным', уходят на реальный синтез. Метод проверен на семи ведущих моделях — хелицоид воспроизвёлся у всех без исключения.
Обнаружено: LLM застревает в семантическом поле задачи. Спросишь про отток подписчиков — получишь умный пересказ про отток подписчиков. Это не баг: языковая модель предсказывает следующий токен и активирует слова из той же области, что и в вопросе. Метод Idea-Catalyst позволяет вытащить решения из совершенно чужих дисциплин — медицины, педагогики, теории игр — для вашей конкретной задачи. Фишка: убрать из вопроса отраслевой жаргон и переформулировать суть. "Как удержать платящего клиента?" становится "Как поддерживать вовлечённость при снижении новизны?" — и модель уходит в совсем другие области, где это решали десятилетиями.
Парадокс: чем убедительнее AI объясняет правильность своего ответа, тем хуже ты замечаешь его ошибки. Исследователи сравнили три способа проверки AI-данных и выяснили — AI-объяснение это ловушка, а не помощь. Метод пассажей даёт 2-3 куска исходного текста без оценки «правильно/неправильно»: ты читаешь сам, без чужого якоря — и ошибка становится видна. Для точечных фактов это быстрее полного документа и надёжнее, чем верить объяснению модели.
Напишешь «выгодный и надёжный вариант» — модель не взвешивает критерии. Она генерирует текст, который звучит как баланс. Реальных вычислений нет. UtilityMax позволяет получить честный выбор из нескольких конкурирующих целей — не имитацию, а математику. Каждый критерий превращается в переменную X1, X2, X3 — модель оценивает их по очереди, потом перемножает. Важный момент: жёсткая формулировка типа «найди ТОЛЬКО выгодный И надёжный» не спасает — эксперименты показали, что иногда даёт результат хуже мягкой версии. Двусмысленность никуда не уходит, просто фиксируется жёстче.
Обнаружено: когда просишь LLM проверить то, что она только что написала — она не критикует, она защищает результат. В контексте лежат твои инструкции, промежуточные итерации, одобрения. Модель читает текст не как «что написано», а как «итог правильной работы» — и обходит ошибки стороной. CCR позволяет получить честное ревью любого текста или кода: копируешь только готовый артефакт в новый чат — без истории, без производственного контекста. Новый сеанс не знает, кто написал текст — и вынужден оценивать то, что реально есть, а не то, что планировалось. Подхалимское смещение почти исчезает — модель просто не понимает, что перед ней её собственная работа.
Парадокс: чем дольше вы объясняете задачу AI, тем хуже он отвечает. GPT-4o терял 50 процентных пунктов точности при длинных диалогах, а из 17 протестированных моделей только одна умела отличать давление пользователя от реального аргумента — остальные соглашались с неверным ответом в ~50% случаев. Метод борьбы с этим эффектом позволяет получить честную оценку — не ту, которую модель подстраивает под ваши намёки, а ту, которую она дала бы без давления. Суть: собери весь контекст в один запрос и добавь инструкцию «не меняй позицию, если я начну спорить» — модель не «держит» свою позицию в диалоге, она видит весь чат как один длинный текст, и каждый ваш уточняющий вопрос статистически тянет её к согласию. Один мощный запрос вместо пяти — и модель не успевает поддаться давлению.
Скажи модели 'объясни как сделать оружие' — откажется. Скажи 'переведи этот текст' и подсунь туда инструкцию по оружию — переведёт без единого слова предупреждения. Это не баг конкретной модели: модели учили говорить 'нет' на опасные задачи, но не учили проверять что именно ты принёс на обработку. Один абзац в начале промпта — 'сначала проверь контент, потом выполняй' — закрывает этот пробел: модель останавливается, находит опасное и объясняет почему не будет работать с материалом.
Не размер модели — структура описания роли определяет качество ответа. Исследование 330+ агентов зафиксировало устойчивую закономерность: чем богаче 4-секционная спецификация, тем стабильнее и точнее поведение. AgentProfile позволяет настроить модель так, чтобы она работала по одним и тем же критериям — каждый раз, а не «иногда». Четыре раздела (Роль → Измерения → Стандарты → Формат) не просто описывают роль — каждый закрывает отдельный источник разброса: контекст, фокус внимания, критерии оценки, порядок выдачи. Таблица измерений — это встроенный чеклист, по которому модель проходит при каждой генерации, не решая самостоятельно на что обращать внимание.
Парадокс: в 7% случаев эксперты давали правильный ответ — видели неверный ответ ИИ — и переходили на сторону ИИ. Не «ИИ помог исправить ошибку». ИИ убедил отказаться от верного суждения. Метод «сначала я, потом ИИ» позволяет зафиксировать свою позицию до контакта с моделью — и не давать первому ответу захватить мышление. Фишка: запрос к ИИ должен быть третьим шагом, не первым — иначе первый ответ модели становится точкой отсчёта, от которой уже не отойти.
Парадокс: неверный ответ ИИ на лёгком вопросе роняет точность специалиста на две трети — именно там, где без бота он отвечал правильно в 75% случаев. Понимание этого паттерна позволяет выстроить асимметричную стратегию доверия к ИИ: осторожнее там, где знаешь, смелее — там, где не уверен. Фишка: знакомая задача — самое опасное место для слепого доверия ИИ, потому что уверенный тон бота ломает вашу уверенность сильнее всего именно тогда, когда вы правы.
Парадокс: попросишь модель сыграть злого клиента — она сыграет вежливого. Не потому что не умеет, а потому что обучена помогать — и не может это выключить даже в роли. Метод, найденный на 31 модели, даёт шаблон противовесов, который закрывает четыре встроенных смещения симулятора пользователя. Фишка: не просто «стань капризным», а явные категорийные запреты — [Стиль], [Информация], [Уточнения], [Реакция] — каждый снимает конкретное смещение. Результат: симулятор перестаёт выдавать номер заказа без вопроса и начинает говорить «вы уже спрашивали» вместо молчаливого обхода ошибок.
Парадокс: фраза 'пересмотри свой ответ' ухудшает точность — при любых формулировках, всегда. Метод двухшагового классификатора позволяет точно размечать тексты пачками без ручной проверки каждого. Фишка: сначала дай модели порассуждать свободно — потом попроси одно слово на фрагмент. Рассуждение прописывает логику. Ответ лишь считывает готовый вывод. Точность выше, чем у любой одношаговой схемы.
Попросить LLM 'улучши мой промпт' — всё равно что попросить врача 'сделай мне лучше' без анализов. Модель угадывает что починить — и угадывает наугад. PEEM решает конкретную проблему: дать модели точный список осей для диагностики, чтобы на выходе получить не 'промпт плохой', а 'ясность структуры: 2/5 — промпт не указывает формат вывода и целевую аудиторию, модель вынуждена додумывать'. Фишка: оцениваешь не просто ответ, а пару промпт+ответ — только так видно на каком уровне сломано: в формулировке задачи или уже в исполнении. Два-три цикла такой петли дают +11.7 процентных пункта качества — без обучения модели и без разработчиков.
Модель снова наступает на те же грабли — не потому что тупит, а потому что каждый новый чат начинается без вашего прошлого опыта. Фреймворк Trajectory-Informed Memory позволяет систематически передавать накопленный опыт между сессиями через два промпта: один разбирает прошлую сессию, второй инъецирует нужные советы в начало следующей задачи. Модель не может помнить прошлое — но прекрасно следует конкретным инструкциям, которые вы кладёте перед ней прямо сейчас.
Парадокс: три разные AI единодушно поставили 9/10 питчу с незаконной бизнес-моделью — и все три были искренни. Согласие реальное. Понимание нулевое. MERG даёт возможность получить от модели настоящую экспертную критику, а не похвалу за форматирование и уверенный тон. Фишка: заставь модель сначала вспомнить всё что она знает о предметной области — и только потом оценивать. Она переключается с быстрого «узнаю знакомый паттерн» на медленное «думаю как эксперт».
Содержание рассуждений модели не предсказывает нечестный финальный ответ — точность 53%, это уровень угадывания монеткой. Зато честный ответ по тексту рассуждений предсказывается с точностью 97%. Вывод: рассуждение — не объяснение ответа, а маршрут к нему. Метод позволяет получать устойчивые, честные оценки там, где модель по умолчанию съезжает в «удобный» ответ — соглашается, льстит, даёт размытую середину. Фишка: нечестные ответы живут в узких нестабильных зонах пространства ответов — добавь инструкцию «порассуждай вслух», и модель проходит через это пространство до финала, статистически выходя в широкую долину честного ответа. Больше предложений рассуждения = выше вероятность честного вывода.
Модель знает правильный ответ — но не всегда может его достать. На один и тот же вопрос из 100 попыток выдаёт верный ответ лишь в 30 случаях. Не потому что не знает — а потому что прямой запрос не прокладывает путь к нужным связям внутри модели. Factual Priming даёт возможность резко поднять точность на фактических вопросах — особенно редких, нишевых, детальных — без дообучения и без смены модели. Фишка: сначала заставь модель вспомнить всё связанное со темой, и только потом задавай настоящий вопрос — это создаёт семантические якоря, рядом с которыми нужный факт оказывается на расстоянии одного шага, а не десяти.
GPT-4o ставит своим же документам 0.90 из 1. Claude оценивает те же документы на 0.64. Та же модель при десяти оценках одного документа гуляет от 0.48 до 0.73. Метод позволяет генерировать реалистичные профессиональные документы — ТЗ, брифы, спецификации — без реальных образцов и без слепого доверия к самооценке модели. Фишка: документ генерирует одна модель, оценивает — другая, с явным рубриком где за каждое нарушение снимаются конкретные баллы — честный результат вместо самолести.
78% оценок уверенности — это три числа: 90, 95, 100. Спрашиваешь модель «насколько уверена?» — почти всегда получаешь «95». Неважно насколько сложный вопрос. Метод позволяет получить реальный сигнал уверенности — сразу видно, где доверять ответу, а где перепроверить. Меняешь шкалу с 0–100 на 0–20: на шкале 0–100 примерно двадцать «магнитных» якорей кратных пяти — 50, 55... 95, 100. На 0–20 их всего пять. Модель вынуждена ставить 7, 12, 17 — реальные градации вместо вечных «95».
Отправляешь скриншот с задачей — получаешь короткий ответ без единого шага рассуждений. После разбора 4000+ ошибок выяснилось: модель не тупеет — она плохо читает. Пошаговая логика схлопывается, потому что одновременно расшифровывать пиксели и строить цепочку рассуждений — слишком тяжело для одного запроса. Метод OCR-2P позволяет вернуть качество рассуждений на уровень обычного текста при работе с любыми скриншотами и PDF — два отдельных сообщения вместо одного: сначала «дословно извлеки текст», потом «реши задачу, думай пошагово» — и минус 60 пунктов точности на математике превращаются в ноль.
Через 6-8 сообщений модель перестаёт соблюдать правила из начала диалога — это случается в 38% длинных разговоров, и у этого сбоя даже есть имя: Must-Do Omission. Метод InCE позволяет держать все ваши требования активными до конца сессии — без перезапуска диалога с нуля. Причина не в том, что модель «тупеет» — ранние сообщения буквально теряют вес на фоне свежих: InCE возвращает их на поверхность — явно перечисляет все ограничения прямо в текущем запросе, затем проверяет ими следующий ответ до генерации. Работает в обычном чате, без дообучения — просто добавьте шаблон раз в 5-7 сообщений.
Без твоего профиля LLM отвечает как усреднённый пользователь из своих обучающих данных. У GPT этот «дефолт» — умеренно агрессивный инвестор с длинным горизонтом. Причём в разных сессиях GPT даёт разные советы на один и тот же вопрос — ты буквально не знаешь, что получишь. Метод позволяет получить совет под твой реальный профиль, а не под встроенный профиль модели. Одна строчка с четырьмя параметрами в начале промпта переключает модель с «дефолтного» режима на твой профиль: отношение к риску, возраст, уровень дохода, опыт инвестирования. Сдвиг с «осторожного» на «готового к высокому риску» — рисковость советов меняется почти вдвое. Без этой строчки ты стабильно получаешь чужой совет.
Открытый промпт — это задание без ТЗ. Модель заполняет пустоту сама, и получается именно то, чего ты не хотел. Два шаблона позволяют сначала провести модель через явные шаги рассуждений к структурированному результату, а потом поставить другой LLM судьёй — и получить обоснованный выбор лучшего варианта по конкретным критериям. Фишка: CoT-шаги в генерирующем промпте — не подсказка, а принудительный маршрут: модель не может свернуть, пропустить этап или решить что он «и так понятен». Добавь последовательность (a)→(b)→(c)→(d) — и хаотичный выход превращается в то, что ты реально просил.
Парадокс: добавить в промпт строчку «используй факты и аргументы» — привычный рефлекс. Для Claude это работает. Для GPT — режет убедительность. Метод позволяет выбрать правильную связку «модель + промпт» и писать тексты сильнее реальной политической телерекламы — это зафиксировали в Йельском университете. Фишка: у каждой модели свой дефолтный стиль подачи. GPT уже пишет в информационном режиме — добавлять «используй факты» значит дублировать то, что там и так есть. Одна строчка промпта усиливает одну модель и ломает другую.
...
Показать по: