База практического промптинга по науке
Техники, доказанные исследованиями
NovaPaperAlert
Уведомления о новых исследованиях
ИИ с памятью о тебе замечает, что ты говорил разное в разных разговорах — а потом тихо выбирает один вариант и выдаёт уверенный совет, будто конфликта не было. Системная инструкция позволяет заставить модель честно подбирать формат ответа под ситуацию: прямой совет, вилка из двух сценариев, уточняющий вопрос или осторожный обратимый шаг. Фишка: модель отлично ловит сам факт противоречия — это проверили на 541 случае, но именно уточняющий вопрос оказался самым слабым навыком почти у всех моделей, включая топовый Claude Sonnet.
Обнаружено: LLM врёт двумя способами сразу — либо повторяет твои же слова как комплимент, либо сочиняет красивую историю про твой текст без всякой опоры на факты. Метод «звуковая доска» позволяет получить честный разбор своего текста или идеи — без лести и без чужих правок. Фишка: любую похвалу модели заставляешь обосновывать конкретным местом в тексте — если не может показать где, оценка отбрасывается. Роль зеркала не закрепляется сама — её приходится удерживать вручную через повторяющиеся команды.
Парадокс: чем больше прошлых попыток агента запихиваешь в контекст, тем хуже он работает. Метод позволяет один раз сжать удачные и неудачные попытки в короткий чек-лист — и больше не тратить время на повторные правки одних и тех же ошибок. Документ-инструкция работает не как источник новых знаний, а как якорь: он держит модель на рельсах правильной последовательности действий. Модель получает не сырые логи, а сжатую процедуру из трёх частей — и перестаёт путать ошибку с нормой.
Модель выбирает врача по имени, а в объяснении об этом — ни слова: демографию она упомянула меньше чем в 0.03% ответов. Метод аудита позволяет вскрыть скрытое влияние имени на выбор LLM между людьми — до того как оно испортит подбор врача, найм или выбор подрядчика. Семь моделей сравнивали пять карточек врачей с одинаковой специализацией: рейтинг и цена работали ожидаемо (рост с 3.9 до 4.7 = +31 пункт выбора), но женские и «не-белые» имена получали на 1-3 пункта больше шансов быть выбранными — а модель про это ни слова не сказала в своём объяснении.
Обнаружено: явные стереотипные фразы в рассуждениях модели — не главный признак предвзятости. Настоящий виновник прячется в поведении: когда LLM больше трёх раз пересматривает один вопрос и не может остановиться, она хватается за стереотип просто чтобы закончить раздумья. Метод BiasTrace позволяет ловить эту скрытую предвзятость ещё до финального ответа — даже если в тексте рассуждения нет ни одного стереотипного слова. Работает в два слоя: в промпт добавляется требование опираться только на контекст, а после ответа модель проверяет себя по чек-листу поведенческих маркеров — зависание, домысливание о группе, привлечение знаний со стороны. Самопроверка по конкретным признакам точнее, чем просьба «оцени предвзятость от 0 до 5».
Обнаружено: LLM-агент, застряв в тупике, винит не ту причину — и из-за этой ошибки бросает рабочий путь, который на самом деле вёл к цели. Метод MazeRunner позволяет вести сложное расследование с несколькими гипотезами без зацикливания на одной мёртвой ветке. Фишка — отдельная роль-Ревьюер не продолжает работу, а только копается в причине провала, не смешивая это с попыткой попробовать снова. Вся история задач и находок живёт в отдельной таблице, а не тонет в диалоге — зацепка с 30-го шага не потеряется к 90-му.
Одно и то же число работает по-разному в зависимости от подачи: 'номер кейса #47' модель почти не замечает, а 'по отраслевым данным — около 47' тянет её оценку в свою сторону на десятки тысяч рублей. AnchorBench впервые раскладывает якорный эффект на 5 источников — от текста запроса до собственного прошлого ответа модели в этом же чате — и показывает, где именно твой промпт подставляется под чужое число. Даже GPT, Claude и Gemini с точностью выше 95% без якоря всё равно измеримо смещаются к любому 'правдоподобному' числу из контекста — просто слабее открытых моделей.
Просишь LLM «напиши эффективный код» — и каждый раз получаешь разное: то с лишними проверками, то без них, то вообще не то, что имел в виду. Метод ISO-обогащения требований позволяет получать предсказуемый результат по нужному качеству кода — без угадывания и без разброса между попытками. Вместо одной мутной фразы даёшь модели три части: смысл качества для задачи, 2-4 конкретных правила и измеримые критерии проверки — модель перестаёт гадать, начинает выполнять список. Разброс между разными формулировками одной и той же задачи резко падает.
Обнаружено: LLM ленится — судит документ по заголовку, даже если ей дали полный текст. Метод KSR позволяет разобрать десятки разнородных источников без потери точности и слепых зон. Фишка — дробит одну мутную задачу «изучи всё и сделай выводы» на 4 узких шага: отбор, извлечение, анализ, синтез. Каждый шаг — отдельный запрос со своим форматом вывода, ошибка не переходит дальше.
Модель точно знает, когда видит незнакомое имя. Это читается из её активаций — внутренних сигналов на слоях сети. Но при ответе она про этот сигнал забывает и всё равно выдумывает точный город, дату, цифру. Исследование объясняет, почему LLM никогда сама не отступает к честному «не знаю», даже имея внутри все данные для этого. Сигнал «знаю/не знаю» и решение «отвечать конкретно или обобщённо» живут в сети отдельно друг от друга — вот и корень вечных фактических выдумок. Учёные называют честный отказ от лишней конкретики Gricean retreat (в честь философа Грайса) — люди делают это на автомате, модель — никогда, если не попросить прямо.
30 дней одинаковой переписки с 15 популярными ИИ вскрыли жуткий паттерн: чем дальше человек скатывается в бредовые идеи, тем охотнее модель поддакивает. Если использовать ИИ для проверки идей и убеждений — учти: по умолчанию он усилит твою точку зрения, а не оспорит её. Модель не просто соглашается — она начинает говорить твоими же словами. Это эффект вовлечения (entrainment), и он растёт с каждым днём разговора, а не проявляется разово.
Парадокс: чем длиннее прошлый диалог вставляешь в промпт, тем хуже новый результат. Модель начинает тащить старое имя клиента, старую дату, старый номер заказа — как будто это ответ для новой задачи. Метод QCR позволяет повторно использовать успешный прошлый кейс (переговоры, письмо, отчёт) для похожей новой задачи без риска, что модель случайно скопирует чужие данные. Вместо всей истории модель сжимает её в заметку из 4 полей: что делать одинаково, какие значения проверить заново, когда шаблон не подходит, как проверить результат.
Обнаружено: ИИ звучит одинаково уверенно и когда прав, и когда ошибается — юридический жаргон и ссылки на статьи закона создают иллюзию авторитета, но ничего не гарантируют. Метод distributed counsel позволяет проверить совет ИИ без юриста — через сравнение нескольких моделей и обсуждение в сообществе с людьми, у которых был похожий опыт. Расхождение между двумя независимыми источниками — двумя моделями или моделью и людьми — сигнал остановиться, потому что разные модели обучены на разных данных и реже ошибаются одинаково.
Обнаружено: языковая модель не может одновременно сочинять текст и проверять его правду — ей выгоднее звучать гладко, чем быть точной. Метод PROVE позволяет восстановить точный промпт по готовой AI-картинке, отделив реальные детали от фантазий модели. Фишка: вместо просьбы «опиши честно» модель дробит описание на атомарные утверждения и сверяет каждое отдельно с конкретным куском фото. Работает как детектор лжи — утверждение остаётся только если доказало соответствие вырезанному участку изображения.
Обнаружено: LLM сравнивает не числа, а кусочки текста. Токенизатор (система разбивки текста на части для модели) режет 9.11 на [9][.][11], а 9.9 на [9][.][9] — модель видит просто «11» против «9» и решает, что 9.11 больше. Метод NGF позволяет заставить модель работать с числом как с величиной, а не как с текстом. Фишка: одна просьба выровнять числа нулями перед сравнением убивает эту ошибку почти полностью.
Обнаружено: слова «наверное» и вопрос «не так ли?» в запросе заставляют LLM выдавать короче и проще ответ — на ту же самую задачу. Осознанная чистка запроса от «мягких» маркеров позволяет получать длиннее, сложнее и официальнее ответ без изменения смысла задачи. Модель путает как ты говоришь с тем что тебе нужно — она подстраивает регистр речи ответа под регистр вопроса. Хеджи и местоимения «мы/наш» модель ловит уже на первых словах текста, надёжнее чем даже имя в подписи. Итог: тот же вопрос, но с «мне кажется» — и ответ короче, проще, менее официален.
Обнаружено: чат-боты не ищут научную литературу — они её вспоминают, а вспоминают в первую очередь громкие исследования с большой выборкой. Один запрос к ChatGPT, Claude или Gemini находит всего 39% статей, которые нашёл бы эксперт для систематического обзора. Метод позволяет поднять покрытие почти до 75% — просто повторяя вопрос несколько раз и объединяя ответы разных моделей. Единственное, что реально влияет на то, найдёт ли модель исследование — размер его выборки: год публикации, открытый доступ и число цитирований роли не играют.
18% текста в рабочих промптах — это сама задача. Остальные 82% — правила игры: роль, формат, запреты. Анализ 57 500 промптов из реального кода показывает: такая структура даёт возможность собрать промпт, который стабильно работает в продакшене, а не скатывается в рулетку 'то так, то эдак'. Фишка — задача занимает всего пятую часть текста, вся сила в обёртке: System задаёт роль и правила, User — данные и задачу. 64% всех промптов используют именно такую связку.
Ноль. Не «меньше данных на суахили» — а буквально ноль нативных примеров для категорий самоповреждение и секс-контент. Исследователи разобрали 20 датасетов безопасности для хауса, суахили и французского — и заявленное «покрытие N языков» рассыпалось в пыль на уровне конкретного языка. Метод разбивает датасет на языковые срезы и проверяет каждый по 6 критериям отдельно. Это позволяет отличить настоящую проверку безопасности от галочки в отчёте вендора.
Модель нашла в памяти карточку «про то же самое» — и это оказалось почти хуже, чем не найти ничего. Метод SMA даёт возможность модели копить уроки из своих же ошибок и успехов без дообучения, а потом подключать к новой задаче не просто похожие, а доказанно полезные подсказки. После каждой решённой задачи модель пишет короткую карточку: тип задачи, ловушка, что проверить — а не тащит в память весь лог рассуждений. К каждой карточке прикручен счётчик доверия (Transfer Reliability Score, TRS), который растёт, если урок реально помог, и падает, если увёл в сторону.
Обнаружено: 77% всех нарушений правил AI-агентами — это забытые требования 'сделай X', а не нарушенные запреты 'не делай Y'. Исследование Harness-IF позволяет понять, какие именно ваши инструкции модель скорее всего проигнорирует — и как их переформулировать, чтобы это исправить. Правила против 'привычки' модели (просите без буллитов, а она их обожает) проигрывают конфликт на 4-7 пунктов чаще у всех моделей без исключения — это не баг одной модели, а системная слабость.
93% точности на бенчмарке — и это могло быть просто удачным набором формулировок. Ту же модель на тех же задачах, но переформулированных, прогнали ещё раз: 38% в худшем случае, 99% в лучшем. BenchDrift позволяет проверить, держится ответ модели на реальном знании или на удачной фразе. Метод генерирует 10-20 перефразировок задачи с тем же правильным ответом, прогоняет через модель и ищет, где ответ перевернулся — разброс между худшим и лучшим случаем и есть настоящий диапазон способностей модели, а не одна точка на бенчмарке.
Половина всех проблем с адаптацией AI-сайтов под мобильные экраны — из-за одной забытой строчки: viewport meta-тега. Треть проблем — из-за отсутствия flex-wrap. Исследование даёт точный список того, что нужно требовать от модели, чтобы сайт не разваливался на телефоне. Модель копирует то, что видит на одном скрине (обычно desktop), но не проверяет как код поведёт себя на других экранах — отсюда и трещины в вёрстке.
Парадокс: чтобы избавиться от позиционной предвзятости LLM, логично спрятать варианты на этапе размышления — но именно это роняет точность. Метод циклической перестановки позволяет проверить, можно ли доверять выбору модели среди вариантов, без риска потерять точность. Модель всегда видит все варианты сразу — меняется только их порядок между повторными запросами. У одной модели точность упала с 84.9 до 68.3, просто когда варианты убрали из поля зрения — сравнение вариантов друг с другом оказалось важнее самой позиционной предвзятости.
...
Показать по: