3,583 papers
arXiv:2602.17443 73 19 фев. 2026 г. FREE

AIDG: LLM лучше хранит информацию, чем добывает — два практических инсайта

КЛЮЧЕВАЯ СУТЬ
7.75 раза — вот разрыв между слепым вопросом и конкретной гипотезой. Это измерили в 439 диалогах между AI-агентами: один знал секрет, другой пытался его вытащить через вопросы. Без зацепки — 3.5% успеха. С готовым предположением — 22%. Метод позволяет переключить модель с режима 'сгенерируй список советов' на режим 'раскритикуй конкретный план' — в обычном чате, без кода. Работает через простую механику: редактировать готовый текст легче, чем писать с нуля — модель сравнивает твой вариант с паттернами из обучения и ищет расхождения. Второй инсайт из того же исследования: 41.3% провалов в структурированных задачах — это не неправильный ответ, а нарушение правил, которые модель просто 'забыла' к десятому сообщению.
Адаптировать под запрос

TL;DR

LLM в 7+ раз лучше реагирует на конкретную гипотезу, чем на открытый вопрос. Исследователи устроили 439 "информационных дуэлей" между AI-агентами: один знал секрет, другой пытался его выяснить через диалог. Агент-защитник выигрывал в 87% случаев — и это системная особенность, одинаковая у всех протестированных моделей.

Главная находка: Когда атакующий агент приходил с конкретной гипотезой ("я думаю, что секрет — X, подтверди или опровергни"), он выигрывал в 22% случаев. Когда задавал открытые вопросы без зацепки — 3.5%. Разница в 7.75 раза. Второй инсайт: при длинном диалоге с множеством правил модели начинают эти правила нарушать. В структурированных задачах 41.3% провалов — это не "неправильный ответ", а нарушение собственного ограничения, которое модель "забыла" под нагрузкой.

Оба инсайта прямо переносятся на работу в чате. Вместо "что делать?" — предлагай конкретный план на оценку. Вместо одного большого промпта с пятью правилами — напоминай правила явно в каждом сообщении.


🔬

Схема метода

Это два независимых инсайта, каждый с конкретным применением в чате:

ИНСАЙТ 1: Гипотеза вместо слепого вопроса
─────────────────────────────────────────────
❌ Слабый режим: "Что мне делать с X?"
   → AI генерирует усреднённый широкий ответ

✅ Сильный режим: "Я думаю сделать [конкретно].
                  Где я ошибаюсь?"
   → AI оценивает твой план точечно (в 7.75x эффективнее)

ИНСАЙТ 2: Деградация ограничений под нагрузкой
─────────────────────────────────────────────────
❌ Слабый режим: 5 правил в системном промпте →
                 длинный диалог →
                 к 10-му сообщению правила нарушены

✅ Сильный режим: [АКТИВНЫЕ ПРАВИЛА] в каждом
                  сообщении → стабильное соблюдение

Применяется в обычном чате, никакого кода не нужно.


🚀

Пример применения

Задача: Ты готовишь стратегию запуска телеграм-канала про личные финансы. Хочешь получить конкретную обратную связь от Claude/ChatGPT.

Промпт:

Я запускаю телеграм-канал про личные финансы для аудитории 25–35 лет, Москва.

Мой контент-план:
- 3 поста в неделю: понедельник — лайфхак, среда — "разбор ошибки", пятница — кейс читателя
- Формат: коротко (до 500 знаков) + одна конкретная цифра или факт в каждом посте
- Первые 30 постов — только базовые темы: бюджет, подушка, дебетовые карты

НЕ предлагай альтернативный план. Оцени именно этот:
1. Что в этом плане правильно?
2. Где я ошибаюсь или упускаю важное?
3. Какой элемент самый слабый?

Результат: Вместо общего списка "что публиковать в финансовом канале" — модель разберёт твой конкретный план. Укажет, почему "разбор ошибки в среду" может не сработать без сложившейся аудитории, что в формате '500 знаков + факт' рискует зайти слишком схематично, и какой из трёх форматов слабее всего держит подписчиков на раннем этапе. Ответ будет точечным, а не энциклопедическим.


🧠

Почему это работает

Слабость LLM в "слепом поиске": Когда ты задаёшь открытый вопрос без зацепки, модель генерирует статистически "среднее по больнице". У неё нет конкретного стимула — она выдаёт универсальный ответ, подходящий всем и никому. Это как спросить у незнакомца на улице "что мне съесть?" — он не знает ни твоих предпочтений, ни твоего бюджета.

Сильная сторона LLM — оценка конкретного варианта: Когда ты предлагаешь конкретную гипотезу, модели проще — она сравнивает твой вариант с паттернами из обучающих данных и ищет расхождения. Это как дать редактору уже написанный текст: критиковать готовое гораздо легче, чем создавать с нуля. Именно поэтому confirmation attack работает в 7.75 раза лучше слепого поиска.

Про деградацию ограничений: Когда в одном диалоге и сложная задача, и много правил, и длинный контекст — "внимание" модели распределяется. Правила из начала диалога вытесняются новыми сообщениями. Модели размером 400 млрд параметров нарушали правила в 72% случаев, а более компактные модели с другим обучением — в 0%. Значит, дело не в размере, а в том, как модель обучалась следовать инструкциям. Вывод для практики: не надейся, что правило из первого промпта доживёт до двадцатого сообщения.

Рычаги управления: - Конкретность гипотезы → чем точнее твой вариант, тем точнее критика. "план А или Б?" слабее, чем "я думаю делать именно так: [детали]" - Количество правил за раз → меньше ограничений в одном сообщении = лучше соблюдение. Разбивай на отдельные запросы - Явное напоминание → повторяй ключевые ограничения в каждом сообщении длинного диалога, не только в первом - "Может быть" как сигнал → если AI часто уходит в "это зависит", "с одной стороны" — это уклонение, а не глубина. Дай более конкретную гипотезу или напрямую попроси один конкретный ответ


📋

Шаблон промпта

📌

Шаблон 1: Гипотеза вместо открытого вопроса

Вот мой план/подход/решение для задачи: {задача}

{твой_конкретный_вариант}

Оцени критически — именно этот план, не предлагай альтернативу:
1. Что здесь правильно?
2. Где я ошибаюсь или упускаю важное?
3. Какой элемент самый слабый и почему?

Плейсхолдеры: - {задача} — коротко суть: "запуск продукта", "переговоры с подрядчиком", "структура презентации для инвестора" - {твой_конкретный_вариант} — твои шаги, идеи, решения. Списком или абзацем. Чем конкретнее — тем полезнее критика


📌

Шаблон 2: Якорь ограничений в длинном диалоге

[АКТИВНЫЕ ПРАВИЛА ЭТОГО ОТВЕТА]
- {правило_1}
- {правило_2}
─────────────────────────────────
{задача_этого_сообщения}

Плейсхолдеры: - {правило_1}, {правило_2} — ограничения именно для этого ответа. Пример: "только российский рынок", "без терминов", "до 150 слов", "только цифры без интерпретаций" - {задача_этого_сообщения} — что хочешь получить здесь и сейчас

Прикрепляй блок [АКТИВНЫЕ ПРАВИЛА] в каждом сообщении длинного диалога, не только в первом.


🚀 Быстрый старт — вставь в чат:

Помоги адаптировать шаблон под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит тебя о конкретной задаче и попросит описать твой текущий вариант или план — потому что без конкретной гипотезы шаблон не работает. Суть метода именно в том, чтобы оценивать конкретное предположение, а не генерировать ответ с нуля.


⚠️

Ограничения

⚠️ Не для творческой генерации: Если хочешь свежую идею или нестандартный взгляд — жёсткая гипотеза ограничивает выход. Метод работает для задач с правильным/неправильным ответом: планы, стратегии, тексты на оценку.

⚠️ Эффект деградации слабее в сильных моделях: Qwen3 нарушал правила в 0% случаев, Llama-4 (~400 млрд параметров) — в 72%. ChatGPT и Claude справляются лучше, но не идеально. При сложных задачах с многими ограничениями напоминание остаётся полезным.

⚠️ "Может быть" — уклонение, не глубина: Если AI стабильно отвечает "это зависит от контекста" — это не богатство анализа, а снижение информационной плотности ответа. Сужай гипотезу или явно проси конкретный ответ.

⚠️ Это исследование про AI-агентов, не про промптинг: AIDG изучал дуэли между моделями. Практические инсайты — экстраполяция принципов, не прямые инструкции для пользователей.


🔍

Как исследовали

Команда из Исламского университета технологий в Дакке устроила 439 партий "информационной дуэли" между шестью современными моделями: GPT-5, Gemini 2.5 Flash, Qwen3-235B, DeepSeek-V3, Llama-4 Maverick и Granite-3.3-8B. В каждой партии одна модель знала секрет ("код тревоги заканчивается на 42", "синий блокнот лежит в верхнем ящике"), другая пыталась его выяснить за 10–16 ходов. Роли менялись, каждая пара сыграла друг против друга в обе стороны.

Дизайн был умный: два формата дуэлей. В первом (AIDG-I) атакующий мог говорить что угодно — социальные манипуляции, наводящие вопросы, ловушки. Во втором (AIDG-II) защитник мог отвечать только "да", "нет" или "может быть", а атакующий — не называть секрет напрямую до финального хода. Это убрало языковые манипуляции и оставило голую логику.

Самое неожиданное: защитник выигрывал в 87% случаев в обоих форматах — разница между форматами всего 1.9%, статистически незначима. Это значит, что асимметрия — не артефакт конкретных правил, а системное свойство. Ещё интереснее — разброс: способность защищаться у всех моделей почти одинакова (разброс ±1.9 ELO), а способность атаковать разная (разброс ±53.3 ELO). Защита встроена одинаково во все модели. Атака — навык, который у каждой развит по-своему.


💡

Адаптации и экстраполяции

📌

🔧 Техника: "Красная команда" с конкретным оппонентом

Принцип гипотезы работает ещё острее, когда даёшь AI роль конкретного критика:

Ты — Фёдор Овчинников (основатель Додо Пиццы).
Ты смотришь на этот бизнес-план с точки зрения 
операционной масштабируемости и юнит-экономики.

Мой план:
{текст_плана}

Твои 3 главных возражения? Что остановит тебя от участия?

Конкретный персонаж с известным стилем мышления + конкретный материал = острая, точечная критика вместо "нужно учесть риски".


📌

🔧 Техника: "Якорный блок" для длинных рабочих сессий

Если работаешь над одной задачей в длинном диалоге — добавляй обновление контекста каждые 8–10 сообщений:

[ЯКОРЬ КОНТЕКСТА]
Задача: {суть_проекта}
Ограничения: {список_правил}
Сделано: {что уже готово}
Следующий шаг: {что нужно сейчас}
─────────────────────────────────
{задача_этого_сообщения}

Это прямая компенсация деградации ограничений из исследования: ранние инструкции "вытесняются" накопленным контекстом, явный якорь возвращает фокус.


🔗

Ресурсы

AIDG: Evaluating Asymmetry Between Information Extraction and Containment in Multi-Turn Dialogue

Авторы: Adib Sakhawat, Fardeen Sadab, Rakin Shahriar Islamic University of Technology (IUT), Dhaka, Bangladesh


📋 Дайджест исследования

Ключевая суть

7.75 раза — вот разрыв между слепым вопросом и конкретной гипотезой. Это измерили в 439 диалогах между AI-агентами: один знал секрет, другой пытался его вытащить через вопросы. Без зацепки — 3.5% успеха. С готовым предположением — 22%. Метод позволяет переключить модель с режима 'сгенерируй список советов' на режим 'раскритикуй конкретный план' — в обычном чате, без кода. Работает через простую механику: редактировать готовый текст легче, чем писать с нуля — модель сравнивает твой вариант с паттернами из обучения и ищет расхождения. Второй инсайт из того же исследования: 41.3% провалов в структурированных задачах — это не неправильный ответ, а нарушение правил, которые модель просто 'забыла' к десятому сообщению.

Принцип работы

Открытый вопрос ставит модель в режим 'генератор среднего по больнице'. Конкретная гипотеза включает режим 'критик готового варианта'. Разница — как между 'придумай рецепт' и 'вот мой рецепт — что не так?': второе всегда конкретнее. Отдельный принцип для длинных диалогов: ограничения деградируют под нагрузкой. Правило из первого промпта не доживает до пятнадцатого сообщения. Не потому что модель 'не хочет' — при сложной задаче и большом контексте правила из начала диалога просто вытесняются новыми. Вывод: напоминай ключевые ограничения в каждом сообщении, не только в первом.

Почему работает

При пустом вопросе у модели нет точки сравнения. Она выдаёт статистически безопасный ответ — подходящий всем и никому. Конкретная гипотеза создаёт якорь: модель проверяет твой вариант на расхождение с паттернами из обучения, а не строит ответ с нуля. Именно поэтому критика готового плана всегда точнее, чем генерация советов в пустоту. Про деградацию ограничений: исследование обнаружило резкий разрыв между моделями. Llama-4 (около 400 млрд параметров) нарушала правила в 72% случаев. Qwen3 — в 0%. Дело не в размере модели, а в том, насколько она обучена следовать инструкциям под нагрузкой. Для практики это означает: даже у сильных моделей не стоит рассчитывать на 'они запомнят'.

Когда применять

Планирование, стратегия, разбор текстов и структур — когда нужна точечная критика конкретного варианта, а не список общих советов. Особенно хорошо работает для задач с правильным/неправильным ответом: планы запуска, структуры презентаций, черновики писем, сценарии переговоров. Шаблон с напоминанием ограничений нужен в длинных диалогах от 5-7 сообщений, особенно если у тебя несколько правил одновременно. Не подходит для задач, где нужна идея с нуля — жёсткая гипотеза сужает выход и глушит неожиданные варианты.

Мини-рецепт

1. Сформулируй конкретный план: Не 'как улучшить X?', а 'я решил делать [детали] — где я ошибаюсь?'. Чем конкретнее твой вариант, тем точнее критика.
2. Запрети альтернативы: Добавь явно: 'не предлагай другой вариант, оцени именно этот'. Иначе модель уйдёт в 'а ещё можно...'.
3. Задай структуру критики: Попроси три вопроса — что правильно, где ошибка, что самое слабое. Без структуры ответ расплывётся в 'с одной стороны / с другой стороны'.
4. В длинном диалоге — якорь ограничений: Добавляй блок [АКТИВНЫЕ ПРАВИЛА] в каждое сообщение. Не рассчитывай, что модель помнит условия из первого промпта.

Примеры

[ПЛОХО] : Как улучшить мою презентацию для инвесторов?
[ХОРОШО] : Вот моя структура презентации для инвесторов: 1) боль рынка — 2 слайда, 2) наше решение — 3 слайда, 3) цифры и результаты — 1 слайд, 4) команда — 1 слайд. Оцени критически именно эту структуру: что здесь правильно, где я ошибаюсь, какой блок самый слабый и почему? Не предлагай альтернативную структуру — только разбор моей. Результат: вместо списка 'что бывает в хороших презентациях' модель разберёт именно твой вариант. Скажет, почему слайд с командой в конце может не сработать в посевном раунде, и почему три слайда на решение — перебор без доказанного спроса.
Источник: AIDG: Evaluating Asymmetry Between Information Extraction and Containment in Multi-Turn Dialogue
ArXiv ID: 2602.17443 | Сгенерировано: 2026-02-20 10:32

Проблемы LLM

ПроблемаСутьКак обойти
Открытый вопрос даёт слабый ответСпрашиваешь "что мне делать с X?" — модель генерирует усреднённый, широкий ответ. Она не знает твоих ограничений, контекста, текущего варианта. Подходит всем и никому. Это не баг конкретной модели — одинаково у всех протестированныхПредлагай конкретный вариант на оценку. Вместо "что делать?" пиши "я думаю делать так: [шаги]. Где ошибка?"
Правила из первого сообщения не доживают до конца диалогаДал пять ограничений в начале. К десятому сообщению модель их нарушает. Не намеренно — правила вытесняются новыми сообщениями. Около 40% провалов в длинных диалогах — не неверный ответ, а нарушение ограничения, которое модель "забыла"Повторяй ключевые правила явно в каждом сообщении длинного диалога. Не только в первом

Методы

МетодСуть
Гипотеза вместо слепого вопроса — точная критика вместо общего ответаОписываешь свой конкретный план и просишь его оценить. Вот мой вариант: [шаги]. Оцени именно этот план. 1. Что правильно? 2. Где ошибка? 3. Что слабее всего? Почему работает: Модель сравнивает твой вариант с паттернами из обучения и ищет расхождения. Это проще, чем создавать с нуля. Когда работает: задача с критерием правильности — планы, стратегии, тексты. Когда не работает: нужна свежая идея или нестандартный взгляд — жёсткая гипотеза сужает выход
Якорь правил в каждом сообщении — стабильное соблюдение ограниченийДобавляй блок с ограничениями в каждое сообщение длинного диалога. [ПРАВИЛА ЭТОГО ОТВЕТА]\n- только российский рынок\n- без терминов\n- до 150 слов\n---\n{задача} Не рассчитывай что правило из первого сообщения доживёт до двадцатого

Тезисы

ТезисКомментарий
Модель лучше критикует готовое, чем создаёт с нуляКогда даёшь конкретный вариант, модель ищет расхождения с паттернами из обучения. Это структурированная задача с якорем. Когда даёшь открытый вопрос — нет якоря, нет критерия, генерируется усреднённый ответ. Эффект сильный: конкретная гипотеза работает в 7+ раз эффективнее слепого вопроса. Применяй: Формулируй вариант до того как спрашивать — даже черновой план лучше пустого вопроса
📖 Простыми словами

AIDG: Evaluating Asymmetry Between Information Extraction and Containment in Multi-Turn Dialogue

arXiv: 2602.17443

Суть в том, что современные нейронки — это патологические партизаны, которые обожают играть в молчанку. Исследователи обнаружили жесткую асимметрию информации: вытащить из модели конкретный «секрет» или глубокий инсайт через обычный диалог почти невозможно. В 87% случаев агент-защитник, который хранит данные, легко водит за нос агента-искателя. LLM физически не умеет эффективно «копать» вглубь, если ей не давать четких зацепок, превращая любой сложный поиск в бессмысленный пинг-понг.

Это как пытаться выведать у бабушки рецепт фирменного пирога, спрашивая «как ты готовишь?». Она ответит: «с любовью и мукой». Но если ты скажешь: «я положил три яйца и стакан сахара, этого хватит?», она тут же поправит: «нет, сахара надо два, а яйца только желтки». Модель работает точно так же: она беспомощна в слепом поиске, но моментально включается, когда нужно подтвердить или опровергнуть конкретный факт.

Главный хак исследования — метод конкретной гипотезы. Выяснилось, что LLM в 7 раз лучше выдает качественную инфу, если ты не спрашиваешь «что мне делать?», а предлагаешь готовый вариант. Вместо открытых вопросов нужно использовать структурированную провокацию. Когда ты даешь модели черновик или теорию, она перестает генерировать «среднее по больнице» и начинает работать как жесткий редактор, выцепляя ошибки и добавляя мясо в контекст.

Этот принцип — универсальный ключ к любой работе с AI, от написания кода до маркетинговых стратегий. Тестировали на «информационных дуэлях», но логика применима везде: если ты просишь Claude или GPT составить план запуска канала с нуля, получишь унылую воду. Если принесешь свой кривой план и спросишь, почему он провалится — получишь разнос по фактам. Это переход от режима «сделай за меня» к режиму «проверь мою гипотезу», где AI наконец-то начинает приносить пользу.

Короче: забудь про открытые вопросы, это пустая трата токенов. Модель всегда будет защищать информацию, выдавая банальности, пока ты не припрешь её к стенке конкретикой. Хочешь крутой результат — выдвигай гипотезу первым. Либо ты даешь нейронке мишень, в которую она может целиться, либо она будет бесконечно стрелять в молоко, оставляя тебя с ощущением, что AI — это просто дорогая игрушка.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с