TL;DR
Это трёхступенчатая подача противоречивых данных в промпте. Сначала прозой переписываем факты о каждом источнике: кто сообщил, как часто был прав, насколько чёткие у него данные. Затем раскладываем их «реестром» по источникам и связям между отчётами. В конце добавляем явное правило, как всё это взвешивать при выборе версии.
Главная находка: модель знает, какой источник надёжнее, но может не использовать это знание при решении. Спросишь «кто чаще был прав?», и она ответит почти безошибочно. Попросишь выбрать версию, поменяешь истории источников местами, а решение то же. У одних моделей влияние истории источника нулевое, у других полное. Ещё мешают порядок в тексте и повторы: один и тот же отчёт, пересказанный тремя голосами, может считаться тремя подтверждениями. Причина в том, что «опознать факт» и «дать ему вес в решении» — два разных навыка, и первый не гарантирует второй.
Метод закрывает этот разрыв тремя слоями: факты явно → факты структурно → правило, как ими пользоваться. В статье каждый слой сильнее сдвигал поведение двух 27B-моделей. Правило дало наибольший прирост поверх реестра. Для самой маленькой модели из интервенций картина оказалась другой.
Схема метода
ШАГ 1 (Flat): Переписать прозой релевантные факты — источник, история,
качество данных, происхождение, время события → один промпт
ШАГ 2 (Ledger): Те же факты, но организованные по источникам
и связям между отчётами (реестр) → один промпт
ШАГ 3 (+Rule): К реестру добавить фиксированное правило взвешивания,
не зависящее от ответа → один промпт
Контроль в исследовании: Sham — такой же по длине текст,
но без нужных фактов (чтобы отличить эффект смысла от эффекта объёма)
Все три ступени — это разные версии одного запроса, не отдельные чаты.
Пример применения
Задача: Селлер на Ozon выясняет, где застряла партия: на складе в Казани или на сортировке в Екатеринбурге. Пришли два противоречивых сообщения, и ещё три коллеги в чате пересказывают одно и то же письмо. Нужно, чтобы модель не посчитала это тремя независимыми подтверждениями и не забыла, кто из источников раньше ошибался.
Промпт:
Нужно определить, где сейчас находится партия №4471: «Казань» или «Екатеринбург».
<Источники>
Логист Андрей: за последние 10 отчётов 9 подтвердились.
Стажёр Никита: за последние 10 отчётов 3 подтвердились.
<Отчёты>
Андрей (14:05, по трекеру, номер партии виден полностью): партия в Казани.
Никита (14:20, по памяти, номер партии виден частично): партия в Екатеринбурге.
Мария, Олег и Света в чате (14:30–14:40): все трое пишут «в Екатеринбурге».
<Происхождение_отчётов>
Мария, Олег и Света не проверяли сами — каждый пересказал письмо Никиты.
Никита и Андрей смотрели независимо.
<Правило_взвешивания>
1. Больший вес у источника с лучшей проверенной историей.
2. Больший вес у отчёта с полными идентификаторами.
3. Пересказы одного исходного отчёта считаются одним свидетельством, а не несколькими.
4. Время, когда событие произошло, важнее порядка, в котором его описали.
5. Порядок абзацев в этом тексте не является свидетельством.
Выбери версию и кратко покажи, как каждое правило повлияло на выбор.
Результат: Модель выберет одну из двух локаций и пройдёт по пунктам правила. Для каждого пункта она покажет, как он сдвинул оценку: история Андрея против истории Никиты, полнота идентификатора, схлопывание трёх пересказов в одно свидетельство. В конце будет вывод с учётом уровня уверенности. Конкретную формулировку и вердикт не прогнозируем.
Почему это работает
Слабость. Модель может безошибочно ответить на вопрос «чья история лучше?» и всё равно не учесть это при выборе. Идентификация и использование разделены: у нескольких моделей близкое к 100% распознавание сопровождалось влиянием от нуля до полного разворота выбора. Заметны и побочные эффекты: порядок абзацев и число повторов могут весить больше, чем происхождение доказательств.
Сильная сторона. Модель хорошо следует явным инструкциям и работает с тем, что лежит на поверхности текста. Если факты сформулированы прямо и разложены по полочкам, они чаще попадают в решение. Если сказано, как их взвешивать, она применяет эту схему.
Как метод это использует. Он не добавляет новых данных. Он меняет заметность и организацию уже имеющихся фактов и даёт правило использования. Поэтому в статье, когда правда была подтверждена надёжным источником, точность оставалась 100%: вмешательство перенаправляло вес улик, но не ломало знание факта.
Рычаги управления: - Количество пунктов правила → убирай лишние. Полезно оставить только те, что соответствуют твоей задаче (например, только история и независимость). - Реестр vs проза → если фактов мало, хватит прозы. Реестр нужен, когда много источников и связей. - Требование «покажи, как каждое правило повлияло» → убери для быстрого ответа, оставь для аудита. - Правило про порядок → особенно нужно, если модель склонна доверять тому, что написано последним или первым.
Шаблон промпта
⚠️ Точная формулировка правила из исследования в доступной части не приведена. В статье оно описано как «фиксированный, не зависящий от ответа принцип взвешивания доказательств». Структура и пункты ниже — реконструкция по этому описанию.
Нужно определить: {вопрос_выбора}. Варианты: {вариант_A} или {вариант_B}.
<Источники>
{источник_1}: {история_надёжности_1}
{источник_2}: {история_надёжности_2}
<Отчёты>
{источник_1} ({время_1}, {качество_данных_1}): {что_сообщил_1}
{источник_2} ({время_2}, {качество_данных_2}): {что_сообщил_2}
{остальные_отчёты}
<Происхождение_отчётов>
{кто_что_проверял_сам_и_кто_пересказывал}
<Правило_взвешивания>
1. Больший вес у источника с лучшей проверенной историей.
2. Больший вес у отчёта с более полными и проверяемыми данными.
3. Пересказы одного исходного отчёта — одно свидетельство, а не несколько.
4. Важно, когда событие произошло, а не в каком порядке о нём написано.
5. Порядок абзацев в этом тексте не является свидетельством.
Выбери версию. Для каждого пункта правила кратко покажи, как он повлиял на выбор.
Подставляй: вопрос и варианты, имена источников, их историю («7 из 10 подтвердились»), время и качество данных каждого отчёта, кто что проверял сам.
🚀 Быстрый старт — вставь в чат:
Вот шаблон «реестр доказательств + правило взвешивания». Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, кто источники, какая у каждого история надёжности, кто из них видел данные сам, а кто пересказывал, и когда произошло событие. Эти поля и есть сырьё метода: без них нельзя разложить факты по источникам и связям. Она возьмёт структуру из шаблона и подстроит правило под твою задачу.
Ограничения
⚠️ Разные модели ведут себя по-разному: у одних история источника почти не влияет на решение, у других влияет полностью. Единого «профиля» у LLM нет, нужно проверять на своей модели.
⚠️ Маленькая модель отреагировала иначе: у 9B-модели прирост чувствительности к надёжности был не такой, как у 27B. Эффект зависит от размера и семейства модели.
⚠️ Проверено на трёх моделях одного семейства: вмешательства тестировали на Qwen. Ведущие закрытые модели участвовали только в диагностике, не в интервенциях.
⚠️ Сценарии синтетические: это сконструированные «миры» с символическими состояниями (место, очередь, версия). Реальные тексты шумнее.
⚠️ Больше чувствительности ≠ больше правды: в спорных сценариях нет эталонного ответа. Прирост показывает, что модель стала следовать правилу, но не что она чаще угадывает истину. Если правило неверно (хороший источник ошибся), модель ему последует.
⚠️ Если истина подтверждена, правило не нужно: с надёжной проверкой модели и так отвечали верно почти всегда. Метод нужен там, где проверки нет и версии нужно взвешивать.
Как исследовали
Авторы построили 500 «миров»: сценарии с двумя конфликтующими источниками, разными историями правдивости, разным качеством данных, пересказами и временем событий. На каждый мир делали по 48 запросов, это 24 000 запросов на модель. Всего проверили 13 моделей, около 312 000 ячеек «модель–запрос». Идея в том, чтобы менять один сигнал (например, поменять местами историю двух источников) и смотреть, сдвигается ли выбор. Отдельно, в другом контексте, спрашивали, может ли модель назвать более надёжный источник.
Главный результат: распознавание у нескольких моделей близко к 100%, но влияние истории на выбор разное. У Qwen3.8-27B оно 0,0 п.п., у GPT-6 Sol 100 п.п. (полный разворот). Порядок текста сильно двигал выбор у Qwen3.5-27B (−43,7 п.п.), а у GPT-6 Sol почти нет (−0,2). Пересказ того же отчёта менял выбор у Qwen3.5-27B на 2 п.п., а замена общего корня на независимый — на 58,7 п.п. Когда доступна надёжная проверка, точность почти 100%, и различия между моделями схлопываются.
Затем проверили, можно ли поведение изменить промптом. На трёх Qwen (9B, 27B, 27B новее) сравнили пять условий на всех 500 мирах, 150 000 запросов: исходный текст, «пустышка» такой же длины, прозаическое переписывание фактов, реестр, реестр плюс правило. Переписывание фактов повысило чувствительность к надёжности у двух 27B-моделей. Добавление правила дало ещё +39,2 и +47,2 п.п. сверх реестра. У 9B модели изменилась чувствительность к происхождению доказательств, а не к надёжности. Точность на подтверждённых фактах осталась 100%. Практический вывод: не хватает не знаний, а инструкции, как их применять.
Адаптации и экстраполяции
🔧 Техника: swap-тест на своей модели → видишь, использует ли она историю источника
Возьми свой реальный кейс, дважды запусти один и тот же промпт и поменяй только историю надёжности источников. Если выбор не поменялся, модель знает, но не использует:
Запрос 1: Андрей — 9 из 10, Никита — 3 из 10. Выбери версию.
Запрос 2: Андрей — 3 из 10, Никита — 9 из 10. Выбери версию.
Это упрощённая версия идеи статьи (history swap). Подстраховка перед тем, как доверять модели в разборе спорных данных.
🔧 Техника: правило в системную инструкцию агента-ресёрчера
Для агента, который собирает данные из нескольких источников, пункты из блока <Правило_взвешивания> можно положить в системный промпт или CLAUDE.md-подобный файл. Особенно полезны пункты о пересказах («одно свидетельство») и о порядке («не свидетельство»). Статья проверяла это в одиночных запросах, для агента нужна своя проверка.
Ресурсы
- Работа: What Counts as Evidence? Epistemic Cue Utilization in Large Language Models
- Авторы: Jinchang Zhang, Guoyu Lu (Indiana University Bloomington), Kaijun Jiang (University of Jyväskylä)
- Код и материалы бенчмарка: https://anonymous.4open.science/r/epistemic-benchmark/
- Опорные идеи из когнитивной науки: source monitoring (Johnson et al., 1993), epistemic vigilance (Sperber et al., 2010), advice taking (Yaniv & Kleinberger, 2000), cue utilization (Brehmer, 1972; Anderson, 1981)