TL;DR
Study Grouping (группировка по исследованию) — приём для задач, где модель сводит несколько источников в один вердикт. В промпт добавляют идентификатор исходного исследования у каждого материала и инструкцию сначала объединить материалы по этому идентификатору, а уже потом оценивать, сколько независимых подтверждений получилось. Так модель считает не публикации, а исследования.
Проблема в том, что модель распознаёт связь, но не использует её при подсчёте. Если спросить прямо «какой из двух материалов независим от первого?», сильная модель отвечает верно почти всегда. Но если дать те же материалы в обычной задаче «оцени, насколько утверждение подтверждено», она засчитывает вторую публикацию того же исследования как независимое подтверждение. Получается «три источника за», хотя за ними одно исследование. Точные дубли модель при этом ловит. Подводит именно «другая статья по тем же данным».
Лекарство простое: явная инструкция группировать по исследованию плюс идентификаторы в данных. У GPT-5.5 засчитывание повтора упало с 4 из 5 запусков до 0 из 5. Новое независимое исследование модель при этом продолжила учитывать. У малых моделей эффект нестабильный, поэтому приём надёжен на сильных моделях.
Схема метода
ШАГ 1 (вы, до промпта): разметить каждый материал → [ID материала] + [ID исследования-источника]
ШАГ 2 (в промпте): сгруппировать материалы по ID исследования → таблица «исследование → материалы»
ШАГ 3 (в промпте): считать независимые исследования, а не материалы → вердикт + флаг «независимое подтверждение»
Шаги 2–3 выполняются в одном промпте. Разметку из шага 1 делаете вы сами или отдельным запросом к LLM.
Пример применения
Задача: Вы готовите внутреннюю записку для HR-директора компании. Вопрос: «Правда ли, что четырёхдневная рабочая неделя повышает продуктивность?» В поиске нашлось несколько материалов. Три из них на деле пересказывают один и тот же британский пилот 2022 года, и только один относится к другому исследованию. Без подсказки модель напишет «подтверждено четырьмя источниками».
Промпт:
Оцени утверждение: «Четырёхдневная рабочая неделя без потери зарплаты
повышает продуктивность сотрудников».
Материалы (у каждого указан ID исследования-источника):
[M1] Итоговый отчёт по британскому пилоту 2022 года среди компаний.
ID исследования: STUDY-UK2022
[M2] Статья в деловом СМИ, пересказывающая результаты этого пилота.
ID исследования: STUDY-UK2022
[M3] Последующий анализ данных того же британского пилота: выгорание и сон.
ID исследования: STUDY-UK2022
[M4] Отчёт по пилоту в Рейкьявике (2015–2019) в госсекторе Исландии.
ID исследования: STUDY-ISL
Инструкция:
1. Сначала сгруппируй материалы по ID исследования. Выведи таблицу:
исследование → какие материалы к нему относятся.
2. Объединяй доказательства по исходному исследованию.
Несколько публикаций одного исследования — это ОДНО исследование,
а не несколько подтверждений.
3. Метку «независимое подтверждение» можно ставить только новому исследованию,
которое ещё не учтено выше, если его результат применим к утверждению
и поддерживает его.
4. Итог: число независимых исследований, вердикт (подтверждено / частично /
не подтверждено), что добавили повторные публикации (детали, но не новая сила).
Результат: Модель сначала выдаст таблицу из двух строк: UK2022 с тремя материалами и ISL с одним. Затем скажет, что независимых исследований два, а не четыре. Для M2 и M3 она отметит, что они дают детали, но не новое подтверждение. «Независимым подтверждением» будет назван только исландский пилот, и в вердикте он будет использован. Формулировка вердикта должна быть осторожнее, чем при подсчёте «по публикациям».
Почему это работает
Слабость. В обычной задаче «оцени подтверждённость» модель по умолчанию считает документы. Каждый новый текст с новыми деталями или другим заголовком выглядит как новая опора. Знание «это тот же пилот» у модели есть: на прямой вопрос она отвечает верно. Но оно не вмешивается в итоговую оценку, пока его не заставили.
Сильная сторона. Модель хорошо следует явной инструкции по обработке данных и хорошо группирует по готовой метке. Идентификатор исследования рядом с текстом превращает «догадаться, что это одно и то же» в «сопоставить метки».
Как приём обходит проблему. Он разводит два действия: сначала сгруппировать, потом оценить. Модель вынуждена учесть связь до вердикта, а не оставить её в скрытом знании. Требование «независимое подтверждение — только для нового исследования» задаёт правило подсчёта прямо.
Рычаги управления: - Идентификатор исследования → чем точнее метка (номер регистрации, название программы, «отчёт компании X»), тем надёжнее группировка. - Правило флага → поменяйте условие, например «независимое = другая организация и другая выборка», если вам нужна более строгая независимость. - Вывод таблицы группировки → оставьте, чтобы видеть, как модель сгруппировала. Уберите, если нужен только итог. - Что делать с повторными публикациями → прямо скажите, что они дают детали, но не новую силу. Тогда полезное из них не потеряется.
Шаблон промпта
Оцени утверждение: «{утверждение}».
Материалы (у каждого указан ID исследования-источника):
[{M1}] {краткое описание материала}.
ID исследования: {STUDY-A}
[{M2}] {краткое описание материала}.
ID исследования: {STUDY-A или STUDY-B}
[{M3}] {краткое описание материала}.
ID исследования: {...}
Инструкция:
1. Сначала сгруппируй материалы по ID исследования. Выведи таблицу:
исследование → какие материалы к нему относятся.
2. Объединяй доказательства по исходному исследованию. Несколько публикаций
одного исследования — это ОДНО исследование, а не несколько подтверждений.
3. Метку «независимое подтверждение» ставь только новому исследованию, которое
ещё не учтено, если его результат применим к утверждению и поддерживает его.
4. Итог: число независимых исследований, вердикт ({варианты вердикта}),
что добавили повторные публикации (детали, но не новая сила).
Что подставлять:
- {утверждение} — то, что проверяете.
- {M1}, {M2} — ваши метки материалов.
- {STUDY-A} — любая метка исходного исследования. Одинаковая метка значит «одно и то же исследование».
- {варианты вердикта} — шкала под вашу задачу, например «подтверждено / частично / не подтверждено».
Формулировка адаптирована: в доступном тексте статьи дан только принцип («показывать идентификаторы исследований и объединять доказательства по исходному исследованию»), а полные промпты находятся в приложении.
🚀 Быстрый старт — вставь в чат:
Вот шаблон Study Grouping. Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какое утверждение вы проверяете, какие у вас материалы и из какого исследования или первоисточника каждый из них. Это нужно потому, что весь метод держится на метках исследований: без них группировать нечего. Она возьмёт структуру из шаблона и соберёт готовый промпт под ваши материалы.
Ограничения
⚠️ Слабые модели: на малых моделях группировка помогает не всегда. В части случаев ошибка оставалась в каждом запуске. Приём надёжно проверен на сильной модели.
⚠️ Метки нужны заранее: в исследовании связь «публикация → исследование» установили аудитом по реестрам. Приём не определяет первоисточник за вас. Если вы не знаете, что три статьи пересказывают один отчёт, сначала это нужно выяснить.
⚠️ Малая выборка: семейств задач немного, повторы одного и того же ввода считаются проверкой стабильности, а не независимыми проверками. Часть ответов отбраковали из-за формата, и некоторые сравнения остались без вывода.
⚠️ Нишевая проверка: материал — клинические испытания. Перенос на новости, отчёты и отзывы логичен, но авторы его не проверяли.
⚠️ Не панацея для всего вердикта: модель может верно посчитать исследования и всё равно ошибиться в применимости или направлении результата. Это отдельные проверки.
Как исследовали
Исследователи собрали 14 «семейств» клинических задач. В каждом одно фиксированное утверждение, начальные доказательства и добавленная публикация. Связь добавленной публикации с исходным исследованием проверили заранее по реестрам и номерам регистрации (NCT). Затем каждую задачу дали модели двумя способами в отдельных вызовах без общей памяти. В первом спрашивали «какое из двух обновлений независимое?» (проверка распознавания, оба порядка). Во втором просили общую оценку подтверждённости и отметку «независимое подтверждение» (агрегация). Каждый вызов повторяли по 5 раз.
Результат удивил. GPT-5.5 в распознавании ошибок не делала (10 из 10 в каждом из трёх исходных семейств). Но в агрегации во всех трёх семействах она в 5 из 5 запусков засчитала вторую публикацию того же исследования как независимое подтверждение. При этом буквальные повторы и «пустые» вставки она отсеивала во всех 45 запусках. То есть модель не глупа: она не связывает знание о происхождении с итоговым подсчётом.
Затем проверили вмешательство: добавили идентификаторы исследований и инструкцию группировать. В двух чистых тестах GPT-5.5 снизила засчитывание повтора с 4 из 5 до 0 из 5, не потеряв независимое исследование. Ministral улучшился в одном тесте, Qwen и Gemma остались на 5 из 5. Проверяли и специфичность: применимость и направление результата GPT-5.5 обрабатывала верно. Значит, пробел именно в учёте происхождения, а не в общей невнимательности.
Адаптации и экстраполяции
🔧 Техника: добавить шаг «определи первоисточник» → работает, когда меток нет
Это не из статьи, а экстраполяция. Перед основным промптом отдельным запросом попросите: «Для каждого материала определи, на какое исходное исследование или данные он опирается. Если не уверен — пиши "неизвестно"». Результат проверьте вручную и подставьте как ID в основной промпт. Метки, которым модель не уверена, не используйте как факт.
🔧 Техника: убрать вывод таблицы → короче ответ
Если нужен только итог, удалите пункт 1 про таблицу и оставьте пункты 2–4. Правило подсчёта остаётся, но видеть группировку вы не будете и ошибку заметите хуже.
Правило для агента-ресёрчера (экстраполяция). Для агента, который собирает источники, можно вставить в файл инструкций (например, CLAUDE.md):
При сведении источников в вывод:
- у каждого источника указывай исходное исследование/данные, на которые он опирается;
- считай независимыми только источники с разными первоисточниками;
- пересказы, обзоры и повторные анализы одних данных относи к одному исследованию;
- в итоге пиши: «N независимых исследований, M публикаций».
Ресурсы
- Работа: Recognizing Study Lineage Is Not Enough: Over-Crediting Same-Trial Evidence in LLM-Based Medical Verification
- Авторы: Mukand Krishna, Zhongtian Sun (University of Kent, UK), Anoushka Harit (Cancer Research UK Cambridge Institute, University of Cambridge), Chenghao Xiao (Shanghai University of Finance and Economics)
- Данные и код: anonymous.4open.science/r/study-lineage-review-artifact/
- Связанные работы из статьи: CliniFact, FACTPICO, FORCEBENCH, GroupQA, When Facts Change, Sufficient Context.