TL;DR
Когда спрашиваешь LLM об «среднем» по большой группе — о типичном клиенте, рынке, аудитории — модель даёт систематически неточный ответ. Но если сначала спросить о подгруппах по отдельности, а потом взвесить ответы, точность резко растёт. Исследователи назвали это macro fallacy — ошибка агрегации: прямой вопрос об итоге хуже, чем собранный из частей.
Причина простая: у модели нет хорошо «упакованного» обобщённого знания о больших группах, зато есть конкретные знания о подгруппах. Спроси про «среднего россиянина» — получишь размытый стереотип. Спроси отдельно про молодого фрилансера из Москвы, опытного инженера из Новосибирска и пенсионера из регионов — получишь три точных ответа. Смешай в нужных пропорциях — получишь точную картину.
Исследователи нашли практичное решение — micro-to-macro промптинг: попросить модель сначала выделить подгруппы и оценить каждую, а потом самостоятельно взвесить и дать итог. Всё это в одном запросе, почти без лишних затрат.
Схема метода
Два способа применения — выбери под задачу:
Способ 1: Явная агрегация (несколько запросов)
ЗАПРОС 1: Раздели {группу} на значимые подгруппы → список подгрупп с долями
ЗАПРОС 2+: Для каждой подгруппы отдельно → оценка {показателя}
ВЫ: Взвешиваете вручную (умножаете оценку на долю подгруппы, суммируете)
Способ 2: Micro-to-macro (один промпт)
ШАГ 1: Попросить модель выделить подгруппы и оценить каждую
ШАГ 2: Попросить модель агрегировать с учётом размера подгрупп → итоговая оценка
(Всё в одном промпте)
Способ 2 — быстрее, работает в одном запросе, частично восстанавливает точность.
Пример применения
Задача: Маша запускает сервис подписки на домашние тренировки за 990 ₽/месяц. Перед запуском хочет оценить — какой процент потенциальной аудитории готов платить такую сумму.
Промпт (micro-to-macro способ):
Оцени, какой процент потенциальных клиентов сервиса домашних фитнес-тренировок
в России готов платить 990 ₽/месяц.
Не отвечай сразу. Сначала:
1. Раздели потенциальную аудиторию на 3–5 значимых подгрупп
(например, по возрасту, образу жизни, опыту с фитнесом).
2. Для каждой подгруппы укажи:
— Краткое описание и примерную долю от общей аудитории (в %)
— Оценку: какой % этой подгруппы готов к такой подписке и почему
3. Взвесь оценки по долям подгрупп и дай итоговую агрегированную оценку в %.
Покажи все шаги рассуждения.
Результат:
Модель покажет структурированный разбор: 3–5 подгрупп с описанием каждой, долями и отдельными оценками готовности платить. Затем — взвешенная итоговая цифра с пояснением логики агрегации. Ответ будет заметно конкретнее, чем если бы ты спросил "какой процент российских пользователей готов платить за фитнес-подписку?" напрямую.
Почему это работает
Слабость LLM: Когда модель отвечает на вопрос "каков средний X по группе Y?", она генерирует ответ, опираясь на самые частые паттерны про эту группу в тренировочных данных. Это работает как стереотип — быстро, но размыто. Конкретные знания о подгруппах хранятся лучше, чем готовые агрегаты.
Сильная сторона LLM: Модель хорошо отвечает на конкретные, узкие вопросы. "Молодая мама 28 лет с ребёнком до 3 лет, живёт в крупном городе" — это достаточно специфично, чтобы модель дала точный ответ, а не размытый стереотип.
Как метод использует это: Micro-to-macro принудительно активирует конкретные знания модели о подгруппах, а потом складывает их в итог. Вместо того чтобы один раз прыгнуть от вопроса к ответу через стереотип, модель делает несколько точных шагов и суммирует.
Рычаги управления промптом: - Число подгрупп — больше подгрупп = точнее, но есть предел. При слишком мелком разбиении модель начинает хуже оценивать доли подгрупп и ошибка растёт обратно - Критерии разбивки — явно укажи по каким признакам дробить (возраст, поведение, платёжеспособность) — получишь более предсказуемый результат - Явный запрос на взвешивание — если не попросить явно взвесить по долям, модель может просто усреднить без учёта размера подгруппы
Шаблон промпта
Оцени {вопрос об итоге по группе}.
Не отвечай сразу. Сначала:
1. Раздели {группа} на {число, например: 3–5} значимых подгрупп
по признаку {критерий разбивки, например: возраст/поведение/доход}.
2. Для каждой подгруппы укажи:
— Описание и примерную долю от общей {группы} (в %)
— Оценку {показатель} для этой подгруппы и краткое обоснование
3. Взвесь результаты по долям подгрупп и дай итоговую агрегированную оценку.
Покажи все шаги.
Что подставлять:
- {вопрос об итоге по группе} — "какой процент аудитории купит X", "как сотрудники отнесутся к изменению Y", "насколько рынок готов к Z"
- {группа} — клиенты, аудитория, сотрудники, рынок
- {критерий разбивки} — самый важный признак для твоей задачи: возраст, опыт, платёжеспособность, поведение
- {показатель} — то, что оцениваешь: готовность платить, лояльность, осведомлённость
🚀 Быстрый старт — вставь в чат:
Вот шаблон micro-to-macro промптинга. Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит: что за группа, по каким критериям делить, какой показатель оцениваем — потому что структура агрегации зависит от контекста задачи. Затем она сгенерирует готовый промпт с нужными параметрами.
Ограничения
⚠️ Задачи с субъективными критериями: Чем более размытый показатель (например, "насколько людям понравится"), тем менее стабильны оценки по подгруппам — и агрегат тоже будет неустойчивым
⚠️ Слишком мелкое дробление: Если подгрупп много и они узкие, модель начинает хуже оценивать их относительные доли. Точность оценки подгрупп растёт, а точность весов падает — итоговый результат ухудшается. Оптимум — средняя глубина разбивки (2–3 признака)
⚠️ Задачи с единственно верным ответом: Для математики, кодинга, фактических вопросов — этот метод не нужен и не поможет. Он работает для оценочных и прогностических задач
⚠️ Нестандартные группы: Если у модели мало данных о специфической аудитории (редкая ниша, региональная специфика), оценки подгрупп тоже будут слабыми — и агрегация это не исправит
Как исследовали
Исследователи сформулировали очень красивую идею: если LLM правда умеет делать условные вероятностные оценки, то её ответы должны подчиняться теореме полной вероятности — то есть прямой ответ о группе должен совпадать с ответом, пересобранным из ответов о подгруппах. Они взяли данные американской переписи населения (3.8 млн человек, 2024 год) как эталон и попросили современные модели — GPT-5.4 и другие — оценить распределение доходов. Сначала напрямую, затем через разбивку по возрасту и статусу занятости.
Результат оказался неожиданным даже для авторов: прямые оценки систематически хуже на всех моделях, всех порогах дохода и всех вариантах разбивки. Выигрыш от агрегации по подгруппам — не случайный, не на отдельных моделях, а повсеместный. При этом модели хорошо знали про подгруппы — просто не умели автоматически "упаковать" это знание в прямой ответ об итоге.
Интересно, что авторы нашли обратный эффект при слишком глубокой разбивке: подгруппы становятся настолько мелкими, что модель начинает ошибаться в оценке их долей — и это ухудшает итог. То есть оптимальная глубина разбивки существует, и она зависит от задачи. Когда ввели micro-to-macro prompting (один промпт с инструкцией сначала подумать о подгруппах), он частично воспроизвёл выигрыш от полной агрегации — без дополнительных запросов.
Оригинал из исследования
Micro-to-macro prompting описан в пейпере как "implicit prompting" — лёгкая версия явной агрегации внутри одного промпта. Вот паттерн верификации субпопуляций, который авторы используют для построения промптов в ACS-экспериментах:
C = C₀ + C₁ + C₂
C₀ = "A person living in the U.S."
C₁ = "A person between 31 and 68 years old."
C₂ = "A person who is employed or self-employed."
→ "What is the probability that the income of this person is above 50,000 USD?"
Контекст: Авторы строят бинарное дерево разбивки населения США, добавляя на каждом уровне уточняющий атрибут к контексту. Каждый узел дерева — подгруппа, каждый уровень — валидная разбивка базовой популяции. Сравнивают прямые оценки с агрегированными снизу вверх — и измеряют отклонение от реальных данных переписи.
Адаптации и экстраполяции
💡 Адаптация для стратегических решений
Метод работает не только для оценки аудитории, но и для прогнозирования результатов любого решения с неоднородной аудиторией.
Задача: команда внедряет новый формат совещаний, хочет предсказать как пройдёт принятие изменений
Оцени, как команда примет переход на асинхронные совещания в Notion вместо Zoom-звонков.
Не отвечай сразу. Сначала:
1. Раздели команду на подгруппы по стилю работы и отношению к изменениям:
— Укажи описание каждой подгруппы и примерную долю (%)
2. Для каждой подгруппы оцени:
— Вероятную реакцию и причины
— Возможные возражения или риски
3. На основе долей подгрупп дай взвешенную оценку:
насколько вероятно успешное принятие изменений и где главные точки сопротивления.
🔧 Техника: убрать инструкцию "по долям" → получить качественный разбор вместо цифры
Если не нужна агрегированная цифра, а нужно понять карту разных позиций — убери блок с взвешиванием:
Раздели {аудиторию} на значимые подгруппы по {критерию}.
Для каждой подгруппы опиши {что важно} и ключевые различия между группами.
Это превращает метод из "оценочного" в "аналитический" — полезно для создания персон, сегментации, исследования аудитории.
🔧 Экстраполяция: применение принципа к аргументам, не к группам
Macro fallacy работает не только для популяций. Та же логика применима когда спрашиваешь LLM об итоге сложного рассуждения напрямую.
Вместо: "Стоит ли мне открыть пиццерию в Екатеринбурге?" — спроси отдельно о рынке, операционных рисках, конкуренции, своих ресурсах, и потом попроси взвесить. Каждый "кусок" будет точнее, чем сразу итоговый ответ.
Не давай итоговый вывод о {решение} сразу.
Сначала оцени отдельно:
1. {Фактор 1, например: рыночный потенциал}
2. {Фактор 2, например: конкурентная среда}
3. {Фактор 3, например: ресурсы и риски}
Для каждого фактора — отдельная оценка и обоснование.
Потом взвесь факторы и дай итоговую рекомендацию.
Ресурсы
Название работы: Partition, Prompt, Aggregate: Statistical Self-Consistency in Language Models
Авторы: Patrik Wolf, Thomas Kleine Buening, Andreas Krause, Celestine Mendler-Dünner
Организации: Max Planck Institute for Intelligent Systems (Тюбинген), ETH Zürich, ELLIS Institute, Tübingen AI Center
Связанные методы: Self-Consistency (Wang et al., 2022), Persona prompting (Argyle et al., 2023), folktexts (Cruz et al., 2024)
Данные: American Community Survey 2024, Census Bureau — https://www.census.gov/programs-surveys/acs