TL;DR
Исследователи выяснили: LLM деградируют при аналитических задачах предсказуемо и по-разному в зависимости от типа задачи. Описать данные — справляются хорошо. Выбрать правильный метод анализа, смоделировать взаимосвязи, сделать вывод — проваливаются систематически. Из этого напрямую вытекает структура промпта, которая закрывает именно слабые места.
Главная неочевидная находка: если дать LLM варианты ответа ("выбери один из четырёх"), модель начинает угадывать по паттерну, а не анализировать. Та же задача без вариантов — результат лучше. Это значит: когда вы просите LLM "что из этого правда — A, B, C или D?" — вы получаете не анализ, а сопоставление текстов.
Из анализа ошибок авторы вывели пять стадий провала: неверно понята задача → взяты не те переменные → выбран неверный метод → неправильно описаны взаимосвязи → сделан неверный вывод. Это и есть готовый скаффолд для аналитического промпта — заставьте модель явно пройти каждый этап, и она перестанет перепрыгивать через слабые места.
Схема метода
ШАГ 1: Scope — явно сформулировать что именно анализируем
→ вывод: "Задача: [формулировка]"
ШАГ 2: Variables — какие переменные/факторы релевантны
→ вывод: "Ключевые переменные: [список с обоснованием]"
ШАГ 3: Function — какой метод/подход применим к этой задаче
→ вывод: "Метод: [название + почему он подходит]"
ШАГ 4: Relationship — как переменные связаны между собой
→ вывод: "Связи: [направление, сила, тип зависимости]"
ШАГ 5: Conclusion — что из этого следует для исходного вопроса
→ вывод: "Вывод: [с указанием ограничений]"
Всё — в одном промпте. Каждый шаг модель выводит явно.
Пример применения
Задача: Вы Telegram-блогер с 80к подписчиков. Хотите понять, почему в последние три месяца охваты упали с 40% до 22%. Есть данные: частота постов, время публикации, темы, длина, число репостов, количество комментариев по неделям.
Промпт:
Я веду Telegram-канал про личные финансы. Охваты упали с 40% до 22%
за три месяца. Вот данные по неделям: [вставить данные]
Проанализируй причины по пяти шагам:
1. ЗАДАЧА: сформулируй точно что мы ищем — причину падения
или корреляты?
2. ПЕРЕМЕННЫЕ: какие из имеющихся данных релевантны для
этого вопроса? Какие можно отложить?
3. МЕТОД: какой подход уместен — сравнение периодов, анализ
трендов, поиск аномалий? Объясни выбор.
4. СВЯЗИ: опиши что ты видишь в данных — что менялось
одновременно с охватами, есть ли направление зависимости?
5. ВЫВОД: что из этого следует? Что можно утверждать
уверенно, а что — только как гипотезу?
Не делай выводов пока не пройдёшь все пять шагов.
Результат: Модель выдаст пять явных блоков. На этапе "Задача" — уточнит, что мы ищем (описание или причинность), это само по себе важно. На этапе "Метод" — объяснит почему выбирает конкретный подход. Финальный вывод будет с разграничением "что точно видно в данных" и "что только гипотеза" — потому что модель уже прошла через все предыдущие шаги явно.
Почему это работает
Слабость LLM в аналитике — не в знаниях, а в пропуске шагов. Когда вы просите "проанализируй данные", модель генерирует текст, который выглядит как анализ — но внутри перескакивает с описания прямо к выводу. Шаги 3 и 4 (выбор метода и описание взаимосвязей) — именно там ошибки случаются чаще всего.
Явная инструкция выводить каждый шаг работает потому, что модель не может "проглотить" неудобный этап — он должен материализоваться в тексте. А раз он в тексте — он влияет на следующее предложение. Chain-of-Thought работает именно так: не потому что "модель думает", а потому что каждый промежуточный текст становится входными данными для следующего фрагмента.
Рычаги управления: - Добавить "не делай вывода раньше пятого шага" — предотвращает преждевременный вывод - На шаге 3 добавить "назови два альтернативных метода и объясни почему не выбрал их" — один из самых слабых мест LLM, это форсирует обоснование - На шаге 5 добавить "раздели: что поддержано данными, что — только гипотеза" — закрывает типичный провал финального этапа
Шаблон промпта
Проанализируй {задача} по пяти шагам:
1. ЗАДАЧА: сформулируй точно что мы ищем — {тип вопроса:
описание / причину / прогноз / взаимосвязь}
2. ПЕРЕМЕННЫЕ: какие из {доступные данные} релевантны
для этого вопроса? Что можно отложить и почему?
3. МЕТОД: какой подход подходит для этой задачи?
Объясни выбор и назови одну альтернативу, которую
отверг.
4. СВЯЗИ: опиши что видно в данных — направление,
силу, характер зависимостей между ключевыми
переменными.
5. ВЫВОД: что из этого следует? Раздели:
(а) что уверенно поддержано данными
(б) что — только гипотеза
Не переходи к следующему шагу, пока не завершил текущий.
Плейсхолдеры:
- {задача} — конкретный вопрос или данные: "падение выручки в октябре", "NPS упал с 72 до 58"
- {тип вопроса} — выбери один подходящий тип
- {доступные данные} — перечисли что есть: метрики, периоды, таблицы
🚀 Быстрый старт — вставь в чат:
Вот шаблон пятиэтапного аналитического фрейма.
Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какие данные у тебя есть и что именно ты хочешь узнать — потому что шаг "Задача" требует точного формулирования типа вопроса (описание, причина, прогноз). Она возьмёт паттерн из шаблона и адаптирует под конкретную ситуацию.
Ограничения
⚠️ Каузальный анализ: Даже с явным фреймом LLM систематически ошибается при задачах типа "что стало причиной X". Модель описывает корреляции и называет их причинностью. Явно проси разграничить: "можем ли мы утверждать причинность или только корреляцию?"
⚠️ Прогнозирование на незнакомых данных: Предиктивные задачи — самые слабые. Если вы просите предсказать что-то на основе паттернов в новых данных, рассматривайте вывод как гипотезу, не как результат.
⚠️ Механистические объяснения: "Объясни почему это происходит на уровне процесса" — сложнейший тип. Модель назовёт правдоподобный механизм, который может не иметь отношения к реальности. Полезно для генерации гипотез, опасно как готовый ответ.
⚠️ Не давай варианты, если хочешь анализ: "Выбери из этих четырёх причин" — хуже, чем "назови причины сам". Модели начинают матчить текст вместо того, чтобы рассуждать.
Как исследовали
Команда собрала 6 527 задач по научному анализу данных — реальные датасеты из биологии, химии, экологии, географии и физики, плюс синтетические с точно известными ответами. Каждую задачу давали в двух форматах: открытый вопрос (ответь сам) и закрытый (выбери из четырёх вариантов). Тестировали 15 моделей — от GPT-5.4 и Claude Sonnet 4.6 до маленьких открытых Llama.
Интересный момент дизайна: синтетические задачи строились через семантические графы с явными алгебраическими уравнениями — это позволило иметь абсолютно точные эталонные ответы без человеческой интерпретации. Ошибку модели было невозможно списать на "неоднозначность".
Самое красивое в исследовании — анализ ошибок снизу вверх: исследователи не просто считали процент правильных ответов, а читали неправильные ответы и кодировали где именно сломалась цепочка рассуждений. Так появились пять стадий. Открытие было неожиданным: слабые модели ошибаются рано (неправильно понимают задачу), а сильные модели задачу понимают правильно, но ломаются на этапах выбора метода и вывода. То есть прогресс моделей сдвигает ошибки, а не убирает их.
Адаптации и экстраполяции
🔧 Техника: Явный тип вопроса → правильная глубина анализа
Исследование показало иерархию сложности: описание → вывод → причинность → прогноз → механизм. Это значит: если вы хотите не просто описание, а причинно-следственный анализ — скажите об этом явно.
Добавь в промпт: "Меня интересует не описание паттерна, а возможные причины. Если данных недостаточно для каузального вывода — скажи это явно."
Без этого уточнения модель по умолчанию скатится к описательному уровню — там у неё точность 90%+, там комфортно.
🔧 Техника: Форматная ловушка → открытый вопрос вместо вариантов
Когда хочешь реальный анализ — не давай варианты для выбора. Вместо:
❌ "Что стало причиной падения продаж: (а) сезонность, (б) рекламный бюджет, (в) новый конкурент, (г) изменение ассортимента?"
Используй:
✅ "Что стало причиной падения продаж? Назови и обоснуй."
Первый формат провоцирует сопоставление текстов — модель ищет наиболее "похожий" вариант. Второй заставляет строить рассуждение с нуля.
Ресурсы
SDABench: A Capability-Oriented Benchmark for Scientific Data Analysis — Chuhan Shi, Xiaoquan Ren, Sicheng Song, Haobo Li, Rui Sheng, Yushi Sun
Организации: Southeast University, East China Normal University, Hong Kong University of Science and Technology
База идей: шестиуровневая таксономия Leek & Peng (2015) — классификация типов научных вопросов (описательные, исследовательские, инференциальные, предиктивные, каузальные, механистические)