CanLLMsLeverage Observational Data Towards Data Driven Causal Discovery withLLMs переводится на русский как "Могут ли большие языковые модели использовать наблюдательные данные для причинно следственного анализа на основе данных с помощью больших языковых моделей".

Исследование проверяет, могут ли большие языковые модели (LLM) делать более точные выводы о причинно-следственных связях, если им прямо в промпте показать небольшую выборку реальных данных в виде таблицы. Авторы сравнили два подхода: попарные запросы и более сложный поиск "в ширину" (BFS), и в обоих случаях добавление данных значительно улучшило качество результатов по сравнению с традиционными статистическими методами и запросами без данных.

Ключевой результат: Предоставление LLM даже небольшого фрагмента сырых данных в промпте делает её выводы о причинах и следствиях значительно более точными и надежными.

Суть метода заключается в том, чтобы перейти от модели взаимодействия "вопрос -> ответ из базы знаний" к модели "данные + вопрос -> вывод на основе данных". Вместо того чтобы полагаться на общие знания, заложенные в LLM при обучении, мы даем ей конкретные "улики" (факты, наблюдения) и просим сделать заключение именно на их основе.

На практике это означает, что перед тем как задать вопрос о взаимосвязи явлений (например, "Почему падают продажи?"), вы должны добавить в промпт небольшой, но репрезентативный срез данных, иллюстрирующий ситуацию. Это может быть простая таблица с несколькими строками, показывающая, например, у каких клиентов упали продажи и какие у них были характеристики (регион, тарифный план, наличие скидки и т.д.).

Такой подход заставляет LLM не "вспоминать" общие маркетинговые теории, а анализировать предоставленные вами факты. Модель начинает работать как аналитик, который смотрит на таблицу и говорит: "Судя по вашим данным, продажи падают у клиентов из северного региона, у которых нет персональной скидки". Это резко снижает риск получения обобщенного или нерелевантного ответа.

*Прямая применимость:Чрезвычайно высокая. Любой пользователь может подготовить небольшую таблицу в текстовом редакторе или Excel, скопировать ее и вставить в свой промпт перед вопросом. Это не требует никаких технических навыков. Например: "Проанализируй данные и скажи, что вероятнее всего влияет на...".

• Концептуальная ценность: Огромная. Исследование доносит до пользователя ключевую идею: контекстное окно LLM — это её временная рабочая память. Вы можете "загрузить" в эту память конкретные факты, и модель будет рассуждать на их основе, а не на основе своей общей эрудиции. Это учит пользователя "заземлять" LLM, делая её ответы более точными и менее подверженными галлюцинациям.

• Потенциал для адаптации: Метод легко адаптируется для множества задач за пределами "поиска причин":

  • Классификация: Дать несколько примеров (отзыв клиента -> категория) и попросить классифицировать новый отзыв.
  • Генерация персонализированного контента: Дать данные о целевой аудитории (возраст, интересы, боли) и попросить написать текст для них.
  • Суммаризация со взвешиванием: Дать текст и список ключевых имен/событий, попросив сделать саммари с фокусом на них. Механизм адаптации прост: "Вот факты (данные/примеры). А теперь, на их основе, выполни вот эту задачу".

Этот промпт работает, потому что он задействует ключевые механики, описанные в исследовании:

1. Заземление на данные: Вместо абстрактного вопроса "Почему люди отписываются от рассылок?", мы предоставляем конкретные "улики" в виде таблицы. Это заставляет LLM переключиться из режима "всезнайки" в режим "аналитика данных".
2. Структурированный контекст: Табличный формат (Markdown) легко парсится моделью. Она четко видит переменные (колонки) и наблюдения (строки), что позволяет ей находить паттерны и корреляции.
3. Фокусирующая инструкция: Фраза "Основываясь исключительно на данных из таблицы" — критически важна. Она сужает пространство для "творчества" и галлюцинаций, принуждая модель строить выводы только на предоставленной информации. Модель не будет рассуждать про спам-фильтры или выгорание, если этого нет в данных.
4. Декомпозиция задачи: Задание разбито на три четких вопроса, что направляет рассуждения модели (аналог Chain-of-Thought) и приводит к более структурированному и полезному ответу.

Этот пример работает по тому же принципу, что и предыдущий, но в контексте HR.

1. Конкретная проблема и данные: Промпт не задает общий вопрос "Как улучшить онбординг?", а ставит конкретную задачу ("почему низкая успеваемость") и предоставляет для ее решения релевантные данные.
2. Изоляция переменных: Таблица четко показывает несколько факторов (тренинг, наставник, активность) и итоговый результат (выполнение плана). LLM может легко сопоставить эти переменные и увидеть, что, например, "отсутствие доп. тренинга" consistently ведет к "невыполнению плана", даже если другие условия (наставник, звонки) выполнены.
3. Принуждение к логическому выводу: Запрос "определи, какая из практик оказывает решающее влияние" и "объясни свою логику" заставляет модель не просто описать данные, а провести анализ и выявить наиболее вероятную причинно-следственную связь, как это и предлагается в исследовании. Модель вынуждена рассуждать: "Сотрудник E имел наставника, но не прошел тренинг и не выполнил план. Сотрудник C прошел тренинг, но не сделал звонков и тоже не выполнил план. А вот те, кто прошел тренинг И имел наставника, план выполнили. Но ключевым фактором, судя по сотруднику B и F, является именно комбинация, а не что-то одно". Это и есть тот самый "каузальный вывод" на основе данных, о котором говорится в статье.

• A. Релевантность техникам промтинга: Да, исследование напрямую посвящено структуре промптов, предлагая конкретные шаблоны для включения данных.
• B. Улучшение качества диалоговых ответов: Да, показано количественное улучшение точности (рост F1-score до 0.11), что напрямую транслируется в более качественные и обоснованные ответы.
• C. Прямая практическая применимость: Да, метод можно применить немедленно, без кода и спец-инструментов. Пользователю достаточно вставить в промпт небольшую таблицу с данными.
• D. Концептуальная ценность: Очень высокая. Исследование объясняет, что LLM — это не только база знаний, но и движок для рассуждений, который может работать с предоставленными "здесь и сейчас" фактами. Это меняет подход к промптингу от "спроси всезнайку" к "дай данные аналитику и получи вывод".

• E. Новая полезная практика (кластеризация): Работа попадает сразу в несколько кластеров:

  • Кластер 1 (Техники формулирования): Предлагается конкретный прием — предоставление данных в промпте.
  • Кластер 3 (Оптимизация структуры): Демонстрируется, как форматирование данных в виде таблицы внутри запроса влияет на результат.
  • Кластер 6 (Контекст и память): Это по сути мини-RAG (Retrieval-Augmented Generation) "для бедных", где пользователь вручную предоставляет релевантный контекст в виде структурированных данных.
  • Кластер 7 (Надежность и стабильность): Метод напрямую нацелен на снижение "галлюцинаций" и повышение обоснованности выводов, заземляя модель на предоставленные факты.

• Чек-лист практичности (+15 баллов): Да, работа дает готовые конструкции, показывает как структурировать запрос и раскрывает неочевидную способность LLM рассуждать на основе сырых данных в промпте, что улучшает точность.

Итоговая оценка 90 сформирована из высокой базовой оценки (около 75) за прямую применимость и концептуальную ценность, с добавлением 15 баллов за соответствие чек-листу практичности.