TL;DR
При анализе данных и поиске закономерностей заученные книжные знания (априорные шаблоны) мешают LLM-агентам верить реальным цифрам, а режим самостоятельного выбора экспериментов (Adaptive) помогает только самым мощным флагманским моделям и резко роняет точность у моделей среднего уровня. Исследование на парном бенчмарке SciGame, где классические и свежие научные законы сопоставляются с их изменёнными (контрфактическими) версиями, выявило три системные ловушки исследовательских агентов.
Когда данные подчиняются знакомой школьной или отраслевой формуле, агент легко «угадывает» ответ по памяти даже без наблюдений. Но стоит реальной зависимости отклониться от учебника (контрфактический режим), как точность вывода формулы на знакомых исторических сюжетах падает до нуля у всех моделей подряд — знакомый контекст заставляет нейросеть игнорировать наблюдения и упрямо подгонять ответ под заученный шаблон. Вторая боль — иллюзия понимания: агент выдаёт блестящее, логичное текстовое объяснение происходящего, в то время как его расчётная формула ошибается на проверочных данных почти в ста процентах случаев.
Чтобы обойти эти ловушки на практике, работу аналитического агента перестраивают по трём проверенным правилам: во-первых, переводят открытый поиск формулы с нуля (Discovery) в режим выбора и калибровки между явно заданными гипотезами-кандидатами (Identification); во-вторых, для моделей не топового уровня заменяют свободный интерактивный поиск экспериментов на заранее составленную сетку наблюдений (Fixed); в-третьих, принимают решение агента только после численной проверки на скрытых точках, полностью игнорируя красноречивость его текстового обоснования.
Схема метода
ПРОТОКОЛ ПРОВЕРКИ ГИПОТЕЗ И ЗАЩИТЫ ОТ ШАБЛОНОВ (в одном или серии запросов):
ШАГ 1 (Обезличивание контекста): Замена узнаваемых доменных названий на нейтральные переменные (x_1, x_2 → y) → отключение заученных книжных формул
ШАГ 2 (Перевод Discovery → Identification): Вместо «выведи закон с нуля» задаём 2–3 конкурирующие формулы-кандидата с весами уверенности (сумма = 1.0)
ШАГ 3 (Выбор режима подачи данных):
• Для топовой рассуждающей модели → Adaptive: агент сам запрашивает следующую точку проверки, заранее называя численный прогноз по каждой гипотезе
• Для остальных моделей → Fixed: подаём готовую сбалансированную таблицу замеров сразу на вход
ШАГ 4 (Валидация на скрытых входах): Проверка исполняемой формулы на контрольных точках (текстовое объяснение не учитывается при приёмке)
Пример применения
Задача: Маркетинговый аналитик сети кофеен в Москве (формат «Дринкит» / «Сёрф Кофе») пытается с помощью ИИ-агента вывести точную формулу зависимости дневной выручки точки от трафика у метро, температуры воздуха и скидки в приложении. Если сказать модели, что это кофейня, она выдаст банальную линейную формулу из учебника маркетинга и проигнорирует аномалию: в жару выше +25 °C горячий кофе падает, но холодный бамбл даёт скачок чека.
Промпт:
Тебе нужно определить точную математическую формулу зависимости показателя R от входных параметров x1, x2 и x3 по экспериментальным замерам.
ВАЖНЫЕ ПРАВИЛА ПРОТОКОЛА SCIGAME:
1. Не пытайся угадать отрасль и не используй книжные шаблоны — опирайся исключительно на числа из таблицы наблюдений.
2. Работаем в режиме сопоставления гипотез (Identification + численный прогноз):
- Сформулируй минимум 2 конкурирующие математические гипотезы H1 и H2 (например, линейную и нелинейную с пороговым переключением или произведением факторов).
- Присвой каждой гипотезе вес уверенности от 0 до 1 (сумма весов = 1.0).
3. Проверь обе гипотезы на всех строках таблицы : выведи расчётное значение по формуле H1 и по формуле H2 для каждой строки и посчитай абсолютную ошибку.
4. Выбери или скорректируй формулу так, чтобы ошибка на всех точках укладывалась в допуск ±2%. Текстовое объяснение пиши ТОЛЬКО после того, как исполняемая формула сошлась по числам.
- x1: поток людей мимо входа (тыс. чел./день), диапазон [1.0 .. 15.0]
- x2: отклонение температуры от +20 °C (градусы), диапазон [-15 .. +12]
- x3: размер промо-скидки в приложении (доля от 0.0 до 0.30)
- R: итоговый целевой показатель (тыс. ед.)
Замер 1: x1 = 4.0, x2 = 0, x3 = 0.00 → R = 80.0
Замер 2: x1 = 8.0, x2 = 0, x3 = 0.00 → R = 160.0
Замер 3: x1 = 4.0, x2 = +6, x3 = 0.00 → R = 116.0
Замер 4: x1 = 4.0, x2 = -6, x3 = 0.00 → R = 116.0
Замер 5: x1 = 4.0, x2 = +6, x3 = 0.20 → R = 139.2
После вывода точной формулы рассчитай по ней численный прогноз R для контрольной точки:
x1 = 6.0, x2 = -4, x3 = 0.10.
Результат:
Благодаря обезличиванию переменных и запрету на доменные догадки модель не станет тянуть стандартную эластичность спроса. Сравнив Замеры 3 и 4 (x2 = +6 и x2 = -6 дают одинаковый прирост +36 к базовым 80), она заметит квадратичную зависимость от температуры x2^2, учтёт мультипликативный вклад скидки (1 + x3) и восстановит точную формулу R = (20 * x1 + x2^2) * (1 + x3), после чего выдаст проверяемый численный ответ для контрольной точки (149.6).
Почему это работает
Когда LLM видит знакомую предметную область — физику, юнит-экономику, конверсию воронки продаж — в ней включаются сильные априорные ожидания (Priors) из предобучения. Если реальная система ведёт себя нестандартно (контрфактически), знакомые названия переменных работают как магнит: модель подтягивает классическое уравнение из памяти и пытается натянуть его на новые цифры, вплоть до полного провала на знакомых сюжетах с изменённым законом. На свежих, незнакомых модели задачах такой зашоренности нет, поэтому там она внимательнее смотрит на данные.
Вторая тонкость связана с активным планированием экспериментов (Adaptive). Когда агенту дают право самому запрашивать точки замеров шаг за шагом, слабые и средние модели быстро закапываются: они выбирают неинформативные точки (например, меняют сразу три переменные одновременно или топчутся в узком диапазоне) и делают неверные выводы, проигрывая обычной фиксированной таблице замеров (Fixed) в два-три раза. Только самые сильные рассуждающие модели умеют планировать эксперимент так, чтобы развести конкурирующие гипотезы.
Наконец, исследование вскрыло опасный разрыв между текстовым объяснением и точной формулой. Языковая модель отлично владеет научной и аналитической риторикой: она правильно описывает направление влияния («с ростом X растёт Y»), масштабирование и граничные условия, получая от судьи высокие баллы за объяснение, даже когда сама формула внутри неё неверна.
Рычаги управления:
- Обезличивание переменных: заменяй говорящие названия («цена», «гравитация», «отток») на x1, x2, y, если подозреваешь, что правила твоей среды отличаются от общепринятых.
- Переход от Discovery к Identification: не заставляй модель угадывать функциональную форму вслепую — дай ей список базовых шаблонов (степенная, линейная, логарифмическая, кусочная) и попроси выбрать подходящий по точкам.
- Протокол двух гипотез для Adaptive: если используешь топовую модель в интерактивном поиске, требуй на каждом шаге держать минимум две гипотезы с суммой весов 1.0 и заранее выписывать их численные прогнозы для запрашиваемой точки.
Шаблон промпта
Реши задачу вывода закономерности из данных по протоколу SciGame.
Переменные входа: {описание_входных_переменных_и_диапазонов}
Наблюдаемый выход: {описание_целевой_метрики}
Условия применимости: {граничные_условия}
{список_формул_кандидатов_или_требование_выдвинуть_2_гипотезы}
{таблица_наблюдений_или_результаты_замеров}
Инструкция выполнения:
1. ЗАЩИТА ОТ ШАБЛОНОВ: Не опирайся на книжные законы по названиям переменных. Если наблюдения противоречат привычной формуле — верь только цифрам из .
2. ОЦЕНКА ГИПОТЕЗ: Выпиши минимум 2 конкурирующие формулы-гипотезы H1 и H2 и распредели между ними веса уверенности (сумма весов = 1.0).
3. ЧИСЛЕННАЯ СВЕРКА: Для каждой точки из вычисли прогноз по H1 и по H2, укажи погрешность каждой гипотезы.
4. СЛЕДУЮЩИЙ ЭКСПЕРИМЕНТ (если данных недостаточно): Предложи одну новую точку входа, в которой прогнозы H1 и H2 расходятся сильнее всего, и укажи ожидаемое число по каждой гипотезе.
5. ФИНАЛЬНЫЙ ОТВЕТ: Выдай:
- Исполняемую математическую формулу (predictor).
- Расчёт для контрольных точек: {контрольные_точки_для_проверки}.
- Краткое объяснение и границы применимости.
Что подставлять в плейсхолдеры:
- {описание_входных_переменных_и_диапазонов} — параметры, которыми вы управляете (лучше с нейтральными обозначениями и единицами измерения).
- {описание_целевой_метрики} — что нужно предсказывать.
- {список_формул_кандидатов_или_требование_выдвинуть_2_гипотезы} — 2–3 возможные структуры формулы (режим Identification) или инструкция сгенерировать их самостоятельно.
- {таблица_наблюдений_или_результаты_замеров} — заранее подготовленный набор из 4–10 разнообразных замеров (режим Fixed).
- {контрольные_точки_для_проверки} — 1–2 точки, по которым вы проверите, считает ли формула правильно.
🚀 Быстрый старт — вставь в чат:
Вот шаблон протокола SciGame для вывода точных формул и закономерностей из табличных данных. Адаптируй его под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какие входные параметры и метрики есть в вашей таблице, нужно ли обезличить названия колонок, чтобы избежать шаблонных ответов, и какие типы зависимостей (линейные, пороговые, сезонные) стоит включить в список кандидатов.
Ограничения
⚠️ Провал при открытом поиске сложной формулы с нуля (Discovery): Даже когда агент правильно понимает направление связей и собирает хорошие данные, угадать точную символьную формулу с нелинейными поправками и перекрёстными произведениями с нуля удаётся в меньшинстве случаев.
⚠️ Самостоятельный выбор экспериментов вредит средним моделям: В интерактивном режиме (
Adaptive) не флагманские модели теряют точность в 2–3 раза по сравнению с подачей готового фиксированного набора точек (Fixed).
⚠️ Высокая оценка за объяснение не гарантирует верный расчёт: Текстовое обоснование модели нельзя использовать как критерий приёмки — агент стабильно пишет убедительные объяснения при нулевой точности самой формулы.
Как исследовали
Команда из MBZUAI, Университета Макгилла и Shanghai AI Lab создала бенчмарк SciGame из 44 семейств научных задач: 20 классических законов из истории науки (Historical) и 24 совершенно новых соотношения (Temporal), извлечённых из 23 рецензируемых статей, вышедших в период с 30 апреля по 15 сентября 2026 года — строго после даты отсечки знаний тестируемых моделей. Для каждой карточки авторы создали два идентичных по интерфейсу симулятора: Original (настоящий закон) и Counterfactual (размерностно корректная мутация степеней, коэффициентов и нелинейных связей), и прогнали на них 9 современных моделей (включая семейство GPT-5.5/5.6, GPT-6 Astra, DeepSeek-V4 Flash, Qwen-3.6/3.7 Plus и K2-Horizon-375B) в трёх режимах — без данных (Prior-only), на готовом пакете из 4 замеров (Fixed) и со свободным запросом экспериментов (Adaptive). Результаты оказались показательными: на классических законах в режиме Fixed модели восстанавливали точную формулу в среднем в 58,6% случаев против 21,3% на свежих статьях, но стоило заменить закон на контрфактический, как на знакомой классике строгая точность рухнула до 0,0% абсолютно у всех 9 моделей, тогда как на незнакомых свежих задачах составила 8,9% (и 16,7% у лидера в Adaptive). При этом переход от Fixed к активному экспериментированию (Adaptive) поднял результат сильнейшей модели GPT-6 Astra на контрфактических открытиях с 9,7% до 16,7%, но обвалил средние модели (например, GPT-5.6 Terra на обычных новых задачах упала с 20,8% до 6,9%, а DeepSeek-V4 Flash на исторических — с 53,3% до 23,3%). Наконец, во множестве конфигураций со строгой точностью формулы ниже 12% средний балл за научное объяснение (SES) держался выше 0,700–0,950, наглядно доказав, что гладкость объяснения маскирует провал в расчётах.
Адаптации и экстраполяции
🔧 Техника: Обезличивание домена (Blind Variables) → защита от ложных шаблонов при отладке и аналитике
Когда вы просите агента найти причину бага или нетипичной просадки конверсии, знакомые названия сервисов и метрик заставляют модель выдавать дежурные советы из интернета. Переименуйте метрики в
Param_A,Param_B,Target_Yперед подачей таблицы логов — это переведёт модель из режима «вспоминаю известные статьи» (как в Historical Counterfactual с 0% успеха) в режим чистого анализа цифр (как в Temporal Counterfactual).
💡 Адаптация для оценки аналитических и кодинг-агентов (запрет LLM-судьи на текст без прогона формулы):
Если вы настраиваете приёмку работы агента-аналитика, никогда не оценивайте его выкладку промптом «оцени от 0 до 1, насколько логично агент объяснил зависимость». Вместо этого требуйте от агента выдать функцию на Python (
def predict(x): ...) и автоматически сверяйте её выхлоп на 3–5 отложенных строках вашей таблицы.
Ресурсы
Исследование: SciGame: Let Agents Play the Scientific Discovery Games in the Real and Counterfactual World Авторы: Yusheng Zhao, Bowei He (MBZUAI), Xue Liu (MBZUAI, McGill University), Mingxiao Li (Shanghai AI Lab) Код и данные: https://anonymous.4open.science/r/scigame