3,583 papers
arXiv:2603.13834 72 14 мар. 2026 г. FREE

Few-Shot Table Inference: LLM как предиктор на крошечных данных

КЛЮЧЕВАЯ СУТЬ
Регрессия на 10 примерах — рулетка: разброс между запусками достигает 47%. При тех же данных LLM даёт разброс ≤3% и на 40% точнее на нелинейных зависимостях. Метод позволяет получать стабильные численные прогнозы там, где статистическая модель просто угадывает. Даёшь LLM таблицу из 6–9 примеров [параметры → результаты] плюс описание нового случая в предложениях — ключевое: не голые числа, а 'цена 340 рублей — средний сегмент категории'. Модель соединяет знания из предобучения с конкретными примерами — и это работает лучше, чем считать коэффициенты по 10 строкам.
Адаптировать под запрос

TL;DR

Модели умеют предсказывать числовые значения, если дать им таблицу примеров в контексте. Исследование показало: LLM, которым скормили 9 размеченных строк данных (структурные параметры → результаты), предсказывали 10-й пример точнее, чем классическая линейная регрессия — но только там, где зависимость нелинейная.

Главная боль: Классические статистические модели ломаются на крошечных датасетах из 10–20 примеров. Они переобучаются, выдают нестабильные результаты (разброс между запусками достигал 47%) и не улавливают сложные зависимости. Когда данных мало — регрессия становится лотереей.

Решение: Дать LLM таблицу известных примеров как контекст и попросить предсказать новый. Модель тянет знания из предобучения (она «читала» тысячи научных статей и деловых данных) и комбинирует их с конкретными примерами из таблицы. В итоге — разброс между запусками ≤3% вместо 47%, а точность предсказания нелинейных зависимостей на 40% лучше регрессии.


🔬

Схема метода

Всё происходит в одном промпте:

ШАГ 1: Контекст задачи → одно-два предложения о домене и цели
ШАГ 2: Референсная таблица → N примеров [входы + известные результаты]
ШАГ 3: Описание нового случая → входные данные в предложениях (не просто числа)
ШАГ 4: Инструкция вывода → точный формат ответа (без воды, только числа)

Один промпт. Один ответ. Никакой итерации.


🚀

Пример применения

Задача: Ты управляющий складом в Новосибирске. Нужно предсказать спрос на новую SKU к акции. Есть данные по 9 предыдущим позициям: средняя цена, охват рекламы, сезонность, конкурентов в категории → реальный прирост продаж в штуках. Нового товара на складе ещё нет — нужен прогноз до закупки.

Промпт:

Ты аналитик спроса с опытом в ритейле. Предскажи прирост продаж 
(в штуках за неделю акции) для новой позиции на основе исторических данных.

Условие: предсказывай только на основе таблицы ниже и своих знаний 
о динамике спроса. Никаких объяснений — только число.

Исторические данные:
| SKU       | Цена (руб) | Реклама (охват тыс.) | Сезон | Конкурентов | Прирост (шт) |
|-----------|-----------|----------------------|-------|-------------|--------------|
| Товар A   | 299       | 15                   | зима  | 3           | 124          |
| Товар B   | 450       | 8                    | лето  | 7           | 67           |
| Товар C   | 180       | 22                   | зима  | 2           | 203          |
[...ещё 6 строк...]

Новая позиция:
- Цена 340 рублей — средний ценовой сегмент для категории
- Охват рекламной кампании: 18 тысяч пользователей ВКонтакте  
- Период: зимний сезон, высокий потребительский интерес
- Конкурентов в категории: 4 SKU от других брендов

Формат ответа: одно число — прогноз прироста продаж в штуках.

Результат: Модель вернёт одно число — прогнозный прирост. Без рассуждений, без «это зависит от». При повторных запросах ответ будет отличаться не больше чем на 2–3 штуки — стабильность достигается через строгий формат вывода и точное описание нового случая в предложениях.


🧠

Почему это работает

Слабость регрессии на маленьких данных: Когда примеров меньше 20 — статистическая модель «запоминает» случайный шум, а не настоящую зависимость. Масштаб этой проблемы виден в числах: PLS выдавала разные результаты при одних и тех же данных с разбросом до 47% между запусками. Это не модель — это рулетка.

Сильная сторона LLM: Модель уже «прочитала» огромный массив текстов — научные статьи, отчёты, деловую аналитику. Внутри неё закодированы паттерны зависимостей между параметрами, которые люди описывали словами. Когда ты даёшь ей таблицу примеров, она соединяет свои скрытые знания с конкретными данными — и это работает лучше, чем просто считать коэффициенты на 10 строках.

Почему описание в предложениях > список чисел: Авторы сначала пробовали просто перечислять значения через запятую — результат был нестабильным. Когда каждый параметр обернули в предложение с контекстом («пористость мембраны составляет 77%, что характерно для гидрофильных образцов»), точность выросла. Модель лучше «понимает» числа, когда они вписаны в смысл — потому что именно так она обрабатывала текст при обучении.

Рычаги управления промптом: - Количество примеров в таблице → больше строк = точнее прогноз, но дольше и дороже - Уровень детализации описания → добавь больше контекста к новому случаю — стабильнее результат - Строгость формата вывода → «только число» убирает вариативность; «объясни рассуждение» — добавляет прозрачность - Единицы измерения → указывай явно, иначе модель может предсказать в другом масштабе


📋

Шаблон промпта

Ты эксперт в {область_знаний}. Предскажи {целевой_показатель} 
для нового случая на основе исторических данных.

Правило: используй только таблицу ниже и свои знания о {область_знаний}. 
Ответ — только {формат_вывода}. Никаких объяснений.

Исторические данные:
| {параметр_1} | {параметр_2} | {параметр_3} | {целевой_показатель} |
|--------------|--------------|--------------|----------------------|
| {значение}   | {значение}   | {значение}   | {результат}          |
[...все известные примеры...]

Новый случай:
- {параметр_1}: {значение} — {одно предложение с контекстом}
- {параметр_2}: {значение} — {одно предложение с контекстом}
- {параметр_3}: {значение} — {одно предложение с контекстом}

Формат ответа: {точное_описание_вывода — число/диапазон/категория}

Что подставлять: - {область_знаний} — домен: ритейл, HR, финансы, логистика - {целевой_показатель} — что предсказываем: конверсия, срок, стоимость - {параметр_X} — входные данные, которые у тебя есть - {одно предложение с контекстом} — главное: не просто число, а смысл. Не «340 руб», а «цена 340 рублей — средний сегмент для категории» - {формат_вывода} — чем точнее, тем стабильнее: «одно целое число», «диапазон X–Y», «категория из списка»


🚀 Быстрый старт — вставь в чат:

Вот шаблон для предсказания по таблице примеров. 
Адаптируй под мою задачу: [твоя задача — что предсказываешь и какие данные есть]. 
Задавай вопросы, чтобы заполнить все поля.

[вставить шаблон выше]

LLM спросит какие параметры у тебя есть, что предсказываешь и сколько примеров — потому что структура таблицы и описание нового случая зависят от конкретного домена. Она возьмёт паттерн шаблона и адаптирует под твои данные.


⚠️

Ограничения

⚠️ Линейные зависимости: Если связь между параметрами и результатом простая и прямая — LLM не даёт преимущества перед обычной регрессией. Используй этот метод когда чувствуешь, что зависимость сложная, нелинейная, с взаимовлиянием факторов.

⚠️ Меньше 5 примеров: При совсем крошечных данных даже LLM начинает придумывать. Минимальный рабочий порог — 6–8 примеров в таблице.

⚠️ Точные числовые предсказания: Это инструмент для первичной оценки, не для финансовых решений на миллионы. Разброс между запусками — около 3%, что хорошо по меркам регрессии, но всё равно существует.

⚠️ Экстраполяция за пределы данных: Если новый случай сильно отличается от всех примеров в таблице — модель будет угадывать без опоры. Работает только там, где новый случай похож на обучающие примеры.


🔍

Как исследовали

Исследователи взяли 10 реальных мембран с известными физическими параметрами и механическими свойствами — буквально поместились в одну таблицу. Это экстремально маленький датасет даже по меркам науки о материалах. Схема простая: прячем одну строку, даём модели остальные 9 как контекст, смотрим насколько точно она предсказывает спрятанную. Повторяют для каждой строки, 5 раз с разными случайными параметрами — итого 50 предсказаний на метод.

Интересная деталь: сначала промпт был простым перечислением чисел — и он плохо работал. Команда это заметила и переписала шаблон: теперь каждый параметр описывался предложением с доменным смыслом. Точность выросла. Это и стало одним из ключевых практических выводов.

Против LLM поставили PLS — стандартный метод для маленьких датасетов в химии. Для упругости (Young's modulus) и прочности при разрыве результаты оказались статистически неотличимы: оба метода справились примерно одинаково, потому что зависимость там достаточно линейная. Но для удлинения при разрыве — нелинейного свойства — DeepSeek-R1 и GPT-5 снизили ошибку на 40% относительно регрессии. Это статистически значимый результат даже на 10 примерах.

Что удивило: вариативность у LLM была в 15 раз ниже, чем у регрессии. PLS при одних и тех же данных мог давать разброс до 47% между запусками — из-за нестабильности выбора числа компонент на крошечном датасете. LLM стабильно держались в пределах 3%.


💡

Адаптации и экстраполяции

🔧 Сравнение нескольких сценариев вместо одного предсказания

Если нужно выбрать лучший вариант из нескольких — дай все сценарии сразу и попроси ранжировать:

[таблица исторических примеров...]

Новые варианты для оценки:
- Вариант А: цена 340 руб, охват 18 тыс, зимний сезон, 4 конкурента
- Вариант Б: цена 290 руб, охват 12 тыс, зимний сезон, 4 конкурента  
- Вариант В: цена 390 руб, охват 25 тыс, зимний сезон, 2 конкурента

Формат ответа: три числа — прогнозный прирост для каждого варианта 
плюс рекомендованный вариант.

Получаешь сравнительную аналитику за один запрос — без трёх отдельных промптов.


🔧 «Объясни своё рассуждение» для нелинейных задач

Если убрать ограничение «никаких объяснений» — увидишь логику предсказания:

После числового прогноза — 2-3 предложения: 
какие факторы из таблицы повлияли больше всего 
и почему ты ожидаешь такой результат.

Полезно когда нужно объяснить прогноз коллегам или проверить, не галлюцинирует ли модель. Если рассуждение звучит бессмысленно — число тоже ненадёжно.


🔗

Ресурсы

Intelligent Materials Modelling: Large Language Models Versus Partial Least Squares Regression for Predicting Polysulfone Membrane Mechanical Performance

Dingding Cao (Baoshan University, Китай), Mieow Kee Chan (SEGi University / Xiamen University Malaysia), Wan Sieng Yeo (Universiti Malaysia Sabah), Said Bey (University of Bejaia, Алжир), Alberto Figoli (Institute on Membrane Technology ITM-CNR, Италия)

Модели: DeepSeek-V3, DeepSeek-R1, ChatGPT-4o, GPT-5


📋 Дайджест исследования

Ключевая суть

Регрессия на 10 примерах — рулетка: разброс между запусками достигает 47%. При тех же данных LLM даёт разброс ≤3% и на 40% точнее на нелинейных зависимостях. Метод позволяет получать стабильные численные прогнозы там, где статистическая модель просто угадывает. Даёшь LLM таблицу из 6–9 примеров [параметры → результаты] плюс описание нового случая в предложениях — ключевое: не голые числа, а 'цена 340 рублей — средний сегмент категории'. Модель соединяет знания из предобучения с конкретными примерами — и это работает лучше, чем считать коэффициенты по 10 строкам.

Принцип работы

Регрессия видит только числа из таблицы. На десяти строках она запоминает случайный шум — не настоящую зависимость. LLM уже 'читала' миллионы текстов, где люди описывали словами, как параметры влияют на результаты. Таблица примеров — не обучение, а подсказка: 'вот контекст твоей задачи'. Модель добавляет к твоим числам знания из предобучения и предсказывает без переобучения на шуме. Числа, обёрнутые в предложение, она понимает лучше голых значений — именно потому что так устроены тексты, на которых она обучалась.

Почему работает

На маленьких данных регрессия подгоняется под шум — и это видно по цифрам: 47% разброс при повторных запусках. Это не модель, это монетка. LLM же приходит с готовыми паттернами внутри. Таблица примеров не обучает её с нуля — она лишь уточняет, какие именно паттерны из предобучения здесь применимы. Оттуда и стабильность: модель не угадывает случайно, а применяет закономерности, которые уже у неё внутри.

Когда применять

Маленькие данные (6–20 примеров) → для задач с нелинейными зависимостями: спрос в ритейле, качество продукта от параметров производства, кадровые прогнозы — особенно когда несколько факторов влияют друг на друга. НЕ подходит: линейные зависимости (здесь обычная регрессия не хуже) и случаи, когда новый пример сильно непохож ни на один из примеров таблицы — тогда модель будет угадывать без опоры.

Мини-рецепт

1. Собери таблицу: минимум 6–8 примеров [входные параметры + известный результат]. Больше строк — точнее прогноз, но дольше и дороже.
2. Задай роль: <роль>аналитик спроса с опытом в ритейле или любой эксперт в своём домене — это активирует нужные знания из предобучения.
3. Опиши новый случай предложениями: не просто числа. Каждый параметр с контекстом — 'охват 18 тысяч, зимний сезон, высокий потребительский интерес'. Именно предложения, не список значений.
4. Зафиксируй строгий формат ответа: 'только одно целое число' убирает разброс. 'Объясни рассуждение' — добавляет прозрачность, но снижает стабильность.
5. Укажи единицы измерения явно — иначе модель может ответить в другом масштабе и ты не сразу поймёшь.

Примеры

[ПЛОХО] : Цена=340, охват=18, конкурентов=4. Предскажи прирост продаж
[ХОРОШО] : Ты аналитик спроса с опытом в ритейле. Предскажи прирост продаж в штуках за неделю акции. Ответ — только одно целое число, без объяснений. | Цена (руб) | Охват (тыс.) | Конкурентов | Прирост (шт) | |-----------|-------------|-------------|-------------| | 299 | 15 | 3 | 124 | | 450 | 8 | 7 | 67 | | 180 | 22 | 2 | 203 | Новая позиция: - Цена 340 рублей — средний ценовой сегмент для категории - Охват рекламной кампании: 18 тысяч пользователей - Период: зимний сезон, высокий потребительский интерес - Конкурентов в категории: 4 позиции от других брендов Формат ответа: одно целое число — прогноз прироста продаж в штуках
Источник: Intelligent Materials Modelling: Large Language Models Versus Partial Least Squares Regression for Predicting Polysulfone Membrane Mechanical Performance
ArXiv ID: 2603.13834 | Сгенерировано: 2026-03-17 04:23

Проблемы LLM

ПроблемаСутьКак обойти
Числа без смысла модель читает хужеДаёшь параметры как список чисел — модель выдаёт нестабильные результаты. Та же задача, те же числа, разные запросы — ответы сильно расходятся. Происходит потому что модель обучалась на тексте. Голые числа она «видит» хуже чем числа внутри предложенийОборачивай каждое число в предложение с контекстом. Не 340 — а цена 340 рублей, средний сегмент для категории. Одно предложение на параметр. Разброс между запросами падает

Методы

МетодСуть
Таблица примеров в запросе — предсказание нового случаяКогда данных мало (6–20 примеров) и нужно предсказать число — дай модели таблицу известных случаев прямо в запросе. Структура: (1) одно-два предложения о задаче (2) таблица: входы + известные результаты (3) новый случай в предложениях (4) точный формат ответа. Правило формата: "Ответ — одно целое число. Без объяснений." — убирает вариативность. Почему работает: модель несёт в себе знания из миллионов текстов. Когда видит таблицу — комбинирует эти знания с конкретными примерами. Это сильнее чем считать коэффициенты на 10 строках. Когда да: нелинейная зависимость, 6+ примеров, новый случай похож на примеры в таблице. Когда нет: зависимость простая и прямая, меньше 5 примеров, новый случай сильно отличается от всех примеров
📖 Простыми словами

Intelligent MaterialsModelling:LargeLanguageModelsVersus Partial Least Squares Regression for Predicting Polysulfone Membrane Mechanical Performance

arXiv: 2603.13834

Нейросети научились предсказывать физические свойства материалов не через сложные формулы, а через распознавание паттернов в обычном тексте. Суть в том, что современные LLM — это не просто чат-боты, а мощнейшие движки для поиска закономерностей там, где классическая математика пасует. Когда мы даем модели таблицу с параметрами полимеров и их прочностью, она не считает коэффициенты, а «считывает» логику процесса, опираясь на свои гигантские знания о мире. В итоге нейронка понимает нелинейные зависимости, которые обычная регрессия просто не видит в упор.

Это как если бы ты пытался научить первоклассника печь блины. Можно дать ему строгую химическую формулу взаимодействия белков и углеводов — он гарантированно все сожжет. А можно показать девять примеров того, как меняется тесто от лишней ложки муки. Ребенок поймет принцип на кончиках пальцев и десятый блин сделает идеально. Математика здесь слишком неповоротлива, а интуитивный подход на малых данных срабатывает на ура.

В исследовании использовали метод обучения в контексте (In-context learning). Модели просто скармливали девять строк данных, где были прописаны структурные параметры мембран и итоговый результат. На десятой строке LLM должна была выдать прогноз. Результат убил классику: там, где стандартная линейная регрессия (PLS) выдавала дикую погрешность и вела себя как рулетка, нейросеть четко попадала в цель. Оказалось, что для предсказания механических свойств полисульфона не нужны суперкомпьютеры — достаточно грамотно составленного промпта с примерами.

Этот принцип легко переносится с химии на любой бизнес, например, на прогнозирование спроса. Если у тебя есть данные по девяти акциям в Новосибирске (цена, охват, сезонность), ты можешь засунуть их в ChatGPT и попросить предсказать продажи десятого товара. Пока аналитик будет мучиться с графиками, AI выдаст результат точнее, потому что он учитывает контекст, который не лезет в стандартные таблицы. Принцип универсален: везде, где данных мало, а зависимости кривые и сложные, LLM выигрывает у старой школы.

Главный вывод: на малых выборках до 20 примеров классическая статистика — это полный провал. Она ловит случайный шум и выдает разброс до 47%, по сути, просто гадая на кофейной гуще. Если у тебя нет биг-даты, забудь про регрессию и используй LLM как предсказательный движок. Это быстрее, дешевле и, как выяснилось, банально точнее. Кто продолжит верить в «чистую математику» на пяти строчках Excel, тот будет и дальше удивляться, почему прогнозы не сбываются.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с