TL;DR
Когда ты просишь LLM описать текущие ценности какой-то страны или общества, модель отвечает достаточно точно. Но как только речь заходит о том, как эти ценности менялись со временем — модель начинает путаться: отстаёт на несколько лет, недооценивает масштаб перемен, придумывает движение там, где его не было, и почти никогда не замечает, если тренд развернулся в обратную сторону.
Представь: общество двигалось в одном направлении лет двадцать, а потом резко развернулось — как страны бывшего СССР после распада, которые вернулись к традиционным ценностям после экономического коллапса. LLM в такой ситуации продолжает "тащить" страну в старом направлении, как будто разворота не было. Даже если явно указать год в запросе, модель всё равно выдаёт картину с задержкой — её "внутренние часы" отстают от реальности на несколько лет.
Причина в том, что модель хорошо запомнила где общество находится сейчас (это как фото), но плохо усвоила траекторию движения (это как видео). Она "выпрямляет" историю — берёт общий тренд (модернизация, рост индивидуализма) и применяет его линейно, игнорируя зигзаги, паузы и повороты назад.
Схема исследования
ШАГ 1: Взять данные World Values Survey (опрос ценностей) за 20+ лет, 40 стран → реальные траектории изменений
ШАГ 2: Спросить 4 модели (Claude, GPT, Gemini, Qwen) те же вопросы в 3 вариантах:
C0 — без страны и года ("группа взрослых людей")
C1 — со страной, без года
C2 — со страной И годом
ШАГ 3: Наложить ответы моделей на ту же систему координат, что и реальные опросы → сравнить
ШАГ 4: Проверить: угадывает ли модель НАПРАВЛЕНИЕ, СКОРОСТЬ и РАЗВОРОТЫ изменений
Пример применения
Задача: Ты готовишь для клиента анализ — как изменилось отношение российской аудитории 25-35 лет к теме "работа ради самореализации vs работа ради денег" за последние 10 лет, чтобы выстроить маркетинговую стратегию.
Промпт (плохой, как делают большинство):
Как изменилось отношение российской аудитории 25-35 лет
к балансу "работа для денег vs работа для смысла" за последние 10 лет?
Промпт (с учётом находки исследования):
Я анализирую динамику ценностей российской аудитории 25-35 лет
по теме "работа ради денег vs работа ради самореализации".
Дай оценку ОТДЕЛЬНО для каждого года: 2015, 2018, 2021, 2024.
Для каждого года укажи: в какую сторону смещение и насколько сильное.
Важно: не считай, что тренд шёл линейно в одну сторону.
Явно проверь — были ли периоды, когда тренд ЗАМЕДЛЯЛСЯ, ОСТАНАВЛИВАЛСЯ
или РАЗВОРАЧИВАЛСЯ (например, из-за кризиса 2020 или событий 2022 года)?
Если да — укажи это отдельно и объясни почему.
Результат: Первый промпт даст гладкую историю "тренд плавно шёл в одну сторону" — даже если в реальности были откаты (например, всплеск ценности стабильности после 2022 года). Второй промпт заставляет модель явно проверить каждую точку и искать развороты, а не выдавать линейную экстраполяцию по умолчанию.
Почему это работает
LLM обучена на текстах, где обсуждение "как изменилось общество" почти всегда описывает общий вектор (модернизация, рост толерантности, индивидуализм) — это самый частый паттерн в интернете. Модель воспроизводит этот усреднённый нарратив, а не считывает конкретную кривую конкретной страны.
При этом модель неплохо держит снимок состояния на сейчас — потому что это чаще явно упоминается в текстах ("в Иране сейчас...", "в Швеции принято..."). А вот динамика во времени требует держать в голове несколько точек одновременно и их порядок — а это ближе к арифметике на нескольких данных, что для модели сложнее, чем пересказ факта.
Рычаг управления: явное указание конкретных годов для КАЖДОЙ точки траектории (не "за последние 10 лет", а "2015, 2018, 2021, 2024") заставляет модель сверяться с датой, а не выдавать усреднённый тренд. Второй рычаг — прямой вопрос "были ли развороты?" — модель по умолчанию не ищет их сама, но если спросить в упор, шанс поймать разворот выше.
Ограничения
⚠️ Работает только для тем с реальной историей изменений. Если тема статична (столица страны, физическая константа) — находка не применима.
⚠️ Модель не решает проблему сама, даже если её прямо просить. Исследование показало: явное указание года снижает лаг, но не убирает его полностью. Развороты воспроизводятся редко, даже когда их явно ищут в промпте — так что относись к ответу LLM про "переломные моменты" как к гипотезе, а не к факту.
⚠️ Чем длиннее и сложнее история изменений — тем хуже. На простых линейных трендах (общество тихо и монотонно двигалось в одну сторону) LLM справляется неплохо. На зигзагообразных — плохо.
Как исследовали
Команда взяла World Values Survey — самый крупный и длинный опрос ценностей в мире (40 стран, данные с 1999 по 2023 год, 134 замера по странам). Они спросили у четырёх топовых моделей (Claude, GPT, Gemini, Qwen) те же вопросы, что задавали живым респондентам, и наложили ответы моделей на ту же "культурную карту" (два измерения: традиционные vs секулярные ценности, выживание vs самовыражение).
Хитрость дизайна: вместо того чтобы просить модель дать один ответ, они просили её выдать вероятностное распределение по вариантам ответа и усредняли по 10 запросам — это точнее отражает "мнение популяции", чем один сгенерированный ответ.
Самое интересное — тест на развороты. Исследователи нашли 6 стран, где реальный тренд ценностей разворачивался (например, после экономического кризиса или политических потрясений), и проверили: заметит ли модель разворот, если её явно спросить про конкретный год? Оказалось — почти никогда. Модель продолжает тащить тренд в старом направлении, как будто общество не может "передумать".