TL;DR
ChronoCulture — исследование, которое проверило, умеют ли модели предсказывать, как менялись взгляды людей в стране. Модели получали страну, год, вопрос из социологического опроса и варианты ответа. Просили назвать проценты людей по каждому варианту и сравнивали с реальными данными двух лет: старого и нового.
Главная находка: модель выдаёт почти одинаковую картину для 1999 и 2022 года, хотя реальные ответы людей сильно разошлись. Для большинства вопросов с заметным сдвигом оба прогноза оказались ближе к одному и тому же году. Модель угадывает «общую атмосферу» страны, но не динамику. Когда сдвиг большой, она занижает его масштаб. А там, где ничего не менялось, в трети случаев «придумывает» изменение. Если года в запросе нет, ответ чаще напоминает более раннюю эпоху, а не сегодняшний день.
Простая подсказка не лечит проблему: фраза «в 2022 году» в промпте почти ничего не даёт. Она помогает примерно так же часто, как вредит. Заметно помогает только указание старого года при очень сильных сдвигах. Вывод для практики: не доверяй модели вопросы вида «как изменилось отношение к X», а ответы «на сегодня» сверяй со свежими данными.
Схема метода
ШАГ 1: Запрос без года: страна + вопрос + варианты → проценты по вариантам
ШАГ 2: Запрос со старым годом → проценты
ШАГ 3: Запрос с новым годом → проценты
ШАГ 4: Сравнение с реальным опросом:
— насколько точен каждый прогноз
— насколько прогнозы различаются между собой
— совпадает ли это с реальным сдвигом
(каждый запрос — отдельный, один и тот же формат промпта)
Пример применения
Задача: Аналитик маркетплейса готовит презентацию про «как менялись ценности россиян» и хочет быстро прикинуть распределение ответов на вопрос из Всемирного исследования ценностей (WVS): «Можно ли оправдать развод?» по шкале 1–10. Сильная зона метода — запрос распределения процентов, а не одного ответа. Динамику модель покажет плохо, поэтому проверка встроена в сам промпт-процесс.
Промпт (отправь трижды: без года, с 1995, с 2022):
Страна: Россия
Год: 1995 [во втором запросе — 2022; в первом строку «Год» убери]
Вопрос из социологического опроса: «Скажите, пожалуйста, можно ли, по вашему мнению, оправдать развод?»
Шкала: от 1 («никогда нельзя оправдать») до 10 («всегда можно оправдать»).
Оцени, какой процент взрослого населения страны выбрал бы каждый вариант от 1 до 10.
Сумма должна быть равна 100%.
Ответь только таблицей: вариант — процент.
Результат: Модель выдаст три таблицы по 10 строк с процентами. Проверка: если таблицы для 1995 и 2022 почти совпадают, это сигнал, что модель не различает эпохи. Тогда нельзя строить слайд «вот как изменились россияне» на её цифрах. Используй их только как грубую прикидку «общего профиля» и найди реальные данные WVS или ВЦИОМ/Левады. Для «сегодняшнего» вопроса ориентируйся скорее на то, что ответ может отражать более раннюю эпоху.
Почему это работает
Слабость модели: она обучена на огромном массиве текстов, где разные эпохи перемешаны. Культурные установки страны запоминаются как усреднённый портрет. Год в запросе — слабая подсказка: он не перестраивает портрет, а лишь слегка сдвигает его. Поэтому прогнозы для разных лет остаются рядом.
Что модель умеет: она неплохо угадывает общий профиль страны и верное направление изменений, особенно когда сдвиг большой. Масштаб при этом занижает. Когда модель выдаёт распределение процентов, видны нюансы, которые теряются в формате «один ответ»: самый популярный вариант может не меняться, пока всё остальное сильно движется.
Как использовать: запрашивай распределение, а не «что думают люди». Сравнивай ответы для разных лет. Если они почти не различаются, считай это маркером слепоты к времени. Рычаги: - Указание старого года — единственный рабочий. Помогает при очень сильных сдвигах. - Указание нового года — почти бесполезно. Не рассчитывай, что «2024» актуализирует ответ. - Отсутствие года — модель склоняется к более ранней эпохе. Для «сегодняшних» оценок не надейся на «по умолчанию».
Шаблон промпта
Страна: {страна}
Год: {год}
Вопрос из социологического опроса: «{формулировка_вопроса}»
Варианты ответа (по порядку): {варианты}
Оцени, какой процент взрослого населения страны выбрал бы каждый вариант.
Сумма должна быть равна 100%.
Ответь только таблицей: вариант — процент.
Подставляй:
- {страна} — страну;
- {год} — конкретный год (или убери строку для запроса «без даты»);
- {формулировка_вопроса} — вопрос как в опросе;
- {варианты} — упорядоченную шкалу («полностью согласен … полностью не согласен» или 1–10).
Для проверки динамики отправь шаблон минимум дважды с разными годами и сравни таблицы.
Ограничения
⚠️ Динамика недоступна: модели плохо различают разные годы для одной страны. Для вопросов «как менялось отношение» цифры модели нельзя считать оценкой тренда.
⚠️ Занижение масштаба: даже когда направление угадано, величина изменения почти всегда меньше реальной. Мелкие или средние сдвиги модель может не заметить вовсе.
⚠️ Ложные изменения: там, где реальные взгляды почти не менялись, модели в трети случаев всё равно рисуют заметный сдвиг.
⚠️ Год в промпте — не лекарство: помогает и вредит с примерно одинаковой частотой. Выигрыш есть только при очень сильных сдвигах и только для старых лет.
⚠️ Рамки исследования: проверяли только вопросы с упорядоченной шкалой из двух крупных опросов, один формат промпта, без поиска в интернете и без рассуждений по шагам. Часть выводов по темам и регионам в доступном тексте обрывается. Для вопросов без шкалы и для свободных ответов результаты не подтверждены.
Как исследовали
Исследователи из Texas A&M взяли два долгих международных опроса, WVS и ISSP. Из них собрали 10 360 пар: один и тот же вопрос в одной и той же стране в старый и новый год, с реальным распределением ответов людей. Всего 72 страны, годы с 1985 по 2022. Шесть моделей (Llama-3.3-70B, GPT-4o, GPT-5.4, Qwen и DeepSeek) просили предсказать проценты для каждого года.
Ключевое решение: оценивали всё распределение, а не самый популярный ответ. Авторы показали, почему: в 68% пар с заметным сдвигом самый популярный ответ остаётся тем же. Если смотреть только на него, динамику не увидишь. Чтобы не винить модель в незнании темы, сначала отфильтровали вопросы, где она в принципе знала профиль страны (оставили 75% лучших).
Результаты неприятные. У 80–87% пар с заметным сдвигом оба прогноза были ближе к одному и тому же году, чем каждый к своему. От 10 до 56% сдвинутых пар получили полностью идентичные прогнозы. Без указания года ответ ближе всего к самому свежему году лишь в 46–48% случаев. Указание года помогало в 20–44% и вредило примерно в такой же доле. Удивительно, что именно старый год помогал при сильных сдвигах, а новый почти нет. Для практики это значит, что модель плохо «подтягивается» к современности и лучше откликается на «ретро-подсказку».
Адаптации и экстраполяции
Это не проверено в статье, лишь идея на основе её выводов.
🔧 Техника: сравнение двух эпох в одном чате → встроенный детектор слепоты
Вместо двух отдельных запросов попроси модель обе таблицы сразу и оценку разницы:
Дай два распределения для России: для 1995 и для 2022 года по вопросу «{вопрос}».
Затем в одну строку укажи, на сколько процентных пунктов изменилась доля «{вариант}».
Если, по твоей оценке, реальных данных у тебя недостаточно, так и напиши.
Если разница подозрительно мала или «0», это маркер слепоты к времени. Так ты быстро отсеешь вопросы, где на модель нельзя полагаться.
Ресурсы
- ChronoCulture: Evaluating Cultural Awareness Across Time in Large Language Models — Rusali Saha, Nitya Khurana, Ruihong Huang, Kuan-Hao Huang (Texas A&M University)
- Код для сборки бенчмарка: github.com/lab-flair/ChronoCulture
- Источники данных: World Values Survey (WVS), International Social Survey Programme (ISSP)
- Связанные работы: GlobalOpinionQA, OpinionQA, WorldValuesBench; Meister et al. (2025) о запросе распределений напрямую