TL;DR
Когда LLM даёт противоречивые ответы на один и тот же вопрос — люди интуитивно спрашивают снова. Это наихудшая стратегия. Исследование разложило шум в ответах LLM на четыре независимых источника: случайная вариация генерации, формулировка вопроса, выбор модели и язык запроса — и измерило вклад каждого.
Язык запроса — крупнейший источник вариации: 26–32% всего шума. Марка/тема, которую вы изучаете, — всего 0.7–1.5%. Это значит: один ответ LLM несёт почти нулевой сигнал о самом предмете исследования, зато огромный сигнал о том, как вы спросили.
Добавить один новый язык к запросу снижает ошибку в 15 раз эффективнее, чем пять дополнительных повторений того же промпта. Стандартная практика «спроси пять раз и усредни» тратит бюджет на наименее ценный рычаг.
Схема метода
Это не пошаговая техника с одним промптом — это стратегия сбора информации от LLM:
ВМЕСТО: Один промпт × 5 повторений
ДЕЛАТЬ: Один вопрос × 3–4 формулировки
+ тот же вопрос на другом языке (EN + RU или EN + DE)
+ при возможности — другая модель
ЛОГИКА: Каждый способ "срезает" другой источник шума.
Повторения срезают только случайность генерации (34.8% шума).
Перефразирование + языки срезают системные источники (60%+ шума).
Пример применения
Задача: Вы думаете открыть кофейню и хотите понять, как LLM оценивает Kофе Хауз как бренд — стоит ли делать франшизу или бренд "мёртвый" в восприятии AI.
Промпт — стандартный подход (неэффективный):
Что ты думаешь о бренде Кофе Хауз?
[спросить 5 раз подряд]
Промпт — эффективный подход по логике исследования:
Запрос 1 (прямой):
Что ты думаешь о бренде Кофе Хауз в России?
Как бы ты его охарактеризовал?
Запрос 2 (перефразировка):
Если бы ты рекомендовал кофейни в России, упомянул бы Кофе Хауз?
Почему да или нет?
Запрос 3 (смена угла):
Расскажи про рынок сетевых кофеен в России — какие бренды
приходят на ум первыми?
Запрос 4 (на английском):
What is your opinion about Coffee House (Kofe Khauz) coffee chain
in Russia? How would you describe the brand?
Результат: Вы получите четыре структурно разных ответа, которые срезают разные слои шума. Прямые повторения одного запроса дали бы практически идентичные ответы с минимальным новым сигналом. Разные формулировки и язык вскроют: что модель знает устойчиво, а что «плывёт» от формулировки.
Если все четыре ответа сходятся — сигнал достаточно надёжный. Если расходятся — бренд плохо представлен в обучающих данных (это тоже ценный вывод).
Почему это работает
LLM — не база данных с фиксированными записями. Каждый ответ — это генерация текста, которая зависит от контекста запроса. Один и тот же «факт» может на 26–32% зависеть от того, на каком языке вы спросили, просто потому что обучающие данные на разных языках содержат разные нарративы об одних и тех же вещах.
Повторение одного промпта срезает только случайный шум генерации — около 35% общей вариации. После 5-го повторения каждый новый запрос добавляет снижение ошибки 0.0003 — это статистически близко к нулю. Вы платите токенами и временем за ничто.
Перефразирование и смена языка срезают системные источники — 60%+ вариации. Разные формулировки вытаскивают разные паттерны из весов модели. Другой язык буквально активирует другие части обучающего корпуса.
Рычаги управления: - 🌍 Добавить язык → самый мощный рычаг, если тема имеет международное измерение - 🔄 Перефразировать → хороший баланс усилий/результата, работает всегда - 🤖 Другая модель → вскрывает несогласия между моделями; ценно для спорных тем - 🔁 Повторить тот же промпт → наименее ценный рычаг; работает лишь для усреднения случайного шума
Шаблон промпта
Изучаю {тема/бренд/вопрос}. Задам {число} версии одного вопроса —
они разные по формулировке, чтобы получить более полную картину.
Версия 1 (прямой вопрос):
{Прямой вопрос по теме}
Версия 2 (вопрос через косвенный угол):
{Тот же вопрос, но через смежный контекст — рынок, конкурентов,
рекомендацию}
Версия 3 (открытый вопрос):
{Открытый вопрос, где тема всплывёт органически, без прямого
называния}
После каждого ответа напиши одной строкой: в чём твой ответ
совпал с предыдущим, а в чём разошёлся.
Что подставлять:
- {тема/бренд/вопрос} — конкретный предмет изучения
- {число} — 3–4 для быстрой проверки, 5–6 для глубокого исследования
- Три версии вопроса: прямой → косвенный → открытый
🚀 Быстрый старт — вставь в чат:
Вот шаблон для надёжного исследования темы через LLM.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит: какую тему изучаете, что важно узнать, есть ли предпочтительный угол — потому что для работы метода нужно знать предмет и направление исследования, чтобы сгенерировать содержательно разные формулировки, а не просто переставить слова.
Ограничения
⚠️ Не инструмент для одного ответа: Метод даёт надёжность через усреднение нескольких запросов. Если нужен один точный ответ здесь и сейчас — диверсификация не помогает.
⚠️ Не для субъективных оценок: Исследование меряло тональность к брендам. Для вопросов вкуса или стиля языковая вариация — это не шум, а легитимная разница точек зрения.
⚠️ Языковой билингвальный штраф реален: Бренд может иметь разную репутацию на русском и английском по содержанию, не только из-за шума. Расхождение между языками — это не артефакт, а осмысленный сигнал.
⚠️ 91.9% ответов в исследовании были нейтральными: Корпус был специфическим (малоизвестные CEE-бренды). Для известных брендов или горячих тем вариация может быть другой.
⚠️ Результаты — точечные оценки: Доверительные интервалы Bootstrap ещё не финализированы на момент публикации (авторы честно об этом пишут).
Как исследовали
Исследователи задали 12 933 запроса про 20 брендов из Центральной и Восточной Европы (Allegro, Bolt, InPost, Wolt, Revolut и другие) — на 8 языках, через 3 модели (GPT-5.2, Gemini 3 Flash, Perplexity), с 15 вариантами промптов на каждую комбинацию. Для части ячеек каждый промпт повторили 5 раз, чтобы изолировать чистую случайность генерации.
Идея изящная: чтобы понять откуда берётся нестабильность, нужно скрестить все факторы в одном дизайне — тогда статистика (REML на смешанных случайных эффектах) разберёт совокупный шум на составляющие. Как будто разобрали механические часы по частям и взвесили каждую деталь.
Самый неожиданный результат: бренд как таковой объясняет 0.7% вариации, а язык запроса — 32%. Это кричащее свидетельство того, что «репутация бренда в глазах LLM» — это во многом артефакт того, на каком языке вы спрашиваете, а не устойчивое свойство знания модели о бренде.
Ещё один сюрприз: деловая практика "спросить 5 раз и усреднить" возникла как конвенция без эмпирического обоснования. Исследование впервые показало, что эта конвенция работает, но крайне неэффективно — она адресует лишь один из четырёх источников шума, и не самый большой.
Адаптации и экстраполяции
💡 Адаптация: Проверить устойчивость любого утверждения LLM
Если LLM утверждает что-то важное (факт, оценку, рекомендацию) — проверьте устойчивость не повторением, а перефразированием:
Ты только что сказал: "{утверждение из предыдущего ответа}".
Теперь ответь на тот же вопрос, но с другого угла:
{перефразированная версия исходного вопроса}
Потом ответь ещё раз, как будто тебя спрашивает скептик,
который сомневается в исходном утверждении.
Совпадают ли три ответа? Где расходятся?
Это буквально мини-версия исследования в одном промпте: три разных формулировки вскроют, что LLM знает устойчиво, а что "шатается".
🔧 Техника: Языковая триангуляция для исследования любой темы
Один и тот же вопрос на русском и английском даёт разные ответы не из-за ошибки перевода, а потому что модель обучена на разных корпусах. Это полезная разница:
Ответь на вопрос дважды:
На русском: {вопрос по-русски}
In English: {тот же вопрос по-английски}
Затем: в чём содержательно различаются два ответа?
Это разные точки зрения или просто стилистика?
Работает особенно хорошо для: технологических трендов, бизнес-концепций, репутации компаний, оценки явлений с региональной спецификой.
Ресурсы
Название: Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers
Датасеты: DOI 10.5281/zenodo.20794390 (основной корпус CEE), DOI 10.5281/zenodo.20788142 (карта категорий)
Автор: Dmitrij Zatuchin — Estonian Entrepreneurship University of Applied Sciences (EUAS), Таллин; Rankfor.AI, Вроцлав/Таллин
Связанные работы из того же проекта: category-ownership map [18], dice-roll meta-methodology [19], V-ZUG single-brand probe [22]