TL;DR
Когда ты просишь несколько ИИ-агентов (или ролей) оценить одно и то же — их согласие может ничего не значить. Если все они опираются на один и тот же источник, дополнительный "голос" не добавляет ни капли новой информации о правильном ответе, даже если тексты звучат по-разному, написаны разным стилем и выглядят как независимые мнения. Автор называет такой пустой отчёт эпистемическим сивиллом (по аналогии с sybil-атакой, где один человек создаёт много фейковых личностей) — он множит видимость доказательств, но не сами доказательства.
Главная боль: если размножить агентов, анализирующих один документ, с 1 до 32 — уверенность модели в правильности ответа резко взлетает вверх (с реального покрытия 94% до 26% — то есть модель начинает быть уверена намного сильнее, чем оправдано). Причина простая: модель считает "три разных отчёта = три доказательства", хотя на деле это три пересказа одного факта. Хуже того — исследование показывает, что нельзя понять по одному тексту отчёта, был ли он клоном или независимым наблюдением: одинаковые на вид отчёты требуют разных выводов о доверии, а внешняя непохожесть текстов (разные слова, разная подача) слабо связана с реальной независимостью источника.
Решение автора — не техника промптинга, а критерий проверки: считать не количество агентов/отчётов, а количество независимых корней доказательств (первичных источников информации). Если у отчётов общий корень — их совместное "голосование" не должно увеличивать уверенность сильнее, чем позволяет сам этот корень.
Схема принципа (не пошаговый метод, а диагностика)
ШАГ 1: Для каждого отчёта/мнения спросить → "на каком первичном источнике он основан?"
ШАГ 2: Сгруппировать отчёты по общему источнику → выявить реальное число независимых "корней"
ШАГ 3: Считать уверенность по числу корней, а не по числу отчётов
ШАГ 4: Явно понижать вес согласия, если корень общий
Всё это можно попросить сделать саму LLM внутри одного диалога — без кода и API.
Пример применения
Задача: Ты просишь ChatGPT сыграть роль "трёх инвесторов" (венчурный фонд, бизнес-ангел, банк) и оценить питч стартапа — например, сервис доставки еды из тёмных кухонь в Москве. Все трое читают один и тот же питч-дек на 10 слайдов и хвалят идею.
Промпт:
У меня есть 3 отчёта от разных "инвесторов" по одному стартапу (в основе всех трёх —
один и тот же питч-дек, без дополнительных данных):
1. [отчёт венчурного фонда]
2. [отчёт бизнес-ангела]
3. [отчёт банка]
Проверь: сколько РЕАЛЬНО независимых источников информации стоит за этими тремя
мнениями? Если все опираются только на питч-дек — считай их одним источником,
а не тремя. Дай честную оценку: насколько сильно три совпадающих мнения
должны увеличить мою уверенность в успехе стартапа, если корень у них один?
Результат: Модель признает, что три "мнения" — это фактически одна оценка одного и того же документа, а не три независимых проверки. Она подскажет, что для реальной уверенности нужны разные первичные данные: финмодель, интервью с клиентами, данные о рынке — а не три пересказа одного питча разными голосами.
Почему это работает
LLM (и человек) склонны путать разнообразие формы с разнообразием доказательств. Три текста, написанные разным стилем, воспринимаются как три независимых подтверждения — хотя стиль ничего не говорит об источнике информации. Это и есть слабость: языковая модель хорошо генерирует непохожие по форме тексты из одного и того же контекста, и эта непохожесть создаёт иллюзию независимости.
Сильная сторона LLM — она может явно рассуждать о происхождении информации, если её прямо об этом попросить. Метод использует эту способность: заставляет модель не молча агрегировать голоса, а сначала проверить родословную каждого мнения — и только потом решать, насколько сильно совпадение должно повышать доверие.
Рычаги управления: - Число агентов/персон — увеличивай только если у них РАЗНЫЕ первичные источники, иначе это просто театр. - Явная инструкция "сгруппируй по общему источнику" — без неё модель по умолчанию считает согласие сильным доказательством. - Критерий выхода — замени "число голосов" на "число независимых корней" в любой задаче агрегации мнений.
Шаблон промпта
У меня есть {количество} отчётов/мнений по вопросу: {вопрос}.
Отчёты:
1. {отчёт_1}
2. {отчёт_2}
...
Для каждого отчёта определи:
— На каком первичном источнике (документ, факт, данные) он основан?
— Пересекается ли этот источник с источниками других отчётов?
Сгруппируй отчёты по общим источникам ("корням доказательств").
Посчитай, сколько РЕАЛЬНО независимых корней стоит за всеми отчётами —
не количество отчётов, а количество уникальных источников.
Дай итоговую оценку уверенности в ответе на {вопрос}, основываясь на числе
независимых корней. Если несколько отчётов опираются на один и тот же корень —
явно укажи, что это НЕ дополнительное подтверждение, а повтор.
Подставь в {вопрос} свою задачу (оценка стартапа, факт-чекинг новости, юридическая экспертиза), а в {отчёт_N} — тексты мнений/анализов, которые хочешь сравнить.
🚀 Быстрый старт — вставь в чат:
Вот шаблон проверки на "эпистемический сивилл" — метод для оценки, действительно
ли несколько мнений ИИ являются независимыми доказательствами или просто пересказом
одного источника. Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какие именно отчёты/мнения ты хочешь сравнить и какие источники у них были — потому что без этого невозможно понять, был ли общий "корень" доказательств.
Ограничения
⚠️ Ненадёжная самопроверка: сама LLM не может гарантированно определить, есть ли у двух текстов общий источник, если не видит этот источник напрямую — исследование математически показывает, что по содержимому отчёта это в принципе не всегда возможно определить.
⚠️ Работает только если ты даёшь разные первичные источники: если все агенты читают один и тот же документ — никакая пост-обработка не создаст недостающую независимость. Метод обнажает проблему, но не решает её магически.
⚠️ Основа исследования — чистая математика: гауссовы модели, теоремы об информации, 20 000+ вызовов API для проверки гипотез. Для чата применим только сам принцип, а не конкретные формулы расчёта корреляции.
Ресурсы
Marc Bara, Universitat Oberta de Catalunya (UOC), Barcelona. «Epistemic Sybil Resistance: Multiplying AI Agents Without Multiplying Evidence», препринт, август 2026.