TL;DR
Кросс-модельный консенсус — техника выбора ответа: задать один и тот же вопрос нескольким независимым LLM из разных семейств, и взять ответ, на котором большинство сошлось. Каждая модель решает задачу самостоятельно, не видя ответов остальных — как присяжные, которые принимают решение изолированно, прежде чем объявить вердикт.
Главная находка: разные модели ошибаются по-разному. Когда несколько независимых LLM решают одну задачу, их неправильные ответы «разлетаются» в разные стороны, а верный — накапливает согласие. Одна модель, опрошенная много раз, наоборот, раз за разом повторяет одну и ту же ошибку — и большинством голосов «принимает» неверный ответ. Это как пересчитывать один и тот же дефектный измерительный прибор десять раз: вы получите стабильные — и стабильно ошибочные — цифры.
Метод работает в два движения: дать задачу нескольким разнородным моделям по отдельности, затем взять ответ большинства. Единогласие — сигнал высокой уверенности, разброс — повод копать глубже.
Схема метода
Шаги выполняются в разных чатах / разных сервисах:
ШАГ 1: Задай вопрос модели A (Claude) → запиши ответ
ШАГ 2: Задай тот же вопрос модели B (ChatGPT) → запиши ответ
⚠️ Не показывай ей ответ модели A
ШАГ 3: Задай тот же вопрос модели C (Gemini / Grok) → запиши ответ
⚠️ Не показывай ей ответы предыдущих
ВЫВОД: Ответ, на котором сошлись 2-3 модели → принять
Все три дали разное → вопрос под сомнением, нужна дополнительная проверка
Все три совпали → высокая уверенность
Опционально — режим «кандидаты + жюри»:
ШАГ 1: Попроси одну сильную модель решить задачу 5-10 раз (разные попытки)
→ получи пул кандидатов
ШАГ 2: Задай ту же задачу 2-3 другим моделям независимо
→ жюри решает задачу самостоятельно, не оценивает чужие ответы
ШАГ 3: Выбери кандидата из пула, который совпадает с ответом большинства жюри
Пример применения
Задача: Илья — основатель SaaS-стартапа в Москве. Он планирует поднять цены с 1990 ₽ до 2490 ₽ в месяц при текущем оттоке 4% в месяц. Нужно понять: при каком уровне оттока после повышения цен выручка всё равно вырастет? Критично не ошибиться — от этого зависит решение на ближайший квартал.
Промпт (вставляется в каждый чат отдельно):
Задача по юнит-экономике SaaS:
Текущие параметры:
- Цена: 1 990 ₽/мес
- Ежемесячный отток (churn): 4%
- База: 500 клиентов
Планируемые параметры:
- Новая цена: 2 490 ₽/мес
- Ожидаемый рост оттока после повышения: неизвестен
Вопрос: при каком максимальном ежемесячном оттоке (в %) после повышения цены
ежемесячная выручка не упадёт ниже текущей?
Покажи расчёт по шагам и дай финальное число.
Этот же промпт — в Claude, ChatGPT, Gemini по очереди, без показа предыдущих ответов.
Результат: Каждая модель покажет пошаговый расчёт и финальное число. Если две-три модели сошлись на одном значении оттока — это ваш ответ с высокой уверенностью. Если ответы разошлись — стоит попросить каждую модель показать формулу явно и найти, где логика расходится.
Почему это работает
У любой отдельной LLM есть систематические слепые пятна — паттерны ошибок, которые возникают из-за особенностей обучения. Когда вы переспрашиваете одну модель несколько раз, она генерирует вариации вокруг одного и того же (ошибочного) понимания задачи. Большинство голосов берёт неверная интерпретация.
Модели из разных семейств (Anthropic, OpenAI, Google, DeepSeek) обучены на разных данных, разными командами, с разными архитектурными решениями. Их ошибки декоррелированы — они ошибаются в разных местах. Неверные ответы разлетаются: одна модель выдаёт X, другая Y, третья Z. Верный ответ накапливает согласие — именно он оказывается в большинстве.
Рычаги управления: - Количество моделей → 3 модели дают хороший сигнал; 4-5 повышают уверенность на сложных задачах - Единогласие как порог → если все три совпали — принимай без сомнений; если только 2 из 3 — уже хорошо, но тема сложная - Тип задачи → математика и код дают максимальный эффект; знаниевые вопросы («какой закон применить») — меньший, потому что у моделей могут быть общие заблуждения из одних учебников - Изоляция → критически важно, чтобы каждая модель решала независимо. Не показывай ответ первой модели второй — это обнуляет декорреляцию
Шаблон промпта
Используй этот промпт, чтобы собрать вердикт жюри вручную:
Я задал один и тот же вопрос трём разным AI-моделям независимо.
Вопрос: {твой_вопрос}
Ответы моделей:
- Claude: {ответ_claude}
- ChatGPT: {ответ_chatgpt}
- Gemini: {ответ_gemini}
Задача:
1. Найди, на каком ответе сошлись 2-3 модели (или укажи, что все расходятся)
2. Если есть консенсус — подтверди его правильность, проверь логику
3. Если все расходятся — объясни, в чём принципиальное разногласие
и какой подход ты считаешь верным и почему
Плейсхолдеры:
- {твой_вопрос} — сам вопрос, который ты задавал всем моделям
- {ответ_claude} / {ответ_chatgpt} / {ответ_gemini} — скопируй финальные ответы каждой модели
🚀 Быстрый старт — вставь в чат:
Вот шаблон LLM-жюри для проверки консенсуса между моделями.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какой вопрос ты задавал и какие ответы получил — потому что без этого она не сможет провести сравнение и найти точку согласия.
Ограничения
⚠️ Общие заблуждения: Метод не работает, если все модели разделяют одну ошибку из-за схожего обучения. На научных вопросах уровня аспирантуры (GPQA) эффект слабее — модели учились на одних учебниках и могут одинаково воспроизвести неверную эвристику.
⚠️ Не для субъективных задач: Если нет объективно верного ответа (оцени этот текст, какой заголовок лучше), консенсус большинства ничего не значит — каждая модель «права» по-своему.
⚠️ Нужны разные семейства: Несколько версий одной и той же модели (GPT-4o и GPT-4o mini) почти не дают декорреляции — ошибки будут похожими. Важен именно кросс-семейный состав: Claude + ChatGPT + Gemini.
⚠️ Насыщенные задачи: На простых вопросах, где любая сильная модель отвечает правильно (таблица умножения, столица страны), метод ничего не добавляет — все и так верны.
⚠️ Требует нескольких подписок: Для полноценного жюри нужен доступ к 3+ разным платформам.
Ресурсы
Статья: LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning (2025)
Автор: Ning Liu, Independent Researcher (University of Michigan)
Контакт: ningliu@umich.edu
Связанные работы: - Self-consistency (Wang et al., 2023) — исходный метод «переспроси одну модель много раз» - Process Reward Models: Lightman et al., 2023; Wang et al., 2024 - Panel of LLM judges (Verga et al., 2024) - Бенчмарки: AIME-2024/2025, MATH-500, GPQA Diamond, OlympiadBench, GSM8K, MMLU-Pro, HumanEval+