Lineage Quotient: судья дебатов считает корни доказательств, а не количество повторов

ШАГ 0 (до судьи): разметить, к какому корню относится каждый отчёт
         → список «отчёт → корень → за/против → сила»
ШАГ 1: сгруппировать отчёты по тройке (корень, тезис, за/против)
         → один «юнит» на тройку; сила юнита = максимум по его отчётам
ШАГ 2: оценить тезис только по юнитам
         → повторы, пересказы, выдержки, «второй аккаунт» не меняют итог
ШАГ 3: свежий корень, добавленный позже, обязан сдвигать оценку в свою сторону
         → проверка: «что изменилось бы от нового независимого источника?»

Шаги 0 и 1–3 лучше делать отдельными запросами или явными блоками в одном промпте. Судья сам корни не угадывает: в статье разметка подаётся ему извне.

Три принципа из статьи: - RRI (инвариантность к репликам): лишний повтор уже учтённого корня не меняет оценку. - FLR (отзывчивость к свежему корню): новый независимый источник сдвигает оценку в нужную сторону. - LNI (безразличие к названию корня): переименовали «корень А» в «корень Б», вердикт тот же.

Задача: вы проверяете слух: «Ozon с 1 числа вводит платные возвраты для продавцов». Три агента-исследователя принесли «подтверждения». Нужно решить, публиковать ли новость в рассылке для селлеров. Все названия источников в примере условные.

Промпт:

Ты судья-фактчекер. Тезис: «Ozon с 1 числа вводит платные возвраты для продавцов».

Ниже отчёты трёх агентов. Сначала разметь корни, потом оцени.


Агент_1: «Пост в Telegram-канале "Селлер без паники": "Ozon вводит плату за возвраты". Сила: 0.4»
Агент_2: «Заметка на vc.ru: "По данным канала «Селлер без паники», Ozon вводит плату за возвраты". Сила: 0.4»
Агент_3: «Скриншот того же поста из "Селлер без паники" в чате селлеров. Сила: 0.4»
Агент_3 (второй аккаунт): «Ещё одна цитата из того же поста: "возвраты станут платными". Сила: 0.4»
Агент_2: «Письмо поддержки Ozon продавцу из Казани: "тариф на возвраты обновится с 1 числа". Сила: 0.7»



1. Для каждого отчёта определи корень: исходный документ или свидетельство, из которого он взят. Копии, пересказы, скриншоты, цитаты и выдержки из одного документа — это ОДИН корень. Название корня выбери любое, оно не влияет на вывод.
2. Составь таблицу: корень | какие отчёты к нему относятся | сила корня (максимум из его отчётов).
3. Оцени тезис только по корням. Количество отчётов внутри корня не учитывай.
4. Ответь: сколько независимых корней, насколько уверен вывод, и какой ОДИН новый независимый источник подтвердил бы или опроверг тезис.

Результат: модель выдаст таблицу корней. Четыре отчёта про пост в Telegram-канале сведутся в один корень с силой 0.4. Письмо поддержки станет вторым корнем с силой 0.7. Вывод будет про два независимых корня, а не пять подтверждений. Модель укажет, что пост канала и письмо могут оказаться связаны, а также что нужна официальная оферта или новость от самого Ozon.

Слабость. Судья видит, кто что сказал и о чём, но не видит, откуда это взято. Одинаковые слова в трёх отчётах выглядят как три подтверждения. Если считать упоминания, можно «выиграть» спор, просто повторяя довод. Если склеивать всё одинаковое по смыслу, пропадает настоящее подтверждение. Есть и промежуточный вариант: склеивать только точные копии. Он тоже ломается, потому что другая выдержка из того же документа выглядит как новое содержание.

Сильная сторона. Модель хорошо группирует тексты по происхождению, если её об этом явно попросить: «это пересказ того же поста», «это скриншот того же документа». С явной разметкой корней она справляется. Не справляется она с угадыванием корней «в голове» во время вердикта, особенно если промпт их не упоминает.

Как метод это использует. Вердикт строится на корнях, а не на отчётах. Повтор даёт ноль, новый корень даёт прирост. Агентам невыгодно тиражировать одно и то же. Поэтому их стоит мотивировать искать новое, а не «согласно кивать».

Рычаги управления: - Правило силы корня (максимум). Если корень приносит более сильную формулировку, берётся она. В статье показано, что это единственный вариант, при котором повторы нейтральны. - Что считать «одним корнем». Это главная настройка. Написали «выдержки из одного документа — один корень» — агенты не смогут накручивать нарезкой цитат. Хотите различать главы одной книги — пропишите это явно. - Вес источника. Можно учитывать надёжность («официальный документ» тяжелее «чата»). Но задавайте её явным полем у отчёта, а не по названию корня. - Вопрос про недостающий источник (пункт 4) заставляет модель называть, какой именно новый корень изменит вывод, а не «собрать больше данных».

Авторы не публиковали готовый промпт для LLM. Они доказывают, какую информацию судья обязан получить. Ниже перенос принципа в текст, он сам авторами на LLM не проверялся.

Ты судья в дебатах. Твоя задача: решить, поддерживается ли тезис, считая независимые источники доказательств, а не количество повторов.


{тезис}


{отчёты: кто сказал, что именно, за или против тезиса, сила от 0 до 1, на какой документ или свидетельство опирается}



Корень — исходное свидетельство: один документ, одна запись, один свидетель.
Копия, пересказ, цитата, скриншот, другая выдержка из того же документа, повтор под другим именем — это отображения корня. Они НЕ добавляют новых доказательств.



Step 1. Для каждого отчёта назови корень. Если сомневаешься, считай, что корень общий, и пометь сомнение.
Step 2. Сгруппируй отчёты по тройке (корень, тезис, за/против). Сила группы = максимум из сил отчётов в ней.
Step 3. Оцени тезис по группам. Число отчётов внутри группы не учитывай. Имена корней не влияют на оценку.
Step 4. Проверка на повторы: если убрать из списка все лишние отображения уже учтённых корней, вывод не должен измениться. Если изменился — найди ошибку в разметке.
Step 5. Проверка на новое: какой один новый независимый корень изменил бы вывод и в какую сторону?



1. Таблица: корень | отчёты | сила корня | за или против
2. Число независимых корней за и против
3. Вердикт и уверенность
4. Какой новый источник нужен для пересмотра

В плейсхолдеры подставляются: {тезис} — проверяемое утверждение; {отчёты} — всё, что принесли агенты или источники. Обязательно держите у каждого отчёта пометку «на что опирается».

🚀 Быстрый старт — вставь в чат:

Вот шаблон судьи, который считает корни доказательств, а не повторы. Адаптируй под мою задачу: [твоя задача]. 
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит, что считать тезисом, откуда приходят отчёты и как определять «один и тот же источник» в твоей области. Это нужно, потому что правило «один корень или два» зависит от предметной области. Для новостей это один пост, для научных статей — одна работа, для клиентских отзывов — один человек. Она возьмёт паттерн из шаблона и подстроит под задачу.

⚠️ Корни не определяются сами: в статье разметка корней подаётся судье готовой. Как её надёжно получить, авторы не решают. Модель может ошибиться: принять зависимые источники за независимые или наоборот.

⚠️ Независимость не гарантируется: разные корни ещё не значит независимые. Два документа могут иметь общего автора или общий исходник. Метод защищает от повторов, а не от скрытых связей.

⚠️ На LLM-судьях не проверяли: все эксперименты — на формальных (детерминированных) судьях: подсчёт голосов и схема DF-QuAD. Перенос на промпт для чата — логический вывод из доказанной теоремы, а не измеренный результат.

⚠️ Нужны явные поля: метод не работает, если у отчётов нет пометки об источнике. Тогда любой судья, включая LLM, принципиально не отличит повтор от подтверждения.

⚠️ Теоретическая работа: большая часть статьи — аксиомы и доказательства. Готовых промптов, замеров на реальных LLM-агентах и сравнения с обычными дебатами нет.

Исследователи сначала построили простую игру в судейство. Новое доказательство стоит дорого, а повтор уже имеющегося — дёшево. Агенты могут ретранслировать чужой отчёт, пересказать его, отправить под вторым «аккаунтом» или нарезать документ на выдержки. Дальше доказали: судья устойчив ко всему этому тогда и только тогда, когда повторы не меняют его оценку ни при каком пороге (RRI). Тогда повторять невыгодно.

Потом сравнили четыре способа собирать отчёты: считать каждое вхождение, склеивать по смыслу, склеивать по паре «смысл + корень» и фактор по происхождению (ключ: корень, тезис, за/против). Простой контрпример показывает слабость третьего способа. Он ловит точные копии, но пропускает «другую выдержку из того же документа». В примере агенту хватает одного такого дубля при силе 1/5, чтобы перевернуть вердикт с 1 на 0.

Теорию проверили на исчерпывающих аудитах: 28 224 простых профилей, 2 052 многослойных графа аргументов и 277 профилей из набора AVeriTeC (проверка фактов). В каждом профиле сравнивали два случая: добавили реплику корня или свежий корень. Предсказание подтвердилось: подсчёт упоминаний ломается на репликах, склейка по смыслу глушит настоящее подтверждение, а фактор по происхождению различает оба случая. Если разметка корней верна.

Что удивляет: разрыв нельзя закрыть «умным» судьёй. Недостающую информацию не заменит рассуждение. Для практики это значит: качество оценки определяется тем, что вы положили в промпт судьи, а не только тем, как вы просите рассуждать.

🔧 Техника: вынести разметку корней в отдельный запрос → меньше ошибок в оценке

Судью не нагружают двумя задачами сразу. Сначала один запрос размечает:

Для каждого отчёта назови корень: на какой документ, пост, запись или свидетельство он опирается.
Если два отчёта могут опираться на один документ, объедини их и пометь «возможно общий».
Верни таблицу: отчёт | корень | уверенность в разметке.

Во втором запросе таблицу отдаёте судье как есть. Так ошибки разметки видны и их можно поправить вручную.

Экстраполяция: ответы нескольких моделей как «отчёты». Если вы спрашиваете ChatGPT, Claude и Gemini и видите «все трое согласны», это тоже может быть один корень: общие источники в обучении или один и тот же вводный контекст. Это моя гипотеза, статья этого не проверяла.

Три модели дали одинаковый ответ. Прежде чем считать это подтверждением, ответь:
1. На какие общие источники или допущения они могли опираться?
2. Какой НЕЗАВИСИМЫЙ источник вне этих моделей (документ, данные, эксперимент) подтвердил бы ответ?
3. Если такого нет, оцени уверенность как «один корень, три отображения».

• Replication or Corroboration? An Axiomatic Framework for Evidential Dependence in Multi-Agent Debate — Hoang-Loc Cao, Vo Thanh Khang Nguyen, Duc Pham, Truong Thanh Hung Nguyen, Phuc Ho, Long Tran-Thanh, Phuc Truong Loc Nguyen, Hung Nguyen, Hung Cao.
• Университеты и организации: University of New Brunswick (Канада), University of Warwick (Великобритания), FPT Software, HCM University of Technology, Vietnamese-German University (Вьетнам), FAU Erlangen-Nürnberg (Германия).
• Упомянутые в статье наборы и методы: AVeriTeC (проверка фактов), DF-QuAD (количественная аргументация).
• Текст в предоставленном виде обрывается в начале раздела 5, часть деталей (Thm. 2–7 и сами аудиты) не видна.