Паспорт числа (NumTrace): проверка не только «верно ли число», но и «к чему оно относится»

ШАГ 1: Агент достаёт число → цитата из источника (документ, место)
ШАГ 2: Агент заявляет привязку → кто / что / когда / единица / охват
ШАГ 3: Агент указывает способ → «скопировано» или «посчитано» (формула + входные числа с цитатами)
ШАГ 4: Аудит значения → цифры и арифметика совпадают с цитатой?
ШАГ 5: Аудит привязки → у цитируемого числа те же кто/что/когда/единица/охват?
ШАГ 6: Аудит поддержки → источник главный (не устаревший) и подтверждает и число, и привязку?

Шаги 1–3 можно уложить в один промпт или в инструкцию агента. Шаги 4–6 лучше делать отдельным запросом, лучше в новом чате.

Задача: Финансовый аналитик инвесткомпании готовит инвестмемо по Т-Технологиям (бывший Тинькофф). Он загрузил в чат годовой отчёт по МСФО и презентацию для инвесторов. Нужно вытащить чистую прибыль за год и сравнить с прошлым годом. В отчётах разные охваты (группа или отдельный банк), разные периоды (год или 4 квартал) и разные единицы (млн или млрд руб.). Здесь правдоподобное число из соседней строки таблицы легко принять за нужное.

Промпт:

Ты помогаешь готовить инвестмемо. Во вложении годовой отчёт МСФО и презентация для инвесторов.

Задача: найди чистую прибыль группы за 2024 год и за 2023 год и посчитай темп роста в процентах.

Правила ответа. Для КАЖДОГО числа, которое попадёт в ответ, заполни паспорт:


  число так, как оно напечатано, с единицей
  документ, страница/раздел, дословная цитата строки таблицы
  
    чья это цифра (группа / банк / сегмент)
    какой показатель именно (например, «прибыль, приходящаяся на акционеров» или «прибыль за период»)
    за какой период
    единица и масштаб (млн руб., млрд руб.)
    охват: консолидированно или отдельно, МСФО или РСБУ
  
  скопировано ИЛИ посчитано (формула и входные числа, у каждого своя цитата)


Если в документе несколько похожих чисел (разные охваты, периоды, показатели), перечисли их в строке  и объясни, почему выбрал именно это.
Если нужного числа в документе нет, напиши «в документе не найдено». Не подставляй близкое по смыслу.

Результат: Модель выдаст паспорт для каждого числа: прибыль 2024, прибыль 2023, плюс формулу роста с обоими входами. В каждом паспорте будет дословная цитата и пять полей привязки. Там, где в отчёте есть конкурирующие числа (например, прибыль до и после доли меньшинства), появится список альтернатив с объяснением выбора. Аналитик быстро сверит цитату с PDF и увидит расхождение в охвате, периоде или единице, если оно есть. Если число в документах не нашлось, модель так и скажет.

Слабость. Модель ищет в документе кусок текста, похожий на вопрос, и копирует число. Копировать она умеет почти идеально. Но смысл числа часто нигде не напечатан рядом с ним: единицы зависят от даты подачи, поправка заменяет строки или добавляет их, итог по группе зависит от списка участников. Модель не замечает разницы между «похожим» и «нужным», и ответ выглядит убедительно.

Сильная сторона. Если попросить явно назвать, к какому «кто, что, когда, в чём, в каком охвате» относится число, и привести цитату, модель вынуждена сравнить заявленное с написанным. Проверять соответствие ей проще, чем самой выбирать из десятка похожих строк. А человек сверяет две строки быстрее, чем перечитывает отчёт.

Как метод использует это. Паспорт превращает невидимую ошибку («число правильное, но не то») в видимое несовпадение: цитата говорит одно, заявленная привязка другое. Три раздельных вердикта показывают, где именно поломка. Если значение верное, а привязка нет, число взято не оттуда. Если и значение неверное, ошибка в копировании или арифметике.

Рычаги управления: - Убери поля, которые не нужны задаче (например, Unit для безразмерных показателей), чтобы паспорт был короче. - Добавь свои поля привязки под домен: «валюта», «НДС: с учётом или без», «МСФО/РСБУ» в бухгалтерии, «до/после вычета комиссий» в продажах. - Ужесточи правило отказа («не найдено»), если цена ошибки высока, и смягчи его, если нужен черновик. - Раздели роли: одна модель заполняет паспорта, другая, в новом чате, проверяет три вердикта.

Шаблон 1 — для агента или чата, который достаёт числа (вставь в системный промпт или в начало запроса):

Для КАЖДОГО числа в твоём ответе заполни паспорт. Числа без паспорта в ответ не включай.


  {число как напечатано, с единицей}
  {документ, раздел, дословная цитата строки}
  
    {чья это цифра}
    {какой показатель именно}
    {за какой период}
    {единица и масштаб}
    {{охват: например, группа/юрлицо/сегмент, МСФО/РСБУ}}
  
  скопировано | посчитано: {формула}; входы: {число 1 + цитата}, {число 2 + цитата}
  {похожие числа в документе и почему они не подходят}


Правила:
- Привязку выводи из документа, а не из формулировки моего вопроса.
- Если нужного числа в документе нет, ответь «не найдено» и объясни, чего именно нет. Близкое по смыслу число не подставляй.
- Единицы и масштаб проверяй по заголовку таблицы и дате документа, а не по привычке.

Шаблон 2 — аудитор (отдельный запрос, лучше в новом чате):

Ты аудитор числовых утверждений. Ниже паспорта чисел из ответа аналитика и исходные документы.

Для каждого паспорта вынеси три отдельных вердикта: pass, fail или не применимо.


  цифры и арифметика совпадают с цитатой? (масштаб пока не учитывай)
  у числа в источнике те же кто/что/когда/единица/охват, что заявлены в StatedBinding? Проверь каждое из пяти полей отдельно и укажи, какое не совпало
  источник основной (не устаревший, не пересказ) и подтверждает и число, и привязку?


Особо отметь случай «Value=pass, Binding=fail»: число верно скопировано, но относится не к тому.

Паспорта: {паспорта}
Документы: {документы}

Что подставлять. {число как напечатано} и прочие поля заполняет модель. Вам нужно в {{охват...}} подставить типичные для вашей области охваты. В шаблоне 2 в {паспорта} и {документы} вставьте ответ первого шага и те же файлы.

🚀 Быстрый старт — вставь в чат:

Вот шаблон «паспорт числа» и шаблон аудитора. Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит, какие документы ты используешь и какие числа тебе нужны. Ещё она спросит, где в твоей области числа чаще всего путаются: по охвату, периоду, единицам или версиям документа. Это нужно, чтобы поля привязки отражали реальные ловушки твоих документов, а не общие слова.

⚠️ Нет проверенного промпта: Авторы не тестировали, снижает ли «паспорт числа» ошибки у агента. Они построили бенчмарк и измерили, как часто возникают ошибки привязки. Шаблоны выше — перенос структуры записи, по которой авторы оценивали ответы. Эффект от паспорта нужно проверить на своих документах.

⚠️ Проверяли кодом, не промптом: Оценку в статье делал детерминированный скрипт с эталонными ответами по правилам учёта. В чате аудит выполняет другая модель или человек, и они тоже могут ошибаться. Паспорт не заменяет сверку цитаты с оригиналом.

⚠️ Узкий материал: Документы — американская отчётность SEC. В других областях ловушки другие, и поля привязки придётся подбирать самому.

⚠️ Часть ошибок — не про привязку: Агенты искали по документам слабым поиском с ограниченным числом запросов. По части вопросов нужных кусков просто не находилось. Паспорт этого не лечит.

⚠️ Сравнение моделей неравное: Два агента работали через коддинг-интерфейсы, третий через API. Нельзя сказать «модель X лучше Y». Вывод про класс ошибки устойчив, рейтинг нет.

⚠️ Автоматическая проверка тоже ошибалась: Экспертная проверка нашла ошибки скорера в обе стороны. По оценке эксперта, доля верных привязок ниже, чем показывал скрипт (88,0% против 90,6%).

Исследователи собрали замороженный срез из 2 163 документов SEC EDGAR и написали 540 вопросов. Для 120 нужны обычные финансовые отчёты, для 200 — таблицы отложенной компенсации топ-менеджеров, для 220 — отчёты 13F о том, кто владеет акциями. Последние два типа в бенчмарках раньше почти не встречались. Ловушки встроили намеренно: единицы зависят от даты подачи, поправки то заменяют, то добавляют строки, итог по группе зависит от списка участников.

Три агента прошли один и тот же четырёхшаговый конвейер: поиск, извлечение, расчёт, итоговый отчёт. Каждое число из отчёта получило запись с источником, заявленной привязкой и тремя вердиктами. Собственный же эталон авторы проверили: финансовый аналитик с опытом восемь лет сверил 200 вопросов (точность 96,1% по полям), а программист реализовал правила заново и совпал в 443 из 444 случаев.

Результаты: число копируют почти идеально (значение верно у 95–99% утверждений), но привязка хуже, особенно в 13F (65–83% верных). Для групповых итогов около 91% утверждений проходят проверку значения, а привязку проходит меньше половины. Доля RNWA среди всех ошибочных утверждений составила 67,5–81,8%. Удивительнее всего, что сама проверка оказалась источником ошибок: после исправления 18 классов артефактов скрипта доля верных привязок у Claude выросла с 70,8% до 93,8% без единого изменения в ответах модели. Вывод для практики: если проверка не разделяет «значение» и «привязку», она либо пропускает ошибки, либо создаёт ложные.

🔧 Техника: добавить обязательный отказ → модель не подставляет близкое число

В бенчмарке часть вопросов намеренно без правильного числа: поле не раскрыто или нужной таблицы нет. Верный ответ в таких случаях — «не раскрыто», а не догадка. Перенеси это в промпт:

Если показатель в документе не раскрыт или раскрыт в другом охвате/периоде, ответь «не найдено в документе» и перечисли, какие числа есть рядом и чем они отличаются. Использовать их вместо нужного нельзя.

Это защищает от ситуации, когда модель берёт ближайшую строку, лишь бы дать число.

Экстраполяция: «ловушки документа» перед извлечением

Авторы заранее знали три ловушки для своих документов: единицы по дате, тип поправки, состав группы. Сделай то же для своих файлов: сначала получи от модели список мест, где число легко перепутать, потом извлекай.

Прежде чем искать числа, изучи {документы} и выпиши, где в них возможна путаница:
— какие единицы и масштабы используются в разных таблицах;
— какие периоды и охваты (группа/юрлицо, МСФО/РСБУ) встречаются;
— какие показатели называются похоже, но различаются;
— где есть версии и поправки к документу.
Для каждой ловушки напиши, по какому признаку в тексте её отличить. Затем отвечай на вопрос: {вопрос}, заполняя паспорт на каждое число.

• NumTrace: Auditing the Number Provenance of Financial Analyst Agents — Tianlei Zhu, Matt White, Xue Liu, Xiao-Yang Liu (Columbia University, UC Berkeley, Linux Foundation, MBZUAI, McGill University, Mila).
• Связанные работы, на которые ссылаются авторы: FinGround, VeriFin, FinFIRST, BigFinanceBench.
• Источники данных: SEC EDGAR, форма 13F, Item 402(i), XBRL.