Generative Gap Filling: LLM угадывает вырезанный пункт договора точнее юристов

ШАГ 1: Взять реальный документ → убрать (замаскировать) один согласованный пункт
ШАГ 2 (промпт): Дать модели оставшийся текст + сценарий, активирующий пропущенный пункт → попросить предсказать содержание
ШАГ 3 (опционально): Сравнить предсказание с реальным текстом → сигнал о согласованности документа

Шаг 2 выполняется в одном промпте.

Задача: Вы — предприниматель, заключаете договор с подрядчиком на разработку сайта или маркетинговое продвижение. Хотите проверить: логично ли составлен договор, не «повисает» ли где-то смысл, согласуются ли формулировки друг с другом.

Промпт:

Вот договор на [разработку сайта / оказание услуг] между заказчиком и подрядчиком.
Я специально не показываю тебе пункт про ответственность за задержку сдачи работ.

Сценарий: подрядчик сдал работу на 3 недели позже срока.

На основе стиля, тона и того, как в остальном документе распределены риски 
между сторонами (кто на кого больше давит формулировками, кто платит штрафы 
за другие нарушения), предположи:
1. Какая неустойка или штраф, скорее всего, прописаны за такую задержку
2. На что ты опираешься — на общую практику похожих договоров или на конкретные фразы именно этого текста

[вставить текст договора без пункта об ответственности за задержку]

Результат: модель даст предположение о размере неустойки и логике штрафа, отдельно объяснив, что взято из «типичной практики», а что — из конкретных формулировок договора. Дальше вы сверяете это с реальным пунктом договора: если предсказание сильно расходится с тем, что там написано на самом деле, — это сигнал перечитать документ внимательнее, возможно пункт составлен непоследовательно с остальным текстом.

Раньше казалось, что без прямого текста на спорный вопрос модель (или человек) остаётся без опоры — гадает на глазок. На деле у LLM в «памяти» лежат тысячи похожих договоров: она хорошо знает, как обычно распределяются риски в сделках такого типа.

При этом модель одновременно считывает конкретные сигналы именно вашего текста — тон формулировок, кто и где идёт на уступки, насколько жёстко прописаны другие условия. Она совмещает «общий паттерн рынка» с «частным сигналом этого документа» — и это комбинация даёт точное предсказание там, где условие типично, и заметно слабее — где стороны договорились о чём-то нестандартном.

Рычаги управления: - Добавьте конкретный сценарий-триггер («что случилось») — модель точнее предсказывает, когда понимает, зачем нужен этот пункт - Попросите модель разделить источники предсказания (рынок vs текст) — так вы поймёте, насколько предсказание надёжно именно для вашего случая - Дайте несколько похожих документов для сравнения — усилит компонент «типичная практика»

Вот {тип документа} — договор, письмо, план — без пункта про {что пропущено}.

Сценарий, который бы этот пункт регулировал: {описание ситуации}.

На основе стиля, тона и того, как в остальном тексте распределены 
{риски / обязанности / полномочия} между сторонами, предположи:
1. Что, скорее всего, написано в пропущенном пункте
2. Отдельно укажи: что подсказывает типичная практика похожих документов, 
а что — конкретные формулировки именно этого текста

{вставить текст документа без нужного пункта}

🚀 Быстрый старт — вставь в чат:

Вот шаблон для проверки договора через "восстановление пропущенного пункта". 
Адаптируй под мою задачу: [твоя задача]. 
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит какой пункт закрыть и какой сценарий подставить — потому что без сценария-триггера модель не понимает, зачем этот пункт вообще нужен, и предсказание будет размытым.

⚠️ Нестандартные условия — слабое место: когда стороны договорились о чём-то нетипичном для рынка, точность падает до 60%. Модель тянет предсказание к «среднему по больнице», а не к реальному уникальному решению сторон.

⚠️ Часть точности — не из вашего текста: до двух третей успеха держится на общем знании о типичных сделках. Если ваш документ осмысленно и обоснованно отклоняется от нормы — именно там предсказание может ошибиться, хотя это самое важное место.

⚠️ Это не юридическая экспертиза: метод даёт статистическое предположение «что обычно пишут», а не правовую оценку «что должно быть написано».

Исследователи взяли реальные подписанные контракты — договор с художником, соглашение о гонораре с адвокатом, договор про поставку бутылок — и вырезали из каждого один по-настоящему согласованный пункт. Дали читателям три группы: обычных людей, юристов/студентов-юристов, и несколько LLM — все получили только оставшийся текст плюс сценарий, который бы этот пункт регулировал.

Люди угадали правильно примерно в половине случаев, юристы — в 59%, модели — в 88%. Чтобы проверить, что модель реально читает текст, а не просто угадывает «типичный ответ», авторы «перевернули» контракты — поменяли направление сделки, оставив рынок и закон неизменными — и предсказания модели сдвинулись вслед за изменённым текстом. Это ключевой момент: значит, модель действительно опирается на конкретные формулировки, а не только на общие шаблоны. Проверку повторили на 100+ других контрактах разных типов — результат устойчив.

Yonathan A. Arbel, David A. Hoffman, Generative Gap Filling (University of Alabama, University of Pennsylvania Carey Law School). Связанная работа тех же авторов: Generative Interpretation, 99 N.Y.U. L. Rev. 451 (2024).