Извлечение формальных спецификаций из документов с использованием больших языковых моделей для автоматизированного тестирования

Исследователи обнаружили, что при попытке извлечь сложные правила из большого документа за один шаг (в одном промпте), LLM часто ошибаются: они либо чрезмерно упрощают правила, либо выдумывают несуществующие детали. Чтобы решить эту проблему, они предложили двухэтапный метод: сначала LLM просят просто найти и пометить все релевантные предложения в тексте, а затем, вторым запросом, просят преобразовать только эти отобранные предложения в нужный формат.

Ключевой результат: Разделение сложной задачи на два простых этапа ("найти", а затем "преобразовать") значительно повышает точность и полноту извлекаемой информации, снижая количество ошибок и "галлюцинаций".

Суть метода, который авторы назвали"Аннотация, затем Конвертация"(Annotation then Conversion), заключается в снижении "когнитивной нагрузки" на языковую модель. Когда пользователь дает LLM одну сложную инструкцию, требующую одновременно выполнять несколько действий (например, "прочитай весь этот длинный текст, найди в нем все важные требования и сразу представь их в виде таблицы"), модель может не справиться. Она пытается одновременно удерживать в "памяти" весь контекст документа, критерии поиска и правила форматирования, что приводит к ошибкам.

Исследование показывает, что гораздо эффективнее разбить эту задачу на два последовательных и более простых шага:

1. Этап 1: Аннотация (Найти и выделить). На этом шаге мы даем LLM только одну, очень простую задачу: прочитать текст и просто указать на те предложения, которые соответствуют нашим критериям. Мы не просим их анализировать, изменять или форматировать. Это похоже на то, как человек сначала проходит по тексту с маркером, выделяя все важное, и только потом начинает писать конспект. Промпт для этого этапа может звучать так: "Выступи в роли аналитика. Прочитай текст и выпиши дословно все предложения, где упоминаются конкретные ограничения или условия".

2. Этап 2: Конвертация (Преобразовать выделенное). Теперь у нас есть короткий, отфильтрованный список предложений, где содержится только нужная информация. Мы передаем этот список модели со второй, тоже очень простой задачей: взять эти конкретные предложения и преобразовать их в нужный нам формат (таблицу, JSON, список). Поскольку на этом шаге модели не нужно сканировать исходный большой документ, она может полностью сосредоточиться на задаче структурирования данных, что делает результат гораздо более точным.

Этот подход работает, потому что он имитирует то, как человек решает сложные задачи — разбивая их на управляемые подзадачи. Это фундаментальный принцип, который делает взаимодействие с LLM более предсказуемым и надежным.

*Прямая применимость:Метод можно использовать немедленно для любой задачи по извлечению и структурированию информации. Вместо одного большого промпта, пользователь должен использовать два последовательных.

1. **Промпт 1:** "Проанализируй [длинный текст] и извлеки все предложения, которые описывают [критерий: например, требования к кандидату / дедлайны / финансовые условия]".
2. **Промпт 2:** "Возьми следующий список предложений: [вставить результат из шага 1]. Преобразуй его в [формат: например, Markdown-таблицу с колонками 'Требование' и 'Источник']".

• Концептуальная ценность: Главная идея — LLM не многозадачны в человеческом понимании. Сложный промпт, требующий одновременного поиска, анализа и форматирования, перегружает модель. Это приводит к ошибкам, которые исследование классифицирует как сверхупрощение (модель упускает детали, чтобы выполнить задачу) и фабрикация (модель "додумывает" факты, чтобы заполнить пробелы в своем понимании). Знание этого помогает пользователю формулировать более четкие и атомарные запросы.

• Потенциал для адаптации: Механизм адаптации универсален.

  • Вместо "формальных спецификаций" можно извлекать: ключевые решения из протокола встречи, побочные эффекты из инструкции к лекарству, требования к подрядчику из договора, жалобы клиентов из отзывов.
  • Вместо "темпоральной логики" можно использовать любой формат: JSON, CSV, Markdown-таблица, нумерованный список, ментальная карта.

Представим, что вы получили длинное, сумбурное письмо от коллеги о планировании корпоративного мероприятия и хотите извлечь из него ключевые ограничения и требования.

Ты — опытный ивент-менеджер. Твоя задача — проанализировать текст письма от коллеги и подготовить структурированную информацию для планирования.
**## Этап 1: Аннотация (Извлечение ключевых предложений)**

**Инструкция:**
Внимательно прочитай текст письма ниже и выпиши ДОСЛОВНО только те предложения, в которых содержатся конкретные требования, ограничения, бюджетные рамки или строгие пожелания. Не добавляй ничего от себя, просто скопируй предложения.

**Текст письма:**
"Привет! По нашему корпоративу. Думаю, надо что-то крутое замутить в этом году. Может, на природе? Хотя погода может подвести. Бюджет у нас в этот раз не резиновый, **нужно уложиться в 300 000 рублей на все про все**. Очень важно, чтобы мероприятие прошло **в пятницу после 18:00**, так как у многих важные проекты. **Количество участников — примерно 50-60 человек.** По еде — кейтеринг, но **нужно обязательно предусмотреть вегетарианские и безглютеновые опции**, у нас несколько коллег с такими запросами. Алкоголь — только вино и пиво, крепкие напитки исключаем. По развлечениям — может, квиз? Или живая музыка? Главное, чтобы не было скучно. Кстати, **площадка должна быть в пределах МКАД**, чтобы всем было удобно добираться."

- (Дожидаемся ответа от LLM, который будет примерно таким:)*

1. ...нужно уложиться в 300 000 рублей на все про все.
2. Очень важно, чтобы мероприятие прошло в пятницу после 18:00...
3. Количество участников — примерно 50-60 человек.
4. ...нужно обязательно предусмотреть вегетарианские и безглютеновые опции...
5. Алкоголь — только вино и пиво, крепкие напитки исключаем.
6. ...площадка должна быть в пределах МКАД...

**## Этап 2: Конвертация (Структурирование информации)**

**Инструкция:**
Отлично. Теперь возьми список этих ключевых требований и преобразуй его в четкую Markdown-таблицу с двумя колонками: "Категория" и "Требование".

**Список требований для обработки:**
1. ...нужно уложиться в 300 000 рублей на все про все.
2. Очень важно, чтобы мероприятие прошло в пятницу после 18:00...
3. Количество участников — примерно 50-60 человек.
4. ...нужно обязательно предусмотреть вегетарианские и безглютеновые опции...
5. Алкоголь — только вино и пиво, крепкие напитки исключаем.
6. ...площадка должна быть в пределах МКАД...

Этот промпт работает за счет декомпозиции задачи, как и описано в исследовании.

1. На Этапе 1 мы снимаем с LLM всю когнитивную нагрузку, связанную с анализом, категоризацией и форматированием. Мы даем ей одну простую задачу — найти совпадения по шаблону "конкретное требование/ограничение". Это предотвращает "сверхупрощение" (модель не пропустит требование, потому что "задумалась" о форматировании) и "фабрикацию" (модели не нужно ничего додумывать, только копировать).
2. На Этапе 2 мы работаем с очень маленьким и концентрированным объемом информации. Модели больше не нужно держать в уме все письмо. Она получает короткий список и одну четкую задачу — преобразовать его в таблицу. Это позволяет ей направить все свои ресурсы на качественную категоризацию и форматирование, что дает на выходе точный и структурированный результат.

Задача: Проанализировать отзывы на товар (например, на кофемашину), чтобы выделить все жалобы на конкретные неисправности.

Ты — инженер по контролю качества. Тебе нужно проанализировать отзывы пользователей, чтобы найти упоминания о технических неисправностях.
**## Этап 1: Аннотация (Поиск жалоб на поломки)**

**Инструкция:**
Прочитай отзывы ниже. Выпиши дословно только те фразы или предложения, где пользователи жалуются на то, что что-то **сломалось, перестало работать, протекает, не включается, издает странные звуки** или на другие технические дефекты. Игнорируй жалобы на вкус кофе, дизайн или цену.

**Текст отзывов:**
"1. Кофемашина отличная, кофе варит вкусный, но цена кусается. 2. Пользуюсь месяц, все было хорошо, но **вчера капучинатор перестал взбивать пену, просто гонит горячее молоко**. 3. Выглядит стильно, но пластик кажется хлипким. 4. **Машинка начала сильно гудеть при работе, звук как у трактора**, боюсь, скоро сломается. 5. **Через неделю использования начала протекать вода из-под рожка**, вся столешница в луже. 6. Не понимаю, как настроить крепость, в инструкции ничего не ясно."

## (LLM вернет только предложения 2, 4 и 5)

**## Этап 2: Конвертация (Классификация неисправностей)**

**Инструкция:**
Проанализируй следующий список жалоб на неисправности. Классифицируй каждую проблему и представь результат в виде нумерованного списка, где каждый пункт имеет формат: **"Проблема: [краткое описание] - Узел: [предполагаемый компонент]".**

**Список жалоб для обработки:**
- "...вчера капучинатор перестал взбивать пену, просто гонит горячее молоко."
- "Машинка начала сильно гудеть при работе, звук как у трактора..."
- "...через неделю использования начала протекать вода из-под рожка..."

Этот пример работает по тому же принципу разделения когнитивной нагрузки.

• На первом этапе LLM решает узкую задачу семантического поиска. Она ищет в тексте не просто "что-то плохое", а конкретные паттерны, связанные с техническими поломками. Это защищает от сверхупрощения, когда модель могла бы посчитать жалобу на "хлипкий пластик" технической неисправностью.
• На втором этапе LLM работает уже не с "сырыми" отзывами, а с отфильтрованным списком реальных проблем. Это позволяет ей выполнить более сложную аналитическую задачу: не просто пересказать проблему, а классифицировать ее и определить предположительный неисправный узел. Без предварительной фильтрации модель могла бы "запутаться" в нерелевантной информации (цена, дизайн, вкус кофе) и выдать менее точный анализ.

• A. Релевантность техникам промтинга: Очень высокая. Исследование напрямую сравнивает простой промпт ("в лоб") с продвинутым двухэтапным методом ("Аннотация, затем Конвертация") и показывает, какой подход работает лучше и почему.
• B. Улучшение качества диалоговых ответов: Очень высокое. Предложенный метод показал значительный прирост точности (в среднем на 14%) и количества правильно извлеченных данных (на 29.2%).
• C. Прямая практическая применимость: Высокая. Основной вывод — декомпозиция сложной задачи на два простых шага — может быть немедленно применен любым пользователем без кода и специальных инструментов.
• D. Концептуальная ценность: Очень высокая. Работа дает пользователю бесценную "ментальную модель" поведения LLM. Она вводит и объясняет такие ключевые проблемы, как "сверхупрощение спецификаций" (specification oversimplification) и "фабрикация спецификаций" (specification fabrication), с которыми сталкивается каждый пользователь, но не всегда может их правильно назвать. Понимание этих ограничений — ключ к написанию эффективных промптов.
• E. Попадание в кластеры новой практики:
  • Кластер 1 (Техники формулирования): Да, метод "Аннотация, затем Конвертация" является классическим примером декомпозиции задачи.
  • Кластер 2 (Поведенческие закономерности): Да, четко описывает склонность LLM к сверхупрощению и фабрикации при высокой когнитивной нагрузке.
  • Кластер 5 (Извлечение и структурирование): Да, это основная тема исследования.
  • Кластер 7 (Надежность и стабильность): Да, предложенный метод напрямую нацелен на снижение "галлюцинаций" (фабрикаций) и повышение точности.
• Чек-лист практичности (+15 баллов): Да, исследование показывает, как структурировать сложные запросы, раскрывает неочевидные особенности поведения LLM и предлагает способ улучшить точность. Бонус в 15 баллов применен.

Итоговая оценка 92 балла сформирована на основе высокой практической и концептуальной ценности для широкой аудитории пользователей.