Модели языка позволяют простым системам генерировать структурированные представления гетерогенных озер данных.

Исследование изучает, как лучше всего извлекать структурированную информацию (например, создавать таблицы) из большого количества разнородных документов (PDF, веб-страниц, писем). Авторы сравнивают два подхода: прямой (просить LLM обработать каждый документ) и косвенный (просить LLM написать программу для извлечения данных, а затем запустить эту программу).

Ключевой результат: Генерация множества простых программ-экстракторов и последующее объединение их результатов оказывается значительно дешевле, быстрее и, что удивительно, даже качественнее, чем прямая обработка каждого документа с помощью LLM.

Представьте, что у вас есть 500 резюме в формате PDF, и вам нужно составить из них таблицу в Excel с колонками: "Имя", "Университет", "Опыт работы (лет)".

Лучший метод: Агрегация кода (Evaporate-code+) — "Мудрость толпы" Это гениальное развитие второго подхода. Вы просите LLM написать не один, а 5-10 разных скриптов для извлечения данных (можно использовать разные примеры или слегка менять промпт). Затем вы запускаете все эти скрипты на каждом резюме и смотрите на результаты. Если 8 из 10 скриптов сказали, что опыт работы "5 лет", а два других не нашли ничего или выдали ошибку, вы с большой уверенностью берете ответ "5 лет". Это как совет директоров из маленьких, но эффективных программ. Этот метод оказывается самым надежным и точным.

*Прямая применимость:Пользователь может немедленно использовать идеюпрямого извлечения (Evaporate-direct). Для этого нужно составить промпт, в котором вы даете модели 1-2 примера того, как именно нужно извлекать данные. Этот few-shot паттерн значительно повышает качество структурированных ответов по сравнению с zero-shot запросом ("извлеки данные").

• Концептуальная ценность: Главный вывод для пользователя — LLM может быть не исполнителем, а генератором инструкций. Вместо того чтобы просить модель выполнить 100 однотипных действий, эффективнее попросить ее один раз составить "рецепт" (в данном случае — код, но это может быть и пошаговый план, и набор правил, и даже формула для Excel/Google Sheets), который пользователь затем сможет применить самостоятельно. Это учит мыслить в категориях автоматизации и масштабирования.

• Потенциал для адаптации: Идею генерации "инструмента" можно легко адаптировать.

  • Без кода: "Составь пошаговую инструкцию для моего ассистента, как находить в этих отчетах ключевые показатели и заносить их в таблицу".
  • С простыми инструментами: "Напиши регулярное выражение (regex), которое находит все email-адреса в тексте". Это регулярное выражение потом можно использовать в любом текстовом редакторе.
  • Механизм адаптации — переосмыслить запрос с "Сделай за меня" на "Научи меня, как сделать" или "Дай мне инструмент, чтобы я сделал сам".

Этот промпт эффективен, потому что он напрямую реализует метод Evaporate-direct из исследования, используя ключевые механики промпт-инжиниринга:

1. Few-Shot Learning (Обучение на примерах): Секция ### Пример — это самая важная часть. Мы не просто говорим модели, что делать, мы показываем ей как это делать на конкретном примере. Модель видит вход (Текст отзыва: ...) и эталонный выход (Твой анализ: ...), что позволяет ей усвоить паттерн и требуемую структуру гораздо точнее.
2. Четкая спецификация формата: Инструкция Для каждого отзыва предоставь данные в формате... с использованием буллетов и [плейсхолдеров] не оставляет модели пространства для интерпретации. Она точно знает, какие поля нужно заполнить.
3. Ролевая модель и контекст: Заголовки ### Роль и ### Контекст настраивают LLM на нужный лад. Она перестает быть универсальным ассистентом и становится "маркетологом", что помогает ей лучше понять семантику задачи (например, отличить реальный недостаток от нейтрального комментария).

Этот пример работает по тем же фундаментальным причинам, что и предыдущий, демонстрируя универсальность подхода из исследования.

1. In-context Learning (Обучение в контексте): Предоставленный ### Пример является "шпаргалкой" для модели. Она не пытается заново изобрести способ структурирования информации, а точно копирует логику и формат из примера. Это центральная идея прямого подхода (Evaporate-direct): показать, а не только рассказать.
2. Снижение неоднозначности: Запрос "извлеки основное из объявления" слишком размыт. Модель может решить, что "агентам не беспокоить" — это основное. Предоставляя четкие поля (Количество комнат, Цена и т.д.), мы направляем внимание LLM только на ту информацию, которая нам нужна, игнорируя "шум".
3. Воспроизводимость: Использование такого структурированного шаблона гарантирует, что при обработке 10 или 50 разных объявлений формат вывода будет одинаковым, что позволяет легко переносить эти данные в таблицу или сравнивать их. Модель не будет импровизировать, меняя названия полей от ответа к ответу.

• A. Релевантность техникам промтинга: Высокая. В исследовании приводятся конкретные шаблоны промптов для извлечения данных (Рис. 2 и 4), которые можно адаптировать.
• B. Улучшение качества диалоговых ответов: Очень высокое. Хотя речь идет не о диалоге, а о задаче извлечения, исследование напрямую посвящено повышению точности и полноты структурированных ответов.
• C. Прямая практическая применимость: Смешанная. Метод Evaporate-direct (прямое извлечение) полностью применим пользователем без кода. Однако самый мощный метод Evaporate-code+ (генерация и агрегация кода) недоступен обычному пользователю, так как требует запуска Python-скриптов.
• D. Концептуальная ценность: Исключительно высокая. Работа блестяще раскрывает фундаментальный компромисс между "прямой работой" LLM и "LLM как генератором инструментов". Она дает глубокое понимание проблем масштабирования, стоимости и надежности при работе с большими объемами текста.
• E. Новая полезная практика (кластеризация): Работа попадает сразу в несколько ключевых кластеров:
  • №1 (Техники формулирования): Демонстрирует few-shot подход для извлечения.
  • №5 (Извлечение и структурирование): Это ядро всего исследования.
  • №6 (Контекст и память): Обсуждаются стратегии работы с длинными документами путем их разбиения на части (chunking).
  • №7 (Надежность и стабильность): Основная идея метода Evaporate-code+ — повышение надежности и снижение ошибок через ансамблирование.
• Чек-лист практичности (+15 баллов): Да, работа дает готовые конструкции, объясняет (косвенно через примеры) как структурировать запросы, раскрывает неочевидные проблемы (нестабильность прямого извлечения) и предлагает способы повысить точность. Бонус в 15 баллов применен.