ДургхотонаGPT веб скрейпинг и основанная на больших языковых моделях структура для автоматической генерации набора данных о дорожно транспортных происшествиях в Бангладеш.

Исследование представляет фреймворк для автоматического сбора и обработки новостных статей о ДТП с помощью LLM. Сначала модель отсеивает общие статьи, оставляя только репортажи о конкретных инцидентах, а затем из оставшихся текстов извлекает структурированную информацию: дату, место, количество жертв, тип транспорта и другие детали. Сравнительный анализ показал, что модели GPT-4 и Llama-3 справляются с этой задачей с точностью 91% и 89% соответственно, значительно превосходя GPT-3.5.

Ключевой результат: LLM могут с высокой точностью автоматизировать процесс превращения неструктурированного текста в структурированные данные, если разбить задачу на последовательные логические шаги.

Суть метода заключается вдвухэтапной обработке информациивместо того, чтобы пытаться решить всю задачу одним сложным запросом. Этот подход можно назвать"Фильтруй, затем извлекай".

1. Этап 1: Фильтрация (Классификация). Вместо того чтобы сразу просить LLM извлечь данные из всех текстов подряд, мы сначала даем ей более простую задачу: определить, подходит ли текст для дальнейшей обработки. В исследовании модель разделяла новости на "конкретные ДТП" и "общие статьи". Это позволяет отсеять нерелевантную информацию и мусор, повышая точность на следующем шаге и экономя ресурсы.

2. Этап 2: Извлечение (Парсинг). Только после того, как текст прошел фильтрацию, мы передаем его LLM для выполнения основной задачи — извлечения конкретных данных по заранее определенной схеме (шаблону). Поскольку на этом этапе модель работает только с релевантными текстами, вероятность ошибок и "галлюцинаций" снижается, а качество итоговых данных растет.

Этот подход универсален, потому что он имитирует человеческую логику: сначала мы находим нужный документ, и только потом начинаем его внимательно читать и выписывать из него нужные факты.

*Прямая применимость:Пользователь может немедленно использовать этот метод в любом чат-боте. Например, при анализе большого количества отзывов на товар, можно сначала попросить LLM:"Отбери из этого списка только те отзывы, где упоминается 'доставка' или 'упаковка'", а затем, получив отфильтрованный список, дать вторую команду:"Теперь для каждого из этих отзывов выпиши плюсы и минусы, связанные с доставкой".

• Концептуальная ценность: Исследование дает пользователю две ключевые концептуальные идеи:

  1. LLM — это не черный ящик, а процессор задач. Сложные задачи лучше дробить на простые и последовательные, так как это снижает когнитивную нагрузку на модель и ведет к более предсказуемому результату.
  2. Не все LLM одинаковы. Для задач, где важна высокая точность фактов (как извлечение данных), выбор правильной, более мощной модели (GPT-4, Claude 3 Opus, Llama-3) критически важен и оправдывает затраты.

• Потенциал для адаптации: Метод легко адаптируется для любой задачи, связанной с обработкой текста.

  • Механизм адаптации: Нужно определить всего две вещи: 1) Критерий фильтрации на первом шаге (например, "содержит юридические риски", "относится к маркетингу", "является жалобой клиента") и 2) Схему извлечения данных на втором шаге (например, "название компании, сумма иска, дата" или "продукт, рекламный канал, результат"). Этот шаблон можно применить к анализу писем, договоров, научных статей, отчетов и т.д.

Представим, что менеджер по продукту получил выгрузку из 50 отзывов на новое мобильное приложение и хочет быстро понять основные проблемы.

Ты — опытный UX-аналитик. Твоя задача — проанализировать отзывы пользователей на мобильное приложение и структурировать ключевую информацию для команды разработки.
Действуй строго по шагам.

**Контекст:**
Вот отзыв пользователя:
"В целом, приложение неплохое, дизайн симпатичный. Но почему я не могу войти через Google? Приходится каждый раз вводить пароль вручную, это жутко бесит. Еще и уведомления приходят с задержкой в 5 минут, из-за чего я пропустил важное сообщение. А вот функция экспорта в PDF работает отлично, за это спасибо!"

**Твои шаги:**

**Шаг 1: Классификация**
Сначала определи, содержит ли этот отзыв описание конкретной проблемы (бага) или это просто общее впечатление. Ответь "ДА" или "НЕТ".

**Шаг 2: Извлечение данных**
Если на Шаге 1 ты ответил "ДА", то извлеки из текста следующую информацию в формате списка:
- **Проблема:** Краткое описание проблемы в 1-3 словах.
- **Компонент:** Часть приложения, к которой относится проблема (например, "Авторизация", "Уведомления", "Профиль").
- **Цитата:** Дословная цитата пользователя, описывающая проблему.
- **Позитив:** Если в отзыве есть что-то положительное, укажи это.

Если на Шаге 1 ответ "НЕТ", просто напиши: "Отзыв не содержит описания конкретных проблем".

Этот промпт эффективен, потому что он полностью реализует метод из исследования:

1. Декомпозиция задачи: Вместо общего "Проанализируй отзыв", промпт разбивает задачу на два четких шага: Классификация и Извлечение. Это направляет "мыслительный процесс" модели и не дает ей сбиться.
2. Условная логика (Если... то...): Инструкция Если на Шаге 1 ты ответил "ДА", то... создает программную логику внутри промпта. Модель сначала выполняет простое действие (оценка), и только на основе его результата приступает к сложному (извлечение). Это отсекает ложные срабатывания.
3. Структурированный вывод: Требование предоставить ответ в виде списка с конкретными полями (Проблема, Компонент, Цитата) заставляет модель не просто пересказывать текст, а находить и форматировать нужные фрагменты, что и является целью извлечения данных.

Представим, что юрист анализирует пункт договора на предмет потенциальных рисков.

Ты — ассистент юриста. Твоя задача — провести предварительный анализ пункта договора на наличие финансовых или юридических рисков.
Действуй в два этапа.

**Анализируемый текст (пункт договора):**
"Исполнитель обязуется предоставить услуги в течение 30 (тридцати) рабочих дней с момента получения предоплаты. В случае нарушения сроков по вине Исполнителя, он выплачивает Заказчику неустойку в размере 0.1% от суммы договора за каждый день просрочки, но не более 10% от общей суммы договора. Заказчик вправе в одностороннем порядке расторгнуть договор, если просрочка превысит 20 рабочих дней."

**Инструкция:**

**Этап 1: Оценка наличия риска**
Прочитай текст и определи, содержит ли он описание каких-либо штрафов, неустоек или условий расторжения. Ответь одним словом: "РИСК ЕСТЬ" или "РИСКОВ НЕТ".

**Этап 2: Детализация риска**
Если на Этапе 1 твой ответ "РИСК ЕСТЬ", то подробно опиши его по следующей структуре:
- **Тип риска:** (например, "Финансовый", "Юридический")
- **Условие возникновения:** (Что должно произойти, чтобы риск реализовался?)
- **Последствия:** (Что произойдет в случае реализации риска?)
- **Ключевая фраза:** (Цитируй часть предложения, которая описывает риск)

Этот пример работает по тем же проверенным принципам, что и в исследовании:

1. Фокусировка внимания: Первый этап (Оценка наличия риска) заставляет модель сфокусироваться на одной конкретной задаче — поиске ключевых слов (штраф, неустойка, расторжение). Это простой бинарный выбор, который модель делает очень точно.
2. Предотвращение "галлюцинаций": Если бы в пункте договора не было рисков, а мы бы сразу попросили "опиши риски", модель могла бы что-то выдумать ("галлюцинировать"), чтобы выполнить команду. Двухэтапный подход с предварительной проверкой практически исключает такую ситуацию.
3. Точное извлечение по шаблону: Второй этап активируется только при наличии релевантной информации. Заданная структура (Тип риска, Условие, Последствия) направляет модель на поиск конкретных смысловых блоков в тексте, обеспечивая полный и структурированный ответ, который легко читать и использовать человеку.

• A. Релевантность техникам промтинга: Да. Исследование демонстрирует высокоэффективный метод декомпозиции задачи: сначала классификация текста, затем извлечение данных. Это фундаментальный паттерн в промпт-инжиниринге.
• B. Улучшение качества диалоговых ответов: Да. Метод позволяет получать не просто пересказ, а точные, структурированные данные, что является высшей формой качественного ответа для аналитических задач.
• C. Прямая практическая применимость: Да. Любой пользователь может применить двухэтапный подход (фильтрация, затем извлечение) в обычном чате с LLM без какого-либо кода или специальных инструментов.
• D. Концептуальная ценность: Да. Исследование наглядно показывает, что LLM — это не просто "говорящая голова", а мощный движок для парсинга и структурирования неформализованной информации. Оно также подсвечивает важность выбора конкретной модели (GPT-3.5 vs GPT-4/Llama-3) для задач, требующих высокой точности.
• E. Новая полезная практика (кластеризация): Работа уверенно попадает в несколько кластеров:
  • Кластер 1 (Техники формулирования): Явно демонстрирует пользу от декомпозиции сложной задачи на простые шаги.
  • Кластер 5 (Извлечение и структурирование): Это основная суть всего исследования.
  • Кластер 7 (Надежность и стабильность): Сравнивая точность разных моделей, работа напрямую затрагивает тему надежности и показывает, как получить более стабильный результат.
• Чек-лист практичности (+15 баллов): Да.
  • Показывает, как структурировать сложные запросы? Да.
  • Раскрывает неочевидные особенности поведения LLM? Да (сравнение производительности моделей и их слабости, например, с датами).
  • Предлагает способы улучшить consistency/точность ответов? Да (через выбор более мощной модели и сам метод).

Итоговая оценка 93 балла сформирована из базовой оценки 78 (за высокую практическую и концептуальную ценность) и бонуса в +15 баллов за соответствие нескольким пунктам чек-листа практичности.

• Аргументы за оценку: Исследование представляет собой практически идеальный пример того, как использовать LLM для одной из самых частых и полезных задач — извлечения структурированной информации из "сырого" текста. Предложенный двухэтапный метод (сначала классифицируй, потом извлекай) универсален и может быть немедленно применен пользователем в любой сфере для повышения точности и релевантнности ответов. Сравнение моделей дает пользователю четкое понимание, что для серьезных задач стоит выбирать более продвинутые LLM (GPT-4/Llama-3), а не базовые (GPT-3.5).

• Контраргументы (почему оценка могла быть ниже):

  1. Отсутствие конкретных промптов: В статье не приводится дословный текст промптов, которые использовались. Пользователю нужно самому додумать формулировки, основываясь на описании методологии.
  2. Фокус на системе, а не на промпте: Исследование описывает целую систему (веб-скрапинг + LLM), и промптинг является лишь ее частью. Это может создать впечатление, что выводы применимы только в связке с автоматизацией, хотя это не так.

• Контраргументы (почему оценка могла быть выше):

  1. Фундаментальность подхода: Метод декомпозиции задачи — это не просто "фишка", а один из столпов продвинутого промптинга. Демонстрация его эффективности с числовыми показателями (91% точности) имеет огромную ценность и могла бы оправдать оценку вплоть до 95-98.
  2. Экономическая ценность: Вывод о том, что бесплатная Llama-3 почти не уступает платной GPT-4, имеет прямое практическое значение для пользователей, которые хотят получать качественные результаты без лишних затрат.