CTINexus - Автоматическое построение графа знаний о киберугрозах с использованием больших языковых моделей.

Исследователи создали систему CTINEXUS, которая с высокой точностью извлекает структурированную информацию (кто атаковал, чем, кого) из неструктурированных текстовых отчетов по кибербезопасности. Вместо того чтобы долго и дорого обучать модель, они используют продвинутый промпт-инжиниринг, подавая LLM один сложный, но очень грамотно составленный запрос.

Ключевой результат: Один хорошо структурированный промпт с тщательно подобранными примерами (In-Context Learning) работает значительно лучше, точнее и эффективнее, чем многошаговые диалоги или старые методы анализа текста.

Суть метода — в создании "идеального промпта" для сложных задач по извлечению информации. Вместо того чтобы просить LLM "найти что-то в тексте", пользователь создает исчерпывающую инструкцию, которая обучает модель прямо в момент запроса.

Основные принципы, которые может применить любой пользователь:

1. Жесткая структура промпта: Промпт должен состоять из трех четких блоков, идущих именно в таком порядке:

   • Блок 1: Инструкция. Четко определите роль LLM («Ты — опытный маркетолог») и задачу («Твоя задача — извлечь из отзыва клиента упоминания о продукте, его оценку и прямую цитату»). Здесь же указывается требуемый формат ответа (например, JSON).
   • Блок 2: Примеры (Demonstrations / Few-shot). Предоставьте 2-3 примера, где вы показываете исходный текст и идеальный, уже готовый результат в нужном вам формате. Это самая важная часть, она "программирует" модель на нужный лад.
   • Блок 3: Запрос (Query). Подайте новый текст, который нужно обработать, и попросите модель сгенерировать ответ по аналогии с примерами.

2. Качество важнее количества: Исследование показало, что 2-3 релевантных примера работают лучше, чем 1 или 4+. Не стоит заваливать LLM десятками примеров — это может сбить его с толку и увеличит стоимость запроса.

3. Принцип "близости" (Recency Bias): LLM уделяет больше внимания примерам, которые находятся ближе к вашему финальному запросу. Поэтому самый похожий и релевантный пример нужно ставить последним, прямо перед вашим основным вопросом. Если вы хотите извлечь данные из отзыва о телефоне, то последний пример тоже должен быть про технику, а не про еду.

Этот подход превращает LLM из простого собеседника в настраиваемый инструмент для точного извлечения и структурирования данных.

*Прямая применимость:Пользователь может немедленно начать использовать трехблочную структуру промпта (Роль/Инструкция → Примеры → Запрос) для любых задач, требующих структурированного ответа. Можно сразу же начать использовать ролевые инструкции и требовать JSON на выходе.

• Концептуальная ценность: Исследование дает пользователю ключевое понимание: LLM — это не "черный ящик", а система, обучаемая "на лету" (In-Context Learning). Качество вашего промпта, особенно примеров в нем, — это как мини-набор данных для обучения. Оно также раскрывает важную особенность поведения LLM — "recency bias", заставляя пользователя думать о порядке элементов в промпте.
• Потенциал для адаптации: Хотя автоматический подбор примеров (kNN) недоступен, пользователь может легко адаптировать этот принцип. Механизм адаптации: перед тем как написать сложный промпт, найдите у себя в истории чатов 2-3 удачных примера, где вы уже решали похожую задачу. Скопируйте их (и ваш запрос, и удачный ответ модели) и вставьте в новый промпт в качестве "примеров". Это будет ручная эмуляция kNN-ретривера, которая значительно повысит качество ответа.

Этот промпт эффективен благодаря нескольким механикам, описанным в исследовании: 1. Ролевая модель и четкая инструкция: Промпт начинается с команды Ты — опытный маркетинг-аналитик, что настраивает модель на нужный контекст. Далее идет точное описание задачи и, что критически важно, строгое указание формата вывода (ДОЛЖЕН быть в формате JSON с перечислением полей). 2. In-Context Learning (Few-shot): Предоставлены два полных примера (ПРИМЕР 1 и ПРИМЕР 2). Модель не просто получает инструкцию, она "видит", как именно нужно ее выполнять, анализируя связь между исходным текстом отзыва и эталонным JSON. 3. Принцип "близости" (Recency Bias): Примеры специально подобраны и упорядочены. Второй пример, как и финальная задача, содержит явное упоминание другого бренда ("старый Philips") и сравнение, что делает его более релевантным. Размещая его непосредственно перед ЗАДАЧА, мы используем "эффект недавности", чтобы помочь модели лучше справиться с аналогичной структурой в целевом отзыве.

Этот промпт следует той же выигрышной стратегии, доказанной в исследовании CTINEXUS, но в другом контексте: 1. Специализированная роль и формат: Модель получает роль "персонального ассистента" и задачу извлечения именно задач. Формат вывода — список JSON-объектов — четко определен, что исключает расплывчатые ответы. 2. Обучение на примерах: Примеры показывают модели, как обрабатывать разные ситуации: когда в тексте одна задача (Пример 1) и когда их несколько, адресованных разным людям с общим дедлайном (Пример 2). Это учит модель генерировать список из одного или нескольких объектов в зависимости от контекста. 3. Использование релевантного примера: Финальная ЗАДАЧА содержит несколько поручений разным людям. Пример 2, который также содержит несколько задач, является наиболее релевантным. Его расположение прямо перед ЗАДАЧА активирует "эффект недавности" и помогает LLM правильно распознать и структурировать несколько задач из нового текста, а не "схлопнуть" их в одну.

• Предварительный фильтр: Исследование полностью сфокусировано на обработке и извлечении информации из текстовых данных. Визуальный/аудио контент не затрагивается. Оценка продолжается.
• A. Релевантность техникам промтинга: Да, чрезвычайно высокая. Исследование напрямую изучает и доказывает эффективность конкретной структуры промпта (инструкция, примеры, запрос), ролевых моделей, отбора примеров и их порядка.
• B. Улучшение качества ответов: Да, это основная цель работы. Демонстрируется значительное повышение точности и полноты извлекаемой информации по сравнению с другими подходами.
• C. Прямая практическая применимость: Очень высокая. Хотя пользователь не может применить kNN-ретривер для автоматического подбора примеров, он может реализовать ключевые принципы вручную: структурировать промпт, подбирать релевантные примеры и правильно их располагать. Все это делается без кода и спец-инструментов.
• D. Концептуальная ценность: Исключительно высокая. Работа наглядно объясняет концепцию In-Context Learning (ICL), роль качественных примеров (few-shot), эффект "ролевой игры" и, что особенно ценно, эффект недавности (recency bias), который влияет на порядок инструкций в промпте.
• E. Новая полезная практика (кластеры): Исследование напрямую затрагивает и подтверждает лучшие практики в кластерах:
  • №1 (Техники): Вся суть работы — это продвинутая few-shot техника с ролевой игрой.
  • №2 (Поведенческие закономерности): Четко выявляет и измеряет "эффект недавности" (recency bias) — более поздние примеры в промпте влияют на модель сильнее.
  • №3 (Оптимизация структуры): Предлагает и доказывает эффективность жесткой структуры "Инструкция -> Примеры -> Запрос".
  • №5 (Извлечение и структурирование): Является ядром исследования, демонстрируя, как получать структурированный JSON.
• Чек-лист практичности (+15 баллов): Да, работа дает готовые конструкции, объясняет расположение информации (самый релевантный пример — последним), показывает структуру сложных запросов, раскрывает неочевидные особенности LLM (recency bias) и предлагает способы улучшить точность.

Аргументы в пользу высокой оценки (96/100): Эта работа — настоящая находка для продвинутого пользователя. Она не просто дает совет "используйте примеры", а научно доказывает и объясняет, какие примеры использовать, сколько их нужно и в каком порядке их ставить. Выводы о "recency bias" (эффект недавности) и оптимальном количестве примеров (2-3 для их задачи) — это конкретные, измеримые и немедленно применимые знания, которые напрямую улучшат качество промптов для сложных задач по извлечению информации.

Итоговое решение: Несмотря на узкую предметную область, фундаментальные принципы промптинга, которые доказывает эта работа, абсолютно универсальны. Это одно из лучших исследований, объясняющих "почему" и "как" работает few-shot промптинг, поэтому высокая оценка полностью оправдана.