Навигация по бумажному потоку: усовершенствование оценки статей на основе LLM посредством извлечения с учетом предметной области и латентного рассуждения

Исследование представляет систему PaperEval, которая автоматически оценивает качество и потенциальное влияние научных статей. Система решает две ключевые проблемы LLM: устаревшие знания и недостаточно глубокий анализ, — с помощью двух механизмов: сначала она находит похожие свежие статьи для контекста, а затем использует "скрытое рассуждение" для глубокого сравнения и вынесения оценки.

Ключевой результат: Предоставление LLM актуального внешнего контекста (похожих статей) и принуждение к пошаговому уточнению вывода кардинально повышает точность оценки по сравнению с простым запросом к модели.

Суть исследования не в том, чтобы дать пользователю новую фразу для промпта, а в том, чтобы показать, как правильно "кормить" LLM информацией для решения сложной аналитической задачи. Метод PaperEval можно разложить на два принципа, которые любой пользователь может адаптировать для своих нужд.

1. Принцип "Не доверяй, а снабжай" (Domain-aware Retrieval): Система не полагается на встроенные знания LLM, которые могут быть устаревшими. Вместо этого она сначала ищет в базе данных самые свежие и релевантные статьи по теме. Затем она подает эти найденные статьи в качестве контекста вместе с основной статьей, которую нужно оценить. Для обычного пользователя это означает: не задавайте сложный вопрос в вакууме. Если вам нужен анализ на свежую или узкую тему, найдите 1-3 релевантных документа (статьи, отчеты, новости) и вставьте их текст прямо в промпт перед вашим основным вопросом. Это ручная версия техники Retrieval-Augmented Generation (RAG).

2. Принцип "Думай поэтапно, а не сразу" (Latent Reasoning & Progressive Optimization): Система заставляет LLM не выдавать ответ мгновенно, а проходить через несколько внутренних "шагов рассуждения", на каждом из которых оценка уточняется. Пользователь не может контролировать "скрытые" (latent) процессы, но может симулировать их. Вместо одного сложного запроса "оцени Х", разбейте его на цепочку:

   • Шаг 1: "Суммаризируй ключевые идеи из контекста А и Б".
   • Шаг 2: "На основе этой суммаризации, какие сильные стороны у идеи В?"
   • Шаг 3: "А теперь сравни сильные стороны В с идеями из А и Б и дай итоговую оценку".

Таким образом, методика для пользователя сводится к двухэтапному промптингу: сначала обогащение контекстом, затем пошаговая декомпозиция задачи.

• Прямая применимость: Низкая. Пользователь не может создать систему PaperEval в чате. Однако он может имитировать ее логику.

• Концептуальная ценность: Высокая. Исследование дает пользователю фундаментальное понимание:

  1. LLM — не всезнающая база данных. Ее знания ограничены датой обучения. Для актуальных задач внешний контекст — это не опция, а необходимость.
  2. Качество ответа прямо пропорционально качеству контекста. Мусор на входе — мусор на выходе. Релевантные, качественные документы на входе ведут к качественному анализу.
  3. Сложные рассуждения требуют пошагового руководства. LLM лучше справляется с серией простых логических шагов, чем с одним гигантским умозрительным прыжком.

• Потенциал для адаптации: Высокий. Механизм адаптации прост:

  1. Автоматический поиск → Ручной поиск: Вместо автоматического модуля retrieval пользователь сам находит 2-3 ключевых текста через Google или другую поисковую систему.
  2. Скрытое рассуждение → Явное пошаговое инструктирование: Вместо сложной оптимизации пользователь явно прописывает в промпте этапы анализа ("Сначала сделай А, потом Б, затем на их основе сделай В").

Представим, что вы — маркетолог, и вам нужно быстро проанализировать новый тренд "растительного молока на основе грибов" для вашего начальника.

Ты — опытный маркетолог-аналитик. Твоя задача — провести SWOT-анализ (Сильные стороны, Слабые стороны, Возможности, Угрозы) для нового рыночного сегмента: "растительное молоко на основе грибов".

**ШАГ 1: ИЗУЧИ КОНТЕКСТ**
Вот ключевая информация о рынке, которую я нашел. Используй **только её** и свои общие знания в области маркетинга для анализа.


**Статья "Forbes", 15.05.2024:** "Стартап 'MycoMilk' привлек $20 млн инвестиций. Их технология позволяет ферментировать мицелий грибов, получая напиток с высоким содержанием белка и витамина D. Процесс требует на 90% меньше воды, чем производство миндального молока. Однако потребители пока с опаской относятся к продуктам из грибов, ассоциируя их со специфическим вкусом."



**Отчет "Market Trends", 01.06.2024:** "Рынок растительного молока перенасыщен овсяными и соевыми продуктами. Потребители ищут новые, более экологичные и полезные альтернативы. Ключевой барьер для новых продуктов — высокая цена на старте и необходимость сертификации как 'novel food' в ЕС, что может занять до 2 лет."


**ШАГ 2: ПРОВЕДИ АНАЛИЗ**
Действуй по следующему плану:
1.  **Определи ключевые характеристики продукта**, основываясь на контексте.
2.  **Проанализируй рыночную ситуацию** и настроения потребителей.
3.  **Сформируй SWOT-анализ** в виде таблицы с 4 квадрантами. В каждом квадранте должно быть не менее 2-3 пунктов с кратким пояснением.

Выполни задание.

Этот промпт работает, потому что он имитирует принципы PaperEval:

1. "Domain-aware Retrieval" (Контекст): Вместо того чтобы спросить "Сделай SWOT-анализ молока из грибов", мы предоставляем модели актуальную, концентрированную информацию в тегах <CONTEXT_1> и <CONTEXT_2>. Это решает проблему устаревших знаний LLM и фокусирует ее внимание на конкретных фактах (экологичность, инвестиции, барьер в виде вкуса).
2. "Latent Reasoning" (Пошаговый план): Мы не просто просим результат, а даем четкий алгоритм действий в ШАГ 2. Инструкции "1. Определи...", "2. Проанализируй...", "3. Сформируй..." заставляют модель последовательно обрабатывать информацию, что имитирует "прогрессивную оптимизацию" и ведет к более структурированному и логичному итоговому ответу.

Задача: составить персонализированный план тренировок для человека, который хочет вернуться в спорт после долгого перерыва.

Ты — профессиональный фитнес-тренер и реабилитолог. Твоя задача — составить безопасный и эффективный план тренировок на первую неделю для клиента, который возвращается к физической активности.

**ШАГ 1: ИЗУЧИ ИНФОРМАЦИЮ О КЛИЕНТЕ (КОНТЕКСТ)**
Вот данные о клиенте. Твои рекомендации должны строго им соответствовать.


- **Возраст:** 35 лет.
- **Цель:** Улучшить общую выносливость, сбросить 3-4 кг, укрепить спину.
- **Опыт:** Занимался бегом 5 лет назад, но последние 4 года — сидячая работа, активности почти не было.
- **Ограничения:** Иногда ноет поясница после долгого сидения. Врач рекомендовал избегать осевых нагрузок (приседания со штангой, становая тяга) на первом этапе.
- **Доступный инвентарь:** Коврик, пара гантелей по 5 кг, турник во дворе.


**ШАГ 2: СОСТАВИ ПЛАН ТРЕНИРОВОК**
Действуй по следующему плану:
1.  **Сформулируй ключевые принципы** для тренировок этого клиента (например, "приоритет технике", "постепенное увеличение нагрузки").
2.  **Разработай программу на 3 тренировочных дня** (День 1, День 2, День 3) на неделю.
3.  **Для каждого дня** представь план в виде таблицы: | Упражнение | Подходы | Повторения | Примечание (на что обратить внимание) |.
4.  **Обязательно включи** в план упражнения на укрепление мышц кора (планка, "лодочка") и исключи осевые нагрузки, как рекомендовано.

Приступай к работе.

Этот промпт эффективен по тем же причинам, что и предыдущий, но в другой сфере:

1. "Domain-aware Retrieval" (Контекст): Роль "релевантных документов" здесь играет профиль клиента в теге <CLIENT_PROFILE>. Мы не просим абстрактный "план для новичка", а даем конкретные данные: возраст, цели, и, что самое важное, ограничения (проблемы со спиной, рекомендации врача). Это позволяет LLM создать не шаблонный, а персонализированный и безопасный план.
2. "Latent Reasoning" (Пошаговый план): Четкая структура в ШАГ 2 направляет "мыслительный процесс" модели. Она сначала должна осмыслить общие принципы (пункт 1), а затем, держа их в уме, приступить к детальной разработке программы (пункты 2-4). Требование представить результат в виде таблицы и явное указание включить/исключить определенные упражнения дополнительно повышает точность и релевантность ответа, имитируя процесс "уточнения" из исследования.