EarthSE: Бенчмарк для оценки возможностей научной эксплорации Земли у больших языковых моделей (LLMs)

Авторы создали комплексный набор тестов (бенчмарк) EarthSE на основе 100 000 научных статей, чтобы оценить способности LLM в области наук о Земле. Исследование показало, что современные модели хорошо справляются с общими вопросами, но пасуют перед узкоспециализированными задачами, расчетами и особенно в открытых диалогах, где требуется критическое мышление и генерация новых идей.

Ключевой результат: Производительность LLM на сложных задачах резко возрастает, если в промпте дать ей "подсказку" — явно указать первый шаг логических рассуждений (метод CoT-guidance).

Исследование выявило два ключевых практических подхода для улучшения взаимодействия с LLM.

1. Метод "Подсказка с первым шагом" (CoT-guidance): Основная идея заключается в том, чтобы не просто задать сложный вопрос, а "подтолкнуть" модель в правильном направлении. Вместо того чтобы ожидать, что LLM сама выстроит всю сложную логическую цепочку с нуля, вы предоставляете ей первый, самый важный шаг этой цепочки. Это работает как строительные леса для мышления модели: она получает готовую опору, с которой может начать выстраивать дальнейшие, более сложные рассуждения. Исследование доказывает, что даже один такой "шаг-подсказка" может увеличить точность ответа в несколько раз.

2. Метод "Структурированного исследования" (по модели Earth-Gold): Для решения больших, открытых и творческих задач (например, "разработай мне бизнес-идею") прямой запрос часто ведет к общим и бесполезным ответам. Метод, основанный на структуре датасета Earth-Gold, предлагает разбить этот процесс на три логических этапа, имитируя научный подход:

   • Шаг 1: Анализ существующего. Сначала попросите LLM обобщить и описать существующие решения, подходы или информацию по теме. ("Опиши топ-3 существующих решений для...")
   • Шаг 2: Критика и поиск недостатков. Затем попросите модель найти слабые места, проблемы и ограничения в том, что она только что описала. ("Теперь проанализируй недостатки каждого из этих решений...")
   • Шаг 3: Предложение нового на основе критики. И только после этого, когда проблема четко очерчена, попросите LLM сгенерировать новое решение, которое напрямую устраняет найденные недостатки. ("Основываясь на этих недостатках, предложи новый, улучшенный подход...")

Этот трехступенчатый диалог заставляет LLM перейти от поверхностной генерации к глубокому анализу и целенаправленному творчеству, что кардинально повышает качество итогового результата.

*Прямая применимость:

* **CoT-guidance:** Пользователь может немедленно начать добавлять в свои сложные промпты фразу вроде `Чтобы решить эту задачу, давай рассуждать по шагам. Шаг 1: [описание первого логического действия]`. Это мгновенно применимый прием.
* **Структурированный диалог:** Пользователь может использовать трехэтапную структуру "анализ -> критика -> предложение" как готовый сценарий для ведения диалога с LLM при решении любой комплексной задачи, от планирования отпуска до разработки маркетинговой стратегии.

• Концептуальная ценность:

  • Исследование наглядно показывает, что LLM — это не "черный ящик", а система, чье поведение предсказуемо и управляемо.
  • Ключевая концепция: LLM лучше работает как "усилитель рассуждений", а не как "генератор ответов из вакуума". Ей нужно помогать, структурируя задачу и давая отправные точки. Это меняет парадигму взаимодействия с "просто задать вопрос" на "совместно решить задачу".

• Потенциал для адаптации:

  • Методы абсолютно универсальны. Хотя исследование проводилось на материале наук о Земле, принципы "подсказки" и "структурирования" не зависят от предметной области.
  • Механизм адаптации: Пользователю нужно лишь заменить специфический контент (например, "анализ климатических моделей") на свой собственный ("анализ конкурентов в сфере кофейного бизнеса"). Сама структура промпта и логика взаимодействия с LLM остаются неизменными.

Вот пример промпта, использующий метод "Подсказка с первым шагом" (CoT-guidance) для решения типичной пользовательской задачи — планирования мероприятия.

Ты — опытный event-менеджер. Твоя задача — разработать концепцию и план проведения дня рождения для компании из 10 человек (возраст 25-30 лет) в Москве с бюджетом 50 000 рублей. Гости любят активный отдых, но не экстремальный спорт, и ценят хорошую еду.
Чтобы получить наилучший результат, давай рассуждать по шагам. Вот первый шаг для твоих рассуждений:

**Шаг 1: Мозговой штурм и фильтрация активностей.**
Сначала составь список из 5-7 разнообразных активностей, подходящих под описание (активный, но не экстремальный отдых), например: картинг, кулинарный мастер-класс, квест в реальности, боулинг, урок гончарного мастерства. Затем отфильтруй их, оставив 3 наиболее подходящих варианта, которые хорошо сочетаются с последующим ужином.

После этого шага, продолжи план, включив в него:
- Выбор конкретных мест для 3 отфильтрованных вариантов.
- Примерный тайминг и логистику дня.
- Рекомендации по ресторанам/кафе рядом с выбранными локациями, которые укладываются в бюджет.
- Итоговую смету.

Этот промпт эффективен, потому что он не просто ставит перед LLM общую задачу "придумай день рождения", которая могла бы привести к шаблонному ответу. Он использует ключевую механику из исследования:

1. Предоставление "подсказки" (CoT-guidance): Конструкция Шаг 1: Мозговой штурм и фильтрация активностей... является прямой реализацией метода. Она задает модели четкую и логичную отправную точку. Это заставляет LLM сначала сгенерировать широкое поле вариантов, а затем применить к ним критерии отбора.
2. Снижение когнитивной нагрузки: Вместо того чтобы решать одну большую и сложную задачу, модель получает первую часть задачи уже структурированной. Это помогает ей избежать "зависания" или выбора самого очевидного, но не самого лучшего пути.
3. Направление на качественный результат: Явно указав на процесс "мозговой штурм -> фильтрация", мы гарантируем, что модель рассмотрит несколько альтернатив, а не остановится на первой пришедшей в голову идее. Это напрямую повышает качество и оригинальность итогового плана.

Вот пример, использующий метод "Структурированного исследования" для анализа и выбора хобби. Это первый промпт в диалоге из двух-трех шагов.

Ты — психолог и эксперт по саморазвитию. Я хочу найти для себя новое хобби, которое поможет мне отвлекаться от сидячей работы за компьютером, будет развивать мелкую моторику и позволит создавать что-то материальное своими руками.
Проанализируй для меня три популярных направления для такого хобби:
1. Работа с деревом (woodworking).
2. Сборка и покраска миниатюр.
3. Лепка из полимерной глины.

Твой ответ должен быть четко структурирован. Для каждого из трех направлений опиши:
- **Краткая суть:** Что это за хобби и что в нем делают?
- **Ключевые преимущества:** Какие плюсы оно дает в контексте моего запроса (отдых от ПК, моторика, создание вещей).
- **Основные недостатки и барьеры для входа:** Какие есть минусы, сложности, первоначальные затраты или требования к пространству?

Этот промпт является первым шагом в диалоге по методу "Структурированного исследования" и работает благодаря следующим механикам:

1. Декомпозиция проблемы: Вместо общего вопроса "посоветуй хобби", который привел бы к поверхностному списку, мы разбиваем задачу на управляемые части. Промпт реализует первые два этапа научного подхода, описанного в исследовании: "анализ существующего" (описание сути и преимуществ) и "критика" (описание недостатков и барьеров).
2. Принуждение к сбалансированному анализу: Требование описать не только плюсы, но и минусы заставляет LLM провести более глубокий и честный анализ. Это предотвращает генерацию однобоких, "рекламных" описаний и дает пользователю реалистичную картину.
3. Создание основы для следующего шага: Получив такой структурированный ответ, пользователь может задать следующий, гораздо более осмысленный вопрос: "Спасибо. Основываясь на этих недостатках (особенно на требованиях к пространству и первоначальных затратах), какое из этих трех хобби ты бы порекомендовал как наиболее доступное для начинающего в условиях городской квартиры? Предложи стартовый набор инструментов для него.". Это третий шаг метода — "предложение нового" на основе анализа критики, который приводит к точному и персонализированному совету.

• A. Релевантность техникам промптинга: Да, исследование напрямую показывает, как добавление "подсказок" в виде начальных шагов рассуждения (Chain-of-Thought) улучшает результат. Оно также предлагает структуру для сложных exploratory-запросов.
• B. Улучшение качества диалоговых ответов: Да, основная цель датасета Earth-Gold — оценить и, как следствие, подсказать пути улучшения качества ответов в сложных, открытых диалогах.
• C. Прямая практическая применимость: Высокая. Техника CoT-guidance (подсказка с первым шагом) и структура диалога "анализ -> критика -> предложение" могут быть немедленно использованы любым пользователем без кода и спец-инструментов.
• D. Концептуальная ценность: Очень высокая. Исследование наглядно демонстрирует ключевые слабости LLM: низкая производительность в задачах "вставить пропущенное" (FIB) и расчетах, тенденция к общим, неконкретным ответам в открытых задачах, и низкое "разнообразие" идей. Это помогает пользователю понять, что LLM — не всезнающий оракул, а скорее "движок рассуждений", которому нужна помощь и структура.
• E. Новая полезная практика (кластеризация):
  • Кластер 1 (Техники формулирования): Явно демонстрируется эффективность модификации техники Chain-of-Thought (CoT guidance).
  • Кластер 2 (Поведенческие закономерности): Выявлены важные закономерности — плохая работа с расчетами и терминами, низкая вариативность ответов в открытых задачах.
  • Кластер 7 (Надежность и стабильность): Предложенный метод CoT-guidance напрямую повышает точность (accuracy) ответов.
• Чек-лист практичности:
  • Дает готовые фразы/конструкции для промптов: Да (структура "Шаг 1: ...").
  • Показывает, как структурировать сложные запросы: Да (модель "анализ -> критика -> предложение").
  • Раскрывает неочевидные особенности поведения LLM: Да (низкая точность в FIB, низкое разнообразие идей).
  • Предлагает способы улучшить consistency/точность ответов: Да (CoT guidance).

Исследование получает высокий балл, так как, несмотря на свою академическую направленность (создание бенчмарка), оно содержит два чрезвычайно ценных и практически применимых вывода для обычного пользователя.

Аргументы в пользу оценки (92): 1. Прямое доказательство эффективности "подсказок": Таблица 6 — это золотая жила для промпт-инженера. Она количественно доказывает, что если "помочь" модели начать рассуждать, предоставив ей первый шаг, точность ответов на сложные вопросы возрастает в 2-3 раза. Это один из самых действенных и простых в применении приемов. 2. Шаблон для исследовательских задач: Структура, заложенная в датасет Earth-Gold (1. Описать существующие методы, 2. Проанализировать их недостатки, 3. Предложить новое решение), является готовым шаблоном для любого сложного запроса, требующего анализа и генерации идей, будь то бизнес-стратегия, план путешествия или выбор технологии. 3. Ценные концептуальные инсайты: Понимание того, что LLM плохо справляются с расчетами и "вставкой пропущенного слова", но хорошо — с выбором из вариантов (MCQ), помогает пользователю правильно формулировать задачи — например, предлагать модели варианты для оценки, а не просить вычислить что-то с нуля.