Модель объяснила тему красиво — и соврала на трети фактов.

Это исследование представляет систему (фреймворк ELMES) для автоматической оценки того, насколько хорошо разные LLM справляются с ролью "учителя". Авторы протестировали популярные модели в четырех сценариях: объяснение темы, пошаговая помощь в решении задачи, создание планов уроков и генерация вопросов.

Ключевой результат: Ни одна модель не является лучшей во всем; модели демонстрируют очень разные "профили способностей" — некоторые отлично имитируют эмпатию и роль учителя, но дают неточные факты, в то время как другие фактологически точны, но не могут поддерживать диалог и персонализировать объяснения.

Суть метода для практического применения заключается в том, чтобы перестать писать общие промпты и начать формулировать запросы как техническое задание с четкими критериями качества. Исследование дает нам эти критерии, разработанные экспертами в области образования.

Вместо того чтобы просить LLM "Объясни фотосинтез", вы должны использовать выводы исследования и попросить: "Объясни фотосинтез, соблюдая следующие критерии: 1. Следование роли: Будь как увлеченный учитель биологии для 8-го класса. 2. Эмоциональная поддержка: Используй ободряющий и позитивный тон. 3. Точность знаний: Убедись, что все факты верны. 4. Адаптация под ученика: Используй аналогии, понятные подростку, увлекающемуся видеоиграми. 5. Стратегия объяснения: Задавай вопросы, чтобы вовлечь в размышление, а не просто выдавай факты".

Этот подход, основанный на детализации требований к качеству, заставляет LLM сфокусироваться не только на генерации текста по теме, но и на соблюдении заданных рамок, что кардинально повышает итоговый результат. Выводы исследования показывают, что если не указать эти критерии явно, модель может хорошо справиться с одним (например, точностью), но полностью провалить другое (например, адаптацию).

• Прямая применимость: Пользователь может взять таблицы с оценочными метриками из приложения к статье (например, Table A.6 для объяснения концепций или Table A.8 для создания планов) и напрямую встроить их в свои промпты в виде списка требований или критериев оценки. Это не требует никаких технических навыков.

• Концептуальная ценность: Исследование дает пользователю фундаментальное понимание:

  1. LLM не монолитны: Их способности "неровные". Модель, которая хорошо пишет стихи, не обязательно будет хорошим репетитором.
  2. Форма не равна содержанию: Идеально структурированный и отформатированный ответ может быть пустым и бесполезным по сути. Нужно явно запрашивать глубину и качество содержания.
  3. Роль и знания — разные вещи: Модель может идеально отыгрывать роль эксперта, но при этом "галлюцинировать". Нельзя доверять ответу только потому, что он звучит авторитетно.

• Потенциал для адаптации: Метод легко адаптируется для любой сферы. Нужно лишь мысленно разбить свою задачу на ключевые составляющие качества. Например, для написания маркетингового текста это могут быть: "Привлекательность заголовка", "Ясность призыва к действию", "Соответствие тону бренда", "Ориентация на целевую аудиторию". Затем эти составляющие включаются в промпт как прямые инструкции.

Вот пример промпта для объяснения сложной темы ребенку, основанный на метриках из исследования (Table A.6: Knowledge Point Explanation).

# ЗАДАЧА: Объяснить концепцию "демократия" ребенку 10 лет

Ты — опытный и добрый учитель истории для младших классов. Твоя задача — объяснить сложную концепцию простыми словами, используя яркие аналогии.

## КОНТЕКСТ
*   **Тема:** Демократия.
*   **Аудитория:** Ребенок 10 лет, который любит играть в командные игры и смотреть мультфильмы.

## ИНСТРУКЦИИ И КРИТЕРИИ КАЧЕСТВА
Твой ответ должен соответствовать следующим критериям:

1.  **Следование роли (Role Adherence):**
    *   Говори от первого лица, как учитель.
    *   Используй простой, дружелюбный и ободряющий язык.
    *   Не используй сложных терминов без их немедленного объяснения.

2.  **Стратегия объяснения (Explanation Strategy):**
    *   **Используй аналогию:** Сравни демократию с выбором, какой мультфильм будет смотреть вся семья вечером, или с выбором капитана в школьной спортивной команде.
    *   **Вовлекай в размышление:** Задавай риторические вопросы (например, "Представь, если бы только папа решал, какой мультик смотреть каждый день. Было бы это справедливо?").

3.  **Адаптация под ученика (Persona Responsiveness):**
    *   Упомяни в примере что-то, что близко ребенку (командные игры, выбор пиццы, мультфильмы).

4.  **Эмоциональная поддержка (Emotional Support):**
    *   Заверши объяснение на позитивной ноте, подчеркнув, почему это хорошая и важная идея.

5.  **Точность знаний (Knowledge Mastery):**
    *   Несмотря на упрощение, ключевая идея (власть народа, выборы, равенство голосов) должна быть передана корректно.

Начинай объяснение.

Этот промпт эффективен, потому что он не просто ставит задачу ("объясни демократию"), а управляет процессом генерации, опираясь на выводы исследования:

• Предотвращение слабого ответа: Исследование показало, что без четких указаний модель может выдать сухой, энциклопедический или неточный текст. Промпт заставляет модель одновременно оптимизировать ответ по нескольким направлениям: быть точной (Knowledge Mastery), понятной (Role Adherence, Persona Responsiveness) и увлекательной (Explanation Strategy).
• Структурирование требований: Разделение инструкций на Роль, Стратегию, Адаптацию и Точность напрямую отражает метрики, по которым в исследовании оценивалось качество. Это дает LLM четкую структуру для генерации и самооценки ответа.
• Акцент на педагогике: Требование использовать аналогию и задавать вопросы (Explanation Strategy) — это прямое применение выводов о том, что лучшие ответы не просто излагают факты, а используют педагогические приемы для вовлечения.

Пример для создания структуры коммерческого предложения, основанный на метриках из исследования (адаптация Table A.8: Interdisciplinary Lesson Plan Generation).

# ЗАДАЧА: Создать структуру коммерческого предложения для IT-услуги

Ты — опытный менеджер по продажам, который готовит коммерческое предложение (КП) для потенциального клиента.

## КОНТЕКСТ
*   **Наша услуга:** Внедрение CRM-системы для автоматизации отдела продаж.
*   **Клиент:** Средний бизнес (50-100 сотрудников), который сейчас ведет учет клиентов в Excel и жалуется на потерю заявок.

## ИНСТРУКЦИИ И КРИТЕРИИ КАЧЕСТВА
Твоя задача — не написать всё КП, а создать его **детальную структуру (план)**. Структура должна соответствовать следующим критериям:

1.  **Логическая интеграция (Interdisciplinary Logical Integration):**
    *   Четко свяжи каждую предлагаемую функцию CRM с конкретной "болью" клиента (например, "Модуль 'Воронка продаж'" → "Решение проблемы потерянных заявок").

2.  **Аутентичность контекста (Context Authenticity):**
    *   В разделе "Пример выгоды" приведи реалистичный сценарий, релевантный для клиента (например, "Как менеджер Иван перестанет забывать перезвонить клиенту N").

3.  **Когнитивная последовательность (Cognitive Progression Design):**
    *   Структурируй КП так, чтобы оно вело клиента от его текущей проблемы к пониманию ценности решения. План должен быть: Проблема → Предлагаемое решение → Как это работает → Выгоды в цифрах → План внедрения → Стоимость.

4.  **Замкнутая система оценки (Closed-Loop Evaluation Design):**
    *   Обязательно включи в структуру раздел "Критерии успеха (KPI)", где будет описано, как клиент сможет измерить эффективность внедрения (например, "Снижение числа потерянных заявок на 30% за 3 месяца").

5.  **Внутренняя согласованность (Internal Consistency):**
    *   Убедись, что все разделы плана логически связаны и не противоречат друг другу.

Создай эту структуру в виде маркированного списка с подпунктами.

Этот промпт работает, потому что он применяет концептуальные выводы из исследования к бизнес-задаче, предотвращая типичные ошибки LLM:

• Борьба с поверхностностью: Исследование показало, что модели могут создавать хорошо отформатированные, но содержательно слабые планы. Требования Логическая интеграция и Аутентичность контекста заставляют модель наполнить структуру реальным смыслом и привязать ее к проблемам клиента, а не просто перечислить стандартные разделы КП.
• Управление потоком информации: Критерий Когнитивная последовательность — это прямое применение педагогического принципа "от простого к сложному". Он заставляет LLM выстроить повествование, которое будет убедительным для клиента, а не просто набором фактов.
• Фокус на измеримом результате: Требование Замкнутая система оценки (в виде KPI) заставляет модель думать не только о предложении, но и о его конечном результате и ценности для клиента. Это переводит ответ LLM с уровня "описания услуги" на уровень "решения бизнес-задачи", что является гораздо более ценным.