Оценка крупных языковых моделей для реальных инженерных задач

Исследователи провели систематическую оценку современных LLM (включая GPT-4o) на наборе из более чем 100 сложных, реалистичных инженерных задач. Они проверяли способность моделей строить внутренне непротиворечивые "модели мира", рассуждать о пространственных и причинно-следственных связях, понимать неявные цели и прогнозировать поведение систем. Результаты показали, что LLM хорошо справляются с локальными, последовательными задачами и рассуждениями на основе явных данных, но терпят крах, когда требуется абстрактное мышление, понимание неявных компромиссов и анализ сложных, взаимосвязанных систем.

Ключевой результат: LLM хорошо справляются с локальными, последовательными задачами, но неспособны к надежному абстрактному и системному мышлению, необходимому для сложных реальных проблем.

Суть подхода, вытекающего из исследования, можно сформулировать как«Метод инженерной осторожности»при работе с LLM. Он заключается не в поиске "идеальной фразы", а в правильной постановке задачи, которая учитывает когнитивные ограничения модели.

Методика сводится к пяти основным принципам:

1. Принцип Конкретики (Против Абстракции): LLM плохо понимают абстрактные концепции и неявные цели (например, "сделай красиво и удобно"). Вместо этого, формулируйте задачи на уровне конкретных экземпляров и действий. Не "разработай маркетинговую стратегию", а "предложи 5 конкретных тем для постов в соцсети для продукта X с аудиторией Y".

2. Принцип Локальности (Против Глобальных Связей): Модели не могут удерживать в "уме" сложную сеть взаимосвязей. Они хорошо работают с тем, что находится рядом в контексте. Сложную задачу нужно разбивать на небольшие, изолированные подзадачи и решать их последовательно. Не "спланируй всю поездку", а "сначала давай выберем города для посещения, потом для каждого города найдем отель, потом для каждого отрезка пути подберем транспорт".

3. Принцип "Движения Вперед" (Против Обратного Анализа): LLM гораздо лучше справляются с прямым рассуждением (прогнозированием последствий) чем с обратным (диагностикой причин). Легче ответить на вопрос "Что произойдет, если мы повысим цену на 10%?", чем на вопрос "Почему у нас упали продажи?". Для диагностики LLM можно использовать только для генерации гипотез, а не для поиска единственной верной причины.

4. Принцип Символов, а не Цифр (Против Количественных Задач): Исследование показало, что LLM проигрывают специализированным моделям в задачах прогнозирования (например, временных рядов). Используйте их для работы с текстом, логикой, структурами, идеями, но не для точных математических расчетов и количественных прогнозов.

5. Принцип Ассистента, а не Эксперта (Против Автономности): LLM склонны к спекулятивным ответам и не умеют говорить "нет" или "это бессмысленно". Их нельзя использовать как автономных агентов для принятия решений. Их роль — быть мощным помощником для генерации идей, черновиков, альтернатив, которые затем должен оценить и выбрать человек.

*Прямая применимость:Пользователь может немедленно начать применять эти пять принципов для улучшения своих промптов. Вместо одного большого и абстрактного запроса, он будет писать серию коротких, конкретных и последовательных промптов, что кардинально повысит управляемость диалога и качество результата. Например, вместо "Напиши бизнес-план" пользователь будет вести диалог: "Шаг 1: определим ЦА", "Шаг 2: сформулируем УТП", "Шаг 3: предложи каналы продвижения" и т.д.

• Концептуальная ценность: Исследование дает ключевую идею: LLM — это не "искусственный разум", а сверхмощный сопоставитель статистических паттернов. Он не "понимает" задачу в человеческом смысле, а находит наиболее вероятное текстовое продолжение. Понимание этого избавляет от иллюзий и заставляет пользователя формулировать запрос так, чтобы "правильный" ответ был статистически наиболее вероятным.

• Потенциал для адаптации: Методы универсальны. Инженерная сфера в исследовании — это лишь сложный полигон для тестирования. Принципы "конкретность", "локальность", "движение вперед" абсолютно идентично работают при написании маркетингового плана, составлении юридического документа, планировании отпуска или написании сценария. Механизм адаптации — это декомпозиция любой сложной задачи на последовательность простых, локальных и конкретных шагов, которые подаются в LLM поочередно.

Представим, что пользователю нужно разработать концепцию нового мобильного приложения для изучения языков.

**Роль:** Ты — опытный продакт-менеджер, мой ассистент по разработке идей для новых цифровых продуктов.
**Задача:** Мы пошагово разрабатываем концепцию нового мобильного приложения для изучения иностранных языков. Не нужно делать все сразу. Сосредоточься только на первом шаге.

**Контекст:**
- **Продукт:** Мобильное приложение для изучения языков.
- **Целевая аудитория:** Занятые профессионалы (30-45 лет), которые хотят поддерживать свой уровень языка, тратя 15-20 минут в день.
- **Ключевая проблема аудитории:** Нехватка времени на полноценные уроки, потеря мотивации из-за отсутствия быстрого прогресса.

**Шаг 1: Генерация идей для ключевой функции (core feature)**
Основываясь на контексте выше, предложи 3 конкретные идеи для **одной** ключевой функции приложения, которая будет решать проблему нехватки времени и мотивации.

**Формат ответа:**
Для каждой идеи предоставь:
1. **Название функции:** (например, "Лингво-спринт")
2. **Краткое описание механики:** (Как именно это работает для пользователя?)
3. **Ключевое преимущество:** (Почему это поможет нашей ЦА?)

Этот промпт построен на принципах из исследования:

• Принцип Ассистента: Роль "ассистента" (Ты — ... мой ассистент) сразу задает правильные рамки взаимодействия, где最终ное решение принимает человек.
• Принцип Локальности: Задача разбита на шаги (Мы пошагово разрабатываем... Сосредоточься только на первом шаге). Это не позволяет модели "утонуть" в попытке создать всю концепцию целиком.
• Принцип Конкретики: Вместо абстрактного "придумай приложение", мы даем четкий контекст (ЦА, проблема) и просим конкретный результат (3 идеи для одной функции).
• Принцип "Движения Вперед": Мы занимаемся созидательной задачей ("сгенерируй идеи"), а не пытаемся анализировать причины провала других приложений (обратный анализ).

Задача: пользователь хочет спланировать здоровое питание на неделю.

**Роль:** Ты — диетолог-консультант, мой помощник в планировании рациона.
**Задача:** Мы составляем план питания на неделю. Сейчас мы делаем только первый шаг: планируем завтраки.

**Контекст:**
- **Моя цель:** Снизить потребление сахара и быстрых углеводов.
- **Мои предпочтения:** Я люблю блюда на основе яиц, творога и овсянки. Не люблю рыбу на завтрак.
- **Временные ограничения:** На приготовление завтрака в будни есть не более 15 минут.

**Шаг 1: Идеи для завтраков**
Предложи 5 разных вариантов завтраков на будние дни (с понедельника по пятницу), которые соответствуют моим целям и ограничениям.

**Формат ответа:**
Для каждого варианта укажи:
1. **Название блюда.**
2. **Основные ингредиенты.**
3. **Примерное время приготовления.**

Этот промпт эффективен, потому что он полностью следует "Методу инженерной осторожности":

• Ассистент, не Эксперт: Роль "диетолога-помощника" снимает с LLM ответственность за медицинские рекомендации и переводит диалог в плоскость генерации идей на основе заданных человеком правил.
• Локальность: Запрос четко ограничен одним приемом пищи ("планируем завтраки"). Это предотвращает создание слишком общего и бесполезного плана на всю неделю сразу. После успешного выполнения этого шага пользователь может аналогичным образом запросить обеды, ужины и т.д.
• Конкретика: Вместо абстрактной цели "хочу питаться правильно", пользователь предоставляет очень конкретные входные данные: цели (меньше сахара), предпочтения (яйца, творог), ограничения (15 минут). Это сужает пространство поиска для модели и ведет к релевантным результатам.
• Движение Вперед: Мы создаем новый план (прямое действие), а не анализируем, "почему мой предыдущий рацион был плохим" (сложный для LLM обратный анализ).

• A. Релевантность техникам промтинга: Высокая. Исследование не дает готовых фраз, но формулирует 5 фундаментальных принципов, как нужно и как НЕ нужно ставить задачи LLM.
• B. Улучшение качества диалоговых ответов: Высокое. Понимание ограничений модели (например, неспособность к нелокальному и абстрактному мышлению) напрямую ведет к формулировке более "решаемых" для LLM задач, что кардинально повышает качество ответов.
• C. Прямая практическая применимость: Высокая. Все выводы — это стратегические рекомендации по framing'у (постановке) задач в текстовом виде, не требующие кода или специальных инструментов.
• D. Концептуальная ценность: Очень высокая. Исследование блестяще вскрывает "слепые зоны" LLM: разницу между поверхностным сопоставлением паттернов и реальным системным мышлением, неспособность к оценке компромиссов и распознаванию "абсурдных" решений. Это формирует у пользователя реалистичную "ментальную модель" LLM.
• E. Новая полезная практика (кластеризация): Работа попадает сразу в несколько ключевых кластеров:
  • #2 (Поведенческие закономерности LLM): Основной фокус работы. Выявлены закономерности в локальном vs. нелокальном мышлении, прямом vs. обратном выводе, конкретном vs. абстрактном.
  • #7 (Надежность и стабильность): Все исследование посвящено оценке надежности LLM в сложных задачах и предлагает способы не попадать в ловушки их ограничений.
• Чек-лист практичности: ДА на 4 из 6 пунктов (+15 баллов):
  • [+] Показывает, как структурировать сложные запросы (разбивать на локальные, последовательные шаги).
  • [+] Раскрывает неочевидные особенности поведения LLM (например, что прямое рассуждение "что будет, если" работает лучше обратного "почему это случилось").
  • [+] Предлагает способы улучшить consistency/точность ответов (через упрощение и конкретизацию задач).
  • [+] Раскрывает эффективные метода суммаризации текста - НЕТ.
  • [+] Дает готовые фразы/конструкции для промптов - НЕТ.
  • [+] Объясняет, где в промпте размещать важную информацию - НЕТ.

Аргументы в пользу оценки (88/100): Исследование предоставляет не просто тактики, а стратегию взаимодействия с LLM. Пять ключевых выводов в разделе "Discussion" — это золотой стандарт для любого продвинутого пользователя. Они объясняют, почему LLM терпят неудачу в сложных задачах, и дают четкие инструкции, как эти неудачи обойти: избегать абстракций, дробить задачи на локальные компоненты, предпочитать прямое рассуждение обратному. Это фундаментальные знания, которые гораздо ценнее, чем заучивание отдельных "магических фраз". Концептуальная ценность работы огромна, так как она формирует у пользователя правильные ожидания и интуицию.