ConCodeEval - Оценка крупных языковых моделей для ограничения кода в специализированных языках.

Исследование анализирует, насколько хорошо большие языковые модели справляются с генерацией структурированного кода (JSON, YAML, XML) в точном соответствии с набором правил (схемой). Сравнивается, как на результат влияет формат представления этих правил (код или обычный язык) и их расположение внутри промпта.

Ключевой результат: LLM значительно чаще игнорируют или нарушают правила, которые указаны в начале и особенно в середине промпта, но гораздо лучше следуют правилам, размещенным в самом конце.

Суть исследования сводится к проверке гипотезы о том, что для LLM не все инструкции в промпте одинаково важны. Подобно человеку, который к середине длинной лекции теряет концентрацию, LLM уделяет максимум внимания началу иособенно концуконтекста, в то время как информация в середине "проседает" и может быть проигнорирована. Этот феномен известен как "Lost in the Middle" (Потерянное в середине).

Авторы давали моделям задачу: сгенерировать JSON-файл, который соответствует сложным правилам, описанным в схеме. Они обнаружили, что если "нарушенное" правило находилось в начале или середине файла-схемы, модель с высокой вероятностью его игнорировала. Если же это правило находилось ближе к концу схемы, модель соблюдала его гораздо чаще.

Методика для практического применения: При составлении сложных, длинных промптов, содержащих множество инструкций, контекста и ограничений, самые важные, критические или легко нарушаемые инструкции следует размещать в самом конце промпта, непосредственно перед командой к действию. Это помещает их в зону максимального "внимания" модели и повышает вероятность их точного выполнения.

*Прямая применимость:Высокая, но не для исходной задачи, а для самого принципа. Любой пользователь, составляющий промпт длиннее одного абзаца, может немедленно применить этот метод. Просто перенесите самое важное условие (например, "не использовать клише", "объем не более 500 слов", "ответ в формате таблицы") в конец вашего запроса.

• Концептуальная ценность: Огромная. Это исследование наглядно демонстрирует, что контекстное окно LLM — это не идеальная память. Оно помогает понять, почему модель иногда "забывает" о важных деталях, если они были упомянуты среди большого объема другой информации. Это формирует у пользователя полезную интуицию: "Мой промпт длинный, значит, самое главное нужно продублировать или поставить в конец".

• Потенциал для адаптации: Максимальный. Метод не требует адаптации, он универсален. Вместо "схемы" в исследовании подставьте любой набор ваших инструкций, а вместо "генерации JSON" — любую вашу задачу. Механизм адаптации: определите в своем запросе одно ключевое ограничение, которое модель может проигнорировать, и переместите его в самый конец промпта.

Представим, что SMM-менеджер просит LLM сгенерировать идеи для постов в соцсети о новом фитнес-клубе. Важное ограничение — не использовать банальные хэштеги.

# ЗАДАЧА

Придумай 5 идей для постов в Instagram для нового фитнес-клуба "Атлант".

# КОНТЕКСТ

- **Целевая аудитория:** Молодые профессионалы 25-40 лет, живут и работают в центре города, ценят комфорт, современные технологии и сообщество.
- **Особенности клуба:** Новый, стильный дизайн, умные тренажеры, бассейн с панорамным видом, групповые занятия по йоге и сайклингу, фитнес-кафе.
- **Цель постов:** Привлечь внимание, вызвать интерес к открытию, мотивировать записаться на пробное занятие.
- **Тон голоса:** Энергичный, мотивирующий, но в то же время экспертный и не фамильярный.

# ИНСТРУКЦИИ

1. Каждая идея должна включать: цепляющий заголовок, краткое описание сути поста и призыв к действию.
2. Идеи должны быть разнообразными: одна про тренажеры, одна про бассейн, одна про атмосферу, одна про тренеров, одна про специальное предложение.
3. Текст должен быть легким для восприятия.

**# КРИТИЧЕСКОЕ ОГРАНИЧЕНИЕ**
**Очень важно: НЕ ИСПОЛЬЗУЙ банальные и общие хэштеги вроде #фитнес, #спорт, #зож, #тренировка. Если предлагаешь хэштеги, они должны быть уникальными и брендовыми (например, #АтлантВделе).**

Этот промпт работает благодаря принципу, выявленному в исследовании.

1. Структура и контекст: Сначала модель получает весь необходимый контекст (про клуб, аудиторию, цели). Это формирует "базу знаний" для выполнения задачи.
2. Позиционирование ключевого правила: Самое важное и легко нарушаемое правило — запрет на использование банальных хэштегов — размещено в самом конце. После обработки всего контекста и общих инструкций, модель сталкивается с этим ограничением как с финальной, самой свежей в "памяти" директивой. Это резко снижает вероятность того, что она по своей статистической привычке добавит стандартные хэштеги #фитнес или #спорт.

Задача для HR-специалиста: составить текст вакансии, но без упоминания зарплаты, чтобы сначала оценить кандидатов по навыкам.

# РОЛЬ

Ты — опытный HR-менеджер.

# ЗАДАЧА

Напиши текст вакансии на должность "Аналитик данных" для IT-компании "Вектор".

# ИНФОРМАЦИЯ О КОМПАНИИ И ВАКАНСИИ

- **Компания:** "Вектор", лидер в области разработки ПО для логистики. Мы ценим инициативу и профессиональный рост.
- **Команда:** Дружный коллектив из 15 аналитиков, работаем по Agile.
- **Обязанности:**- Сбор и обработка больших данных.
- Построение дашбордов в Power BI.
- Проверка гипотез и проведение A/B тестов.
- Подготовка отчетов для руководства.
- **Требования к кандидату:**- Опыт работы от 2 лет.
- Отличное знание SQL и Python (pandas, numpy).
- Опыт работы с Power BI или Tableau.
- **Мы предлагаем:**- Официальное трудоустройство, ДМС.
- Гибкий график, возможность удаленной работы 2 дня в неделю.
- Бюджет на обучение и конференции.

**# ГЛАВНОЕ ПРАВИЛО**
**Критически важно: в тексте вакансии ни в каком виде НЕ упоминай зарплату, зарплатную вилку или фразы вроде "конкурентная заработная плата". Цель — сфокусировать кандидата на задачах и условиях, а не на деньгах.**

Механизм абсолютно тот же, что и в предыдущем примере, и он напрямую следует из выводов исследования.

1. Погружение в контекст: Модель сначала "вживается" в роль HR-менеджера и получает всю фактуру: кто нужен, что делать, какие условия. На этом этапе у нее активируются все паттерны, связанные с написанием вакансий.
2. Статистическая ловушка: Стандартный паттерн для вакансии — это блок про зарплату. Если бы инструкция о ее неупоминании была в начале, модель, обработав большой объем текста о задачах и бонусах, могла бы "забыть" об этом ограничении и по инерции добавить стандартную фразу в конце.
3. Финальная директива: Размещая жесткое и четкое ограничение (НЕ упоминай зарплату) в самом конце, мы используем его как "фильтр последней мили". Это последняя инструкция, которую модель обрабатывает перед генерацией. Она перевешивает статистическую привычку и заставляет модель сознательно избегать упоминания денег, точно выполняя самое важное условие промпта.

• Предварительный фильтр: Исследование полностью сфокусировано на генерации текстовых данных (в формате кода/структурированных данных) на основе текстовых инструкций (схем). Оно проходит фильтр и подлежит полной оценке.
• A. Релевантность техникам промтинга: Высокая. Исследование напрямую сравнивает эффективность различных форматов представления инструкций (JSON, YAML, NL) и, что более важно, изучает влияние позиции инструкции в промпте.
• B. Улучшение качества диалоговых ответов: Низкая. Фокус на генерации строго структурированного кода (JSON/YAML), а не на качестве диалога или связного текста.
• C. Прямая практическая применимость: Низкая для основной задачи (генерация кода по схемам), но высокая для выявленных поведенческих закономерностей, которые можно перенести на любые задачи.
• D. Концептуальная ценность: Очень высокая. Раскрывает фундаментальный аспект поведения LLM — "потеря информации в середине контекста" ("Lost in the Middle") и слабость в обработке числовых ограничений.
• E. Новая полезная практика (кластеры): Работа попадает в несколько ключевых кластеров:
  • Кластер 2 (Поведенческие закономерности LLM): Главная ценность. Вывод о том, что инструкции в начале и середине промпта игнорируются чаще, чем в конце — это золотой стандарт.
  • Кластер 3 (Оптимизация структуры промптов): Прямое сравнение эффективности разных форматов (JSON, YAML, NL) и вывод о влиянии позиции правила.
  • Кластер 5 (Извлечение и структурирование): Вся работа посвящена генерации структурированных данных, давая понять, какие форматы инструкций лучше работают.
• Чек-лист практичности (+15 баллов): ДА, работа объясняет, где в промпте размещать важную информацию и раскрывает неочевидные особенности поведения LLM.

Оценка 78 обусловлена балансом между узкоспециализированной основной темой исследования (генерация кода по схемам) и чрезвычайно ценными, универсально применимыми выводами о поведении LLM.