Улучшение генерации кода на основе LLM с использованием метрик сложности: подход, основанный на обратной связи

Исследование показывает, что правильность кода, сгенерированного LLM, сильно зависит от его структурной сложности. Неудачные попытки часто бывают либо слишком сложными, либо слишком простыми по сравнению с верным решением. Авторы предлагают итерационный метод, где после неудачной генерации модель просят повторить попытку, но с указанием изменить конкретные метрики сложности (например, длину кода, количество переменных).

Ключевой результат: Управление структурной сложностью вывода является эффективным способом исправления ошибок LLM, а не только прямое указание на содержательные неточности.

Представьте, что вы просите LLM написать короткий рассказ. Первый вариант получился слишком запутанным, с длинными предложениями и сложной лексикой. Вместо того чтобы говорить "перепиши, мне не нравится", вы, основываясь на идее этого исследования, даете более конкретную структурную обратную связь: "Этот рассказ слишком сложен. Пожалуйста, напиши новую версию, но используй более короткие предложения, простую лексику и уложись в 200 слов".

Суть метода — в переходе от обратной связи по содержанию ("ты не учел этот факт") к обратной связи по структуре и форме ("твой ответ слишком длинный/простой/запутанный"). Исследование доказывает, что LLM способны понимать такие "структурные" инструкции и корректировать свои ответы, что значительно повышает шансы на успех.

Методика для пользователя сводится к трем шагам: 1. Оценить неудачный ответ LLM: Он слишком сложный и "водянистый" или, наоборот, слишком простой и поверхностный? 2. Сформулировать проблему в терминах структуры: Определить, какие характеристики нужно изменить (длина, детализация, количество пунктов, сложность лексики). 3. Дать команду на изменение структуры: В следующем промпте явно попросить модель изменить эти характеристики.

*Прямая применимость:Низкая. Пользователь не будет вычислять "индекс поддерживаемости" или "сложность Холстеда" для абзаца текста. Метод в его исходном виде предназначен для автоматизированных систем генерации кода.

• Концептуальная ценность: Высокая. Главный вывод для пользователя — LLM чувствительны не только к тому, что их просят сделать, но и к тому, как должен выглядеть результат. Понимание того, что ошибка может лежать в "неправильной сложности" ответа, помогает пользователю лучше диагностировать проблему и давать более точные корректирующие инструкции.

• Потенциал для адаптации: Огромный. Технические метрики из статьи легко заменяются на их текстовые аналоги. "Количество строк кода" превращается в "количество абзацев/предложений". "Количество переменных" — в "количество идей/аргументов". "Вложенность циклов" — в "уровень детализации/вложенности списков". Пользователь может давать команды вроде: "Сделай ответ короче", "Разбей на 5 пунктов", "Добавь больше деталей к каждому пункту", "Используй более простую лексику".

Представим, что пользователь попросил составить рекламный пост, а получил слишком сложный и перегруженный текст.

Ты — опытный маркетолог, который пишет тексты для социальных сетей. Твоя задача — создавать понятный и вовлекающий контент.
**Контекст:**
Я продаю онлайн-курс по управлению личными финансами для начинающих. Целевая аудитория — люди 20-30 лет, которые ничего не знают об инвестициях.

**[ПРЕДЫДУЩИЙ НЕУДАЧНЫЙ ОТВЕТ МОДЕЛИ]**
- Откройте для себя синергию финансовой грамотности с нашим инновационным курсом! Мы предлагаем комплексный подход к диверсификации портфеля, изучению волатильности рынков и оптимизации фискальной нагрузки. Наши образовательные парадигмы позволят вам достичь экспоненциального роста капитала. Записывайтесь, инвестируйте, богатейте!*

**[ОБРАТНАЯ СВЯЗЬ И НОВЫЙ ЗАПРОС]**
Предыдущий ответ был неудачным. Он слишком сложный, наукообразный и отпугнет новичков.

Пожалуйста, перепиши пост, **изменив его структурные характеристики**:
1. **Упрости лексику:** Полностью убери профессиональные термины ("синергия", "диверсификация", "фискальная нагрузка", "парадигмы"). Говори на языке обычного человека.
2. **Сократи объем:** Уложись в 3-4 коротких абзаца.
3. **Измени структуру:** Начни с понятной проблемы (например, "Деньги утекают, а накоплений нет?"), а затем предложи простое решение.
4. **Уменьши количество призывов к действию:** Оставь только один, самый понятный и главный в конце.

Этот промпт работает, потому что он применяет центральную идею исследования — управление сложностью и структурой вывода.

• Прямое указание на структурные недостатки: Вместо абстрактного "сделай проще", мы даем конкретные, измеримые инструкции, которые являются аналогами метрик из статьи:
  • Упрости лексику — аналог метрики "Vocabulary" (словарь).
  • Сократи объем — аналог метрики "Lines of Code" (количество строк).
  • Измени структуру и Уменьши количество призывов — аналоги метрик, связанных с управляющими конструкциями и ключевыми словами.
• Направление внимания модели: Мы заставляем LLM сфокусироваться не на поиске новых синонимов для "инвестиций", а на перестройке самой формы ответа. Это снижает вероятность того, что модель снова сгенерирует сложный текст, так как ее "целевая функция" сместилась на достижение указанных структурных параметров.

Представим, что пользователь планирует отпуск и получил слишком общий, поверхностный план.

Ты — опытный турагент. Твоя задача — составлять подробные и полезные маршруты.
**Контекст:**
Я хочу составить план поездки в Стамбул на 4 дня. Я люблю историю, вкусную еду и красивые виды.

**[ПРЕДЫДУЩИЙ НЕУДАЧНЫЙ ОТВЕТ МОДЕЛИ]**
- День 1: Султанахмет. Посмотрите Голубую мечеть и Айя-Софию.
День 2: Прогулка по городу. Посетите Гранд-базар.
День 3: Босфор. Прокатитесь на пароме.
День 4: Отъезд.*

**[ОБРАТНАЯ СВЯЗЬ И НОВЫЙ ЗАПРОС]**
Этот план слишком общий и бесполезный. В нем нет никакой конкретики.

Пожалуйста, переделай его, **увеличив его структурную сложность и детализацию**:
1. **Увеличь количество деталей:** Для каждого дня предложи не менее 3-4 конкретных мест или активностей.
2. **Добавь структуру:** Используй вложенные списки. Для каждого места кратко укажи, почему его стоит посетить.
3. **Расширь контент:** Для каждого дня добавь рекомендацию по еде (например, "Обед: попробуйте кебаб в историческом ресторане X").
4. **Добавь практическую информацию:** Укажи примерное время на посещение каждого места и советы по логистике (например, "эти два места рядом, их удобно смотреть вместе").

Этот пример демонстрирует обратную ситуацию, описанную в исследовании: когда ответ модели оказался слишком простым (как у GPT-3.5 в статье).

• Целенаправленное усложнение: Мы даем команду не просто "добавить деталей", а явно просим изменить структуру (вложенные списки), увеличить количество элементов (не менее 3-4 мест), добавить новые категории информации (рекомендацию по еде, практическую информацию).
• Управление "глубиной" ответа: Инструкции заставляют модель генерировать более сложный и информационно насыщенный ответ. Мы, по сути, просим "увеличить значения метрик" типа "количество сущностей", "глубина вложенности" и "объем информации на пункт". Это позволяет преодолеть склонность модели к поверхностным ответам и получить действительно полезный результат.

• A. Релевантность техникам промптинга: Низкая. Исследование предлагает не конкретные формулировки, а итерационный метод, требующий внешних инструментов для расчета метрик кода.
• B. Улучшение качества диалоговых ответов: Косвенное. Метод напрямую улучшает качество генерации кода, но основная идея (управление сложностью) может быть адаптирована для улучшения текстовых ответов в диалоге.
• C. Прямая практическая применимость: Очень низкая. Обычный пользователь не может рассчитать 53 метрики сложности кода (Cyclomatic, Halstead и др.) и использовать их в промпте. Это метод для разработчиков или автоматизированных систем.
• D. Концептуальная ценность: Очень высокая. Исследование вскрывает фундаментальную поведенческую закономерность LLM: ошибки часто связаны с несоответствием уровня сложности ответа требуемому уровню. Это объясняет, почему модели иногда выдают слишком простые или, наоборот, чересчур запутанные ответы.
• E. Новая полезная практика (кластеры):
  • Кластер 2 (Поведенческие закономерности LLM): Да, работа показывает, что сложность является ключевым фактором успеха/неудачи.
  • Кластер 7 (Надежность и стабильность): Да, предлагается метод для итеративного повышения точности.
• Чек-лист практичности (+15 баллов):
  • Раскрывает неочевидные особенности поведения LLM? Да.
  • Предлагает способы улучшить consistency/точность ответов? Да (хоть и в узкой сфере).

Оценка 65 отражает огромную концептуальную ценность исследования, которая омрачается почти нулевой прямой применимостью для обычного пользователя. Это работа из категории "Интересно, попробую адаптировать". Она не дает готовых рецептов, но вооружает пользователя мощной ментальной моделью для анализа и коррекции ответов LLM.