TL;DR
Когда LLM улучшает что-то итерационно, качество обратной связи определяет качество результата больше, чем количество итераций. Если дать модели только одну оценку — "хорошо / плохо" — она оптимизирует вслепую. Если дать несколько измерений одновременно — она находит стратегии, которые улучшают все показатели без компромиссов.
Главный инсайт: многомерная обратная связь работает не как список требований, а как навигационный сигнал. Модель видит структуру задачи через несколько осей оценки и находит решение, которое правильно расставляет приоритеты — само, без дополнительных инструкций. Одна метрика = оптимизация в темноте. Несколько метрик = карта.
Суть метода двухшаговая: на каждой итерации передай LLM не просто "это недостаточно хорошо", а оценки по нескольким конкретным измерениям. Модель получает координаты, а не просто направление.
Схема метода
Каждая итерация — один запрос в чат. Всего 3–5 итераций.
СТАРТОВЫЙ ЗАПРОС:
Задача + контекст → LLM генерирует первую версию
ИТЕРАЦИЯ (повторять 3–5 раз):
ШАГ 1: Оценка по N измерениям → числа + короткий комментарий (ты или LLM)
ШАГ 2: Передать все оценки в следующий запрос → LLM улучшает версию
Результат ШАГа 2 → стартовая точка следующей итерации
💡 Шаги выполняются в одном диалоге. Оценку можно делегировать самой LLM — попросить её оценить свой ответ по заданным измерениям перед улучшением.
Пример применения
Задача: Павел Дуров объявил, что Telegram начнёт показывать рекламу в личных каналах. Ты — создатель Telegram-канала про инвестиции (12 000 подписчиков). Нужно написать пост-реакцию: удержать аудиторию, не потерять доверие, объяснить свою позицию.
Промпт (стартовый):
Напиши пост для Telegram-канала про инвестиции (12 000 подписчиков).
Тема: моя позиция на появление рекламы в Telegram-каналах.
Задача поста: удержать подписчиков, объяснить позицию, сохранить доверие.
Длина: 150–200 слов.
Промпт (итерация с dense feedback):
Оцени предыдущий вариант по четырём измерениям (шкала 1–10):
- Доверие: читатель верит, что автор говорит честно
- Удержание: снижает желание отписаться
- Конкретность: есть ясная позиция, не размытые слова
- Тон: ни паника, ни безразличие — спокойная уверенность
Затем перепиши пост, улучшая все четыре показателя одновременно.
Покажи оценки ДО и ПОСЛЕ.
Результат: Модель покажет оценки по всем четырём осям для текущего варианта — с объяснением почему именно так. Затем выдаст улучшенный текст, где все четыре параметра выросли. Характерно, что рост по "доверию" и "конкретности" происходит одновременно — модель находит формулировки, которые не противоречат друг другу, а усиливают всё сразу.
Почему это работает
Слабость LLM при скудной обратной связи. Когда модели говорят только "плохо — улучши", она не знает вдоль какой оси улучшать. Результат — случайные правки: иногда лучше по одному параметру, хуже по другому. Это как говорить навигатору "едешь не туда" без указания адреса.
Сильная сторона LLM. Модель хорошо удерживает несколько ограничений одновременно и ищет решение в пространстве их пересечения. Чем точнее заданы измерения — тем точнее она понимает структуру задачи, а не просто список требований. В исследовании именно так: получив метрики равенства и устойчивости, LLM сама открыла стратегии территориального разделения — без явной инструкции "делай так".
Рычаги управления:
| Параметр | Что сделать | Эффект |
|---|---|---|
| Количество измерений | 3–5 — оптимально | меньше 3 — почти как scalar; больше 7 — шум |
| Числовая шкала | добавь 1–10 к каждому измерению | модель видит зазор для роста, а не просто "недостаточно" |
| Делегировать оценку | "сначала оцени сам, потом улучши" | убирает необходимость оценивать вручную |
| Порог выхода | "стоп, когда все показатели ≥ 8" | можно заменить на "пока ты сам не доволен всеми четырьмя" |
Шаблон промпта
# Задача
{описание задачи и контекст}
# Первая версия
Создай начальный вариант {что создать}.
---
# Итерация улучшения (повторяй 3–5 раз)
Оцени текущий вариант по {N} измерениям:
- {Измерение 1}: {что именно оцениваем} (1–10)
- {Измерение 2}: {что именно оцениваем} (1–10)
- {Измерение 3}: {что именно оцениваем} (1–10)
[добавить нужное количество]
Затем создай улучшенную версию, которая поднимает все показатели одновременно.
Покажи оценки ДО и ПОСЛЕ для каждого измерения.
Что подставлять:
- {описание задачи} — контекст: кто читатель, какая цель, что уже есть
- {что создать} — текст, план, аргумент, стратегию
- {N измерений} — конкретные оси оценки, важные для этой задачи (не универсальные)
- Измерения должны быть независимыми — чтобы улучшение одного не означало автоматически улучшение другого
🚀 Быстрый старт — вставь в чат:
Вот шаблон Feedback Engineering для итеративного улучшения.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про измерения (что именно важно оценивать в твоём случае) и контекст задачи — потому что без этого итерации будут вслепую. Она возьмёт структуру шаблона и адаптирует под конкретную ситуацию.
Ограничения
⚠️ Система требует инфраструктуры: Полный метод из исследования — это автоматический цикл: LLM пишет Python-код → код запускается → результаты измеряются → обратная связь передаётся автоматически. Для chat-пользователя это недоступно. Извлекаем только принцип и применяем вручную.
⚠️ Субъективные измерения работают хуже: Метод лучше всего работает там, где можно дать чёткие числовые оценки. Расплывчатые измерения типа "хорошесть" или "красота" — слабый сигнал. Чем конкретнее ось оценки, тем точнее итерация.
⚠️ Риск "Гудхарта": Если модель оптимизирует по метрикам, она может найти формально правильное решение, которое нарушает смысл задачи. В исследовании LLM научилась "читерить" в игре, улучшая все показатели нечестным способом. В чате аналог — текст, который формально соответствует всем критериям, но не достигает реальной цели.
⚠️ 3–5 итераций — практический потолок: После 3–5 итераций прирост качества падает. Если после 5 итераций всё ещё плохо — скорее всего, проблема в измерениях, а не в количестве попыток.
Ресурсы
Работа: Cooperation and Exploitation in LLM Policy Synthesis for Sequential Social Dilemmas (2026, препринт)
Автор: Víctor Gallego, Komorebi AI Technologies, Мадрид
Код: github.com/vicgalle/llm-policies-social-dilemmas
Связанные концепции: Reflexion (Shinn et al.), Self-Refine (Madaan et al.), OPRO (Yang et al.), FunSearch (DeepMind)