TL;DR
Когда просишь LLM дать обратную связь, уровень детализации подсказки меняет результат. Исследование проверило три структуры фидбека на 3000+ реальных задачах: «найди все проблемы и объясни как исправить» дало самый слабый эффект, а «только опиши что не так, без решений» — один из лучших.
Проблема в том, что LLM по умолчанию выдаёт обстоятельный, многослойный фидбек: вот ошибка, вот почему она возникла, вот как исправить, и ещё две такие же. Это создаёт перегрузку: человек видит три проблемы с инструкциями и теряет фокус. Итог — больше попыток, дольше к решению.
Исследование сравнило три подхода: общий фидбек (до 3 проблем + объяснение + как исправить), фокусированный (1 проблема + объяснение + следующий шаг), диагностический (до 3 проблем, только описание — без подсказок решения). Диагностический фидбек дал меньше всего попыток до правильного ответа, фокусированный — быстрейшее время решения. Подробный общий — слабее обоих.
Схема метода
Три варианта структуры запроса на фидбек — выбирай под задачу:
ДИАГНОСТИЧЕСКИЙ (меньше попыток):
Запрос → "Найди до 3 проблем. Только опиши что не так — без советов как исправить"
Результат → список формулировок проблем
ФОКУСИРОВАННЫЙ (быстрее к решению):
Запрос → "Найди самую важную проблему. Объясни что не так и дай один конкретный следующий шаг"
Результат → разбор одной проблемы + направление
ОБЩИЙ (стандартный, но слабее):
Запрос → "Найди до 3 проблем, объясни каждую и расскажи как исправить"
Результат → подробный разбор всех проблем (информационная перегрузка)
Все три работают в одном запросе, без дополнительных шагов.
Пример применения
Задача: Ты написал описание курса по финансовой грамотности для Stepik. Хочешь, чтобы LLM нашла слабые места — но не переписывала сама, а помогла тебе додуматься.
Промпт (диагностический вариант):
Перед тобой описание онлайн-курса для страницы на Stepik.
Найди до 3 проблем в этом тексте с точки зрения того,
почему потенциальный студент может не записаться.
Для каждой проблемы: только опиши что именно не работает
и почему это отталкивает. Не давай советов как исправить —
только диагноз.
[вставить текст описания курса]
Результат: Модель выдаст 2-3 чётких формулировки проблем в формате "вот что не так и почему это создаёт барьер для читателя". Без инструкций по правке. Ты сам решаешь что и как исправить — и делаешь это быстрее, потому что задача ясна, но голова не перегружена чужими решениями.
Почему это работает
Слабость LLM — она не знает, сколько информации тебе нужно. Спроси "дай полный фидбек" — получишь всё что знает: три проблемы, объяснения, примеры, как исправить. Это не плохо само по себе, но три проблемы с инструкциями = три задачи одновременно. Человек начинает распределять внимание и буксует.
Сильная сторона LLM — она хорошо видит паттерны и может локализовать проблему, не предлагая решения. Это редко используют, потому что привычка — просить сразу "найди и исправь".
Как метод использует это — диагностический запрос снимает с LLM задачу придумывать решение. Модель концентрируется на точном описании проблемы. Ты получаешь ясный диагноз без чужого лечения — и сам идёшь к решению быстрее, потому что понимаешь, куда смотреть.
Рычаги управления: - Количество проблем → попроси найти только 1 — получишь максимальный фокус, быстрее к решению - «Только диагноз» → убери это ограничение, если хочешь сразу и идеи по правке - Уровень твоей экспертизы → чем лучше разбираешься в теме, тем больше тебе подходит диагностический вариант; если тема незнакома — бери фокусированный с одним шагом
Шаблон промпта
Перед тобой {что это: текст / структура / идея / план}.
{Выбери один вариант:}
→ ДИАГНОСТИЧЕСКИЙ:
Найди до {2-3} проблем в {том, что нужно проверить}
с точки зрения {критерий оценки: убедительности / ясности / логики / продаж}.
Для каждой проблемы опиши только что именно не работает и почему.
Без советов как исправить — только диагноз.
→ ФОКУСИРОВАННЫЙ:
Найди самую важную проблему в {том, что нужно проверить}
с точки зрения {критерий}.
Объясни что именно не так, почему это проблема,
и дай один конкретный следующий шаг.
{вставь свой текст / материал}
Что подставлять:
- {что это} — лендинг, питч, резюме, план статьи, структура курса
- {критерий оценки} — с чьей точки зрения смотреть: инвестора, читателя, HR, клиента
- {2-3} — количество проблем: меньше = быстрее и фокуснее
🚀 Быстрый старт — вставь в чат:
Вот шаблон для диагностического фидбека на мою работу.
Адаптируй под мою задачу: {опиши свою задачу}.
Задавай вопросы, чтобы заполнить нужные поля.
[вставить шаблон выше]
LLM спросит что именно проверить и с какой точки зрения смотреть — потому что без критерия оценки диагноз будет размытым. Она возьмёт структуру из шаблона и адаптирует под твою задачу.
Ограничения
⚠️ Уровень экспертизы меняет результат: Новички в теме почти не выигрывают от фокусированного подхода (1 проблема) — им нужен контекст для понимания. Чем лучше ты разбираешься в предмете, тем эффективнее диагностический вариант.
⚠️ Давность данных: Если просишь фидбек по теме, которая появилась после даты обучения модели (например, новый инструмент, вышедший в 2024), — диагностический тип работает лучше. Общий фидбек с конкретными советами "как исправить" может опираться на устаревшие версии и давать некорректные инструкции.
⚠️ Разброс по задачам высокий: Средние эффекты убедительны, но индивидуальный результат варьируется сильно. Один и тот же тип фидбека помогает одним людям значительно, другим — почти не заметен.
⚠️ Контекст — программирование: Исследование проводилось на задачах веб-разработки. Для субъективных задач (оценить стиль, тон, эстетику) эффект может быть другим.
Ресурсы
The Effects of Structured LLM-Generated Feedback on Programming Assignment Performance Tsvetomila Mihaylova, Evanfiya Logacheva, Arto Hellas, Jing Fan, Francisco Castro, Bita Akram, Narges Norouzi, Peter Brusilovsky, Juho Leinonen Aalto University (Dept. of Computer Science), New York University, North Carolina State University, UC Berkeley, University of Pittsburgh Контакт: tsvetomila.mihaylova@aalto.fi
Связанные концепции: expertise reversal effect (Kalyuga, 2007), cognitive load in feedback design (Xiao et al., 2024)