TL;DR
Когда просишь LLM дать обратную связь по тексту, она выдаёт длинные, безличные утверждения — без вопросов, без указания конкретных предложений, без расстановки приоритетов. Звучит авторитетно, но сложно применить: непонятно что исправлять в первую очередь, а тон — как у проверяющего, не наставника.
Исследование FOXGLOVE сравнило 696 комментариев живых преподавателей с 1644 комментариями четырёх топовых LLM на одних и тех же текстах. Нашлось три устойчивых разрыва: LLM пишет в два раза длиннее (87 слов против 38), почти не задаёт вопросов (0.23 против 0.85 на 100 слов) и редко расставляет приоритеты — когда два ревьюера совпадают в оценке срочности, это случается лишь в 38% случаев. При этом более высокие оценки качества LLM-комментариев почти полностью объясняются длиной: когда длину выравнивают статистически, разрыв практически исчезает.
Из находок исследования вытекает набор конкретных инструкций: попроси LLM привязать каждый комментарий к цитате, ограничить длину, задавать вопросы, обращаться напрямую («ты/вы») и выбрать три самых срочных замечания. Это перекрывает все три разрыва одним промптом.
Схема метода
Один промпт, пять правил:
ПРАВИЛО 1: Цитата → LLM привязывает комментарий к конкретному предложению текста
ПРАВИЛО 2: Цель → LLM указывает, что именно комментирует (тезис/аргумент/доказательство/контраргумент/опровержение)
ПРАВИЛО 3: Короткий комментарий (до 40 слов) + вопрос или прямое обращение
ПРАВИЛО 4: Топ-3 по срочности → LLM выбирает и нумерует важнейшее
ПРАВИЛО 5: Итоговая фраза → один глобальный вывод о тексте в целом
Всё выполняется в одном запросе.
Пример применения
Задача: Основатель стартапа написал питч-текст для Telegram-канала венчурного фонда. Хочет понять, что слабо, прежде чем рассылать.
Промпт:
Дай обратную связь по моему тексту. Соблюдай правила:
Для каждого комментария:
— Процитируй точное предложение, о котором говоришь
— Укажи его роль: Тезис / Аргумент / Доказательство / Контраргумент / Опровержение
— Напиши комментарий: до 40 слов, с вопросом или прямым обращением на «вы»
После всех комментариев:
— Выбери 3 самых важных и пронумеруй по срочности (1 = исправить первым)
— Напиши одну итоговую фразу о тексте в целом
Текст:
«Мы создали платформу для автоматизации найма.
Рынок HR-tech в России растёт на 25% в год.
Наш продукт сокращает время закрытия вакансии с 45 до 12 дней.
Конкуренты не решают проблему bias при отборе.
Мы уже работаем с тремя компаниями из списка Forbes.»
Результат: Модель разберёт каждое предложение: процитирует его, назовёт роль в аргументации, напишет короткий комментарий с вопросом (например: «Как именно вы измерили сокращение с 45 до 12 дней — это средний показатель по всем клиентам?»). Потом выберет тройку приоритетов с нумерацией. В конце — одна итоговая оценка всей аргументации. Ответ будет структурированным и коротким — без многостраничных рассуждений.
Почему это работает
LLM генерирует текст, ориентируясь на паттерны из обучающих данных. Обратная связь на академические тексты в этих данных — длинная, формальная, в стиле рецензии. Поэтому по умолчанию модель и выдаёт именно такой формат: объёмный, безличный, без вопросов.
При этом LLM очень хорошо следует явным структурным инструкциям. Если сказано «до 40 слов» — будет 40. Если сказано «задай вопрос» — задаст. Структурированный промпт перебивает паттерн по умолчанию и задаёт новый.
Расстановка приоритетов — отдельная слабость. Исследование показало: когда два разных ревьюера (даже оба LLM) смотрят на один и тот же текст, они совпадают по срочности лишь в каждом пятом случае. Явная инструкция «выбери топ-3» не гарантирует экспертной точности, но хотя бы заставляет модель сделать выбор, а не выдать всё с одинаковым весом.
Рычаги управления промптом: - Лимит слов (40 слов) → увеличь до 70-80, если нужна развёрнутая аргументация по каждому пункту - Количество приоритетов (3 → 5) → для длинных текстов или когда нужен полный разбор - Список целей → замени пять академических категорий на свои (например: «крючок / проблема / решение / CTA» для маркетинговых текстов) - Тон обращения («вы» → «ты») → адаптируй под стиль общения - Добавь роль → «Ты — опытный редактор делового текста» усилит точность категоризации
Шаблон промпта
Дай обратную связь по моему тексту. Соблюдай правила:
Для каждого комментария:
— Процитируй точное предложение, о котором говоришь
— Укажи его роль: {список_ролей}
— Напиши комментарий: до {лимит_слов} слов, с вопросом или прямым обращением
После всех комментариев:
— Выбери {число_приоритетов} самых важных и пронумеруй по срочности (1 = исправить первым)
— Напиши одну итоговую фразу о тексте в целом
Текст:
{текст}
Что подставлять:
- {список_ролей} — для аргументативных текстов: «Тезис / Аргумент / Доказательство / Контраргумент / Опровержение». Для питчей: «Проблема / Решение / Доказательство / Возражение / Призыв к действию». Для статей: «Главная мысль / Аргумент / Пример / Переход»
- {лимит_слов} — 40 для плотной, действенной обратной связи; 70-80 если хочешь развёрнутые объяснения
- {число_приоритетов} — 3 для коротких текстов, 5 для длинных
- {текст} — твой текст целиком
🚀 Быстрый старт — вставь в чат:
Вот шаблон для структурированной обратной связи по тексту.
Адаптируй под мою задачу: {опиши задачу}.
Задавай вопросы, чтобы заполнить нужные поля.
[вставить шаблон выше]
LLM спросит про тип текста и нужные категории ролей — потому что список ролей зависит от жанра: питч, статья, эссе и пост в Telegram требуют разных категорий.
Ограничения
⚠️ Приоритизация — слабое место: Даже с явной инструкцией «выбери топ-3» LLM расставляет приоритеты иначе, чем эксперт. Используй как отправную точку, а не как окончательный вердикт — проверяй финальный порядок сам.
⚠️ Тон остаётся формальным: Это единственное измерение, где LLM стабильно уступает живым преподавателям. Добавление вопросов и «вы/ты» частично компенсирует, но полностью репликой живого наставника не станет. Для эмоционально чувствительной обратной связи (детские тексты, творческие работы) — осторожнее.
⚠️ Конкретные предложения — не гарантия: LLM и эксперты совпадают в выборе конкретного предложения примерно в каждом пятом случае. Цитата появится, но не факт что моделью выбрана именно та фраза, которую отметил бы живой ревьюер.
⚠️ Длина ≠ качество: Кажущееся превосходство длинных LLM-комментариев статистически объясняется самой длиной. Если ограничение по словам убрать — получишь мощно звучащий, но не более полезный текст.
Ресурсы
FOXGLOVE: Understanding Goal-Oriented and Anchored Writing Feedback from Experts and LLMs on Argumentative Essays Yijun Liu, Yifan Song, John Gallagher, Sarah Sterman, Tal August University of Illinois Urbana-Champaign Датасет: github.com/yijunliu23/foxglove_data_release