TL;DR
Если попросить ChatGPT поправить текст «чтобы выдержал рецензию», «чтобы ответил на возражения» или «чтобы точно приняли», модель начинает писать для воображаемого критика. Она добавляет оговорки, которых нет в ваших данных, и превращает объяснения в фразы вроде «эти результаты сами по себе не доказывают…». Если же попросить просто «отполируй», модель почти не трогает смысл. Достаточно одного упоминания критика, чтобы включился защитный режим.
Реальная боль: вы написали «новая схема стабильнее», а в правке читаете «мы не утверждаем, что схема стабильнее». Авторы проверили, были ли отозванные модельной правкой утверждения действительно завышены. В новейшей версии GPT таких набралось меньше одного из десяти. Остальное — обоснованные утверждения и авторские объяснения. Это не исправление ошибок, а страховка от критики. Текст при этом растёт и тяжелее читается, а автор выглядит менее уверенным.
Правило простое: для правки языка не упоминай рецензента и критику. Если нужна критика, проси её отдельным запросом и решай сам, что принять. Если попросить модель сначала раскритиковать текст, а потом переписать с учётом критики, защитность вырастает ещё сильнее. Она не снижается и в следующих раундах.
Схема метода
Это правило, а не многошаговая техника. Схема того, что включает защиту, а что нет:
НЕ ВКЛЮЧАЕТ защиту:
«Отполируй абзац»
«Отполируй для внутреннего отчёта»
«Отполируй для топ-конференции»
+ «Не добавляй результатов, чисел, ссылок, которых нет в тексте»
ВКЛЮЧАЕТ защиту (от слабого к сильному):
«Чтобы максимизировать шанс приёма» → слабый триггер
«Чтобы выдержал рецензирование» → средний
«Предупреждение: рецензенты жёсткие» → средний или сильнее
«Ответь на возражения, которые вероятно поднимет рецензент» → самый сильный
УСИЛИВАЕТ ещё сильнее:
Раунд «сам разбери слабые места как рецензент» → «перепиши с учётом» → защита остаётся высокой во всех раундах
Всё это работает в одном промпте и в обычном чате.
Пример применения
Задача: Продакт-аналитик готовит раздел «Результаты» для заявки на грант ФСИ «Старт». Он запустил A/B-тест нового онбординга в мобильном приложении. Конверсия в первую покупку выросла с 8,1% до 9,6% на выборке в 42 000 пользователей, тест шёл три недели. Данные честные, вывод автор считает обоснованным. Ему нужно только причесать язык.
Промпт:
Ниже абзац из раздела «Результаты» заявки на грант. Отполируй его:
исправь стиль, убери повторы, сделай фразы короче и яснее.
Сохрани все утверждения и выводы автора в их исходной силе.
Не добавляй результатов, чисел, ссылок и ограничений, которых нет в абзаце.
Абзац:
«Новый онбординг повысил конверсию в первую покупку с 8,1% до 9,6%
на выборке 42 000 пользователей за три недели теста. Мы связываем рост
с тем, что пользователь видит ценность продукта до регистрации.
Это позволяет масштабировать решение на все платформы.»
Результат: Модель вернёт тот же абзац с более гладкими формулировками. Цифры, причинное объяснение («пользователь видит ценность до регистрации») и вывод про масштабирование останутся на месте. Новых оговорок вроде «в рамках оценённых условий» или «данные не позволяют судить о причинах» не появится. Если попросить «чтобы выдержал экспертизу фонда» или «ответь на возражения экспертов», ждите другого результата. Объяснение превратится в «возможно, связано с…», вывод про масштабирование станет «требует дополнительной проверки», а текст вырастет.
Почему это работает
Слабость модели. Модель отвечает на ожидаемую критику. Когда в промпте есть рецензент, возражения или «жёсткая экспертиза», она генерирует текст, который трудно оспорить. Самый безопасный способ сделать это — ослабить утверждение. Дорогой оговорки нет: её не нужно подкреплять данными. Поэтому оговорки добавляются даже там, где данные однозначные.
Сильная сторона. Если задача сформулирована как «отполируй», модель отлично справляется со стилем: убирает повторы, сглаживает фразы, сохраняет смысл. В эксперименте при такой формулировке ни одна из 12 моделей не добавляла необоснованных оговорок. Это касается и новейшей версии GPT, которая в защитном режиме была самой «осторожной».
Как использовать. Разделяйте режимы. Режим «язык» не должен содержать слов про критиков и экспертов. Режим «критика» должен быть отдельным запросом, где модель только перечисляет слабые места и ничего не переписывает.
Рычаги управления: - Слова про критика (рецензент, возражения, экспертиза, жёсткие оценки) → уберите, чтобы убрать защиту. - Формулировка «ответь на возражения, которые поднимет критик» → самая опасная, избегайте. - Запрет «не добавляй чисел, ссылок, результатов» → оставьте, он снижает выдумки, но сам защиту от критика не убирает. - Количество раундов «критика → переписывание» → один раунд уже даёт высокую защитность, три раунда не снижают её и раздувают текст в 2–3 раза.
Шаблон промпта
Ниже {тип_фрагмента} из {где_используется}. Отполируй его: исправь стиль,
убери повторы, сделай фразы короче и яснее.
Сохрани все утверждения и выводы автора в их исходной силе.
Не добавляй результатов, чисел, ссылок и ограничений, которых нет в тексте.
Текст:
{текст}
Что подставлять:
- {тип_фрагмента} — «абзац», «раздел», «письмо», «описание кейса».
- {где_используется} — «заявки на грант», «статьи для vc.ru», «отчёта для совета директоров». Не пишите «чтобы выдержал критику» и «чтобы одобрили».
- {текст} — ваш фрагмент.
Блок для отдельного запроса на критику, если она нужна (оригинала в статье нет, это вывод из её результатов):
Ниже {тип_фрагмента}. Не переписывай его.
Перечисли 3–5 мест, где утверждение слабо подкреплено данными,
и для каждого укажи, каких данных не хватает.
Данные, которые у меня есть: {данные}.
Текст:
{текст}
Ограничения
⚠️ Автоматический судья и спорные метки: вывод «отозванные утверждения почти не были завышены» опирается на оценку LLM-судьи. Два аспиранта-разметчика не подтвердили ни одной его метки «завышено». Поэтому доля «не завышено» убедительна, а точная доля завышенных утверждений — нет.
⚠️ Только научные абзацы: тестировали фрагменты научных статей по информатике. Переносить правило на питчи, письма и отчёты — разумно, но в самой статье это не проверялось.
⚠️ Нет сравнения качества: измеряли, сколько оговорок добавляется и как читаются тексты. Что «отполированный» текст лучше пройдёт реальную экспертизу, авторы не проверяли. Если ваш текст действительно переоценивает результат, режим «без критика» его не исправит.
⚠️ Привязка к версиям: сильнее всего эффект у самой новой версии GPT, а модели других разработчиков реагировали заметно слабее. Но даже они добавляли оговорки при самом сильном триггере. Проверьте правило на своей модели.
⚠️ Неполные данные об AI-рецензентах и читателях: в доступном тексте раздел про оценки AI-рецензентов и людей оборван. Из него видно: AI-рецензенты ставят защитным версиям более высокие оценки, а люди находят их тяжелее читаемыми и автора менее уверенным. Это сигнал, что цикл «AI пишет → AI оценивает» может закреплять защитный стиль.
Как исследовали
Исследователи взяли 77 абзацев из 20 научных статей по информатике, написанных до выхода ChatGPT. Так «человеческий» оригинал точно не был создан с участием модели. Абзацы делились на четыре типа: новизна, вклад, анализ результатов, обсуждение. 12 моделей (8 версий GPT и 4 модели других разработчиков для контроля) решали две задачи: переписать абзац и написать его с нуля по «листу фактов» с методом и цифрами, но без авторских интерпретаций.
Защитность измеряли двумя способами. Первый — построчная разметка: оговорка считается защитной, если её нет в материале, который видела модель. Второй — отслеживание судьбы каждого авторского утверждения: сохранено, смягчено или отозвано. Чем новее версия GPT, тем больше необоснованных оговорок. Новейшая версия начинает отзывать утверждения целиком. Даже когда она пишет по полному листу фактов, она добавляет больше всех необоснованных оговорок.
Главный эксперимент: один и тот же запрос поместили в семь контекстов. Просьба «отполируй» не давала защиты ни у одной модели. Стоило упомянуть рецензию, защита росла. Самый сильный триггер — «ответь на возражения, которые вероятно поднимет рецензент». Просьба «максимизируй шанс принятия» срабатывала намного слабее. То есть триггером служит не цель «понравиться», а ожидаемая критика. Один цикл «разбери как рецензент → перепиши» поднимал защиту ещё выше и держал её на этом уровне.
Затем проверили, не исправляет ли модель реальные завышения. Завышенными оказалось около 5% авторских утверждений. У новейшей версии GPT менее 10% отозванных утверждений были завышенными, примерно треть была обоснованной. Больше всего модель отзывала объяснения («почему получился такой результат»). Неожиданно и то, что первая гипотеза по оценке судьи вроде бы подтверждалась, но разметчики-люди с судьёй не согласились.
Адаптации и экстраполяции
🔧 Техника: добавить проверку на защитные вставки → видеть, что модель изменила по сути
Это моё продолжение, в статье его нет. Используйте классы оговорок из статьи как чек-лист.
Сравни исходный и отредактированный текст. Найди все места, где отредактированный
текст добавил или усилил оговорку, которой не было в исходном и которой нет в данных:
- «результаты не доказывают…»,
- сомнения о причинах и побочных факторах, которых нет в данных,
- размытое «в рассмотренных условиях» без уточнения каких.
Выведи список и верни эти места к исходной формулировке.
Данные, которые есть у автора: {данные}
Исходный: {исходный_текст}
Отредактированный: {отредактированный_текст}
🔧 Техника: критика отдельным запросом без переписывания → сохранить позицию автора
Если нужна жёсткая проверка аргументов, используйте второй шаблон из раздела «Шаблон промпта». Модель выдаст только список слабых мест, а решение о правках останется за вами. Это снимает эффект «критика → переписывание → защита».
Экстраполяция для агентов: если у агента есть правило «перед отправкой проверь текст как строгий рецензент и исправь», а затем он сам перерабатывает черновик, цепочка может запустить тот же эффект. Идея основана на результатах многораундовых экспериментов, но в статье для агентов не проверялась. Проверьте на своём агенте: сравните исходник и итог и посмотрите, остались ли утверждения на месте.
Ресурсы
- Название работы: Writing for the Reviewer: Defensive Writing in GPT Models
- Автор: Junchi Liao (аффилиация в доступном тексте не указана)
- В работе упомянуты: Liang et al., 2024 (использование AI при написании и рецензировании статей), Hyland, 1996 (осторожность как норма академического письма), промпты и разметка в приложениях B–E (в предоставленном тексте их нет).