TL;DR
Когда просишь LLM улучшить свой же текст, она не исправляет смысловые ошибки — она переписывает в своём стиле. Это не баг, это фундаментальное свойство: модель тянет текст к тому, как она сама пишет, а не к тому, что было в исходнике. Отсюда вытекает конкретная механика: рефайнмент (доработка) надёжно улучшает стиль, плавность, терминологию — но слабо и непредсказуемо работает с точностью содержания.
Главная боль при работе с текстом: просишь "улучши перевод/текст", пишешь подробный промпт с инструкцией "исправь все ошибки точности" — и получаешь примерно то же самое, что простое "сделай лучше". Сложный промпт с указанием конкретных типов ошибок не даёт преимущества перед простым запросом.
Исследование нашло рабочий рецепт: сначала генерируй текст с максимально широким контекстом (весь документ целиком), потом дорабатывай его по маленьким кускам (абзац, параграф) — при этом давая модели видеть полный текст. Этот подход надёжнее, чем доработка всего текста сразу. И делать несколько проходов рефайнмента (2-4 итерации) — лучше, чем один.
Схема метода
ШАГ 1: ГЕНЕРАЦИЯ
Пишешь (или просишь написать) ВЕСЬ текст целиком, одним запросом
→ Готовый черновик
ШАГ 2: РЕФАЙНМЕНТ (отдельные запросы для каждого куска)
Даёшь модели: [весь текст] + [конкретный кусок для доработки]
Просишь: простой "улучши этот фрагмент" (без деталей про типы ошибок)
→ Улучшенный фрагмент
Повторяй для каждого абзаца
Можно делать 2-4 итерации одного фрагмента
Шаги выполняются отдельными запросами. Шаг 2 можно повторять несколько раз на одном куске.
Пример применения
Задача: Ты написал питч-страницу для своего стартапа — агрегатора скидок на маркетплейсах. Нужно за неделю запустить лендинг. Текст готов, но звучит деревянно и как у всех.
Промпт — Шаг 1 (уже сделан): Весь текст лендинга написан → черновик готов.
Промпт — Шаг 2 (для каждого блока):
Вот полный текст моего лендинга:
---
[вставь весь текст лендинга целиком]
---
Сейчас дорабатывай только этот блок — заголовок и первый абзац:
---
[вставь только заголовок + первый абзац]
---
Улучши этот фрагмент: сделай текст живее, плавнее, сильнее.
Не меняй смысл и факты — только стиль и подачу.
Выдай только переработанный фрагмент.
После — берёшь следующий блок и повторяешь. Можно сделать 2-3 прохода по одному блоку.
Результат: Каждая итерация даст переформулированный фрагмент: текст станет глаже, фразы — естественнее, терминология — точнее. Смысл при правильном промпте сохранится. Если нужна максимальная полировка — прогони блок через 2-4 итерации, каждый раз подавая предыдущий результат как "текущую версию".
Почему это работает
Слабость LLM при доработке. Когда просишь модель "найди ошибки и исправь" — она плохо умеет точечно диагностировать и чинить конкретные проблемы. Её самооценка ненадёжна: она может "найти ошибку" там где её нет, или пропустить настоящую. Подробный промпт с перечислением типов ошибок не помогает — и часто даже вредит.
Сильная сторона LLM при доработке. Зато модель очень хорошо умеет переписывать текст в своём стиле — делать его глаже, натуральнее, с лучшим ритмом. Это и есть то, что происходит при рефайнменте. Модель не "чинит" — она тянет текст к своему внутреннему стандарту красивого текста.
Как метод использует это. Раз рефайнмент = стилевая полировка, стратегия простая: не мешай ему делать то, что он умеет. Простой промпт ("улучши") даёт модели свободу тянуть текст к своему стандарту — этого достаточно. Сложный промпт ("исправь ошибки точности, проверь термины, вырови стиль") ограничивает и сбивает с толку. А доработка мелкими кусками при видимости всего текста даёт модели достаточно контекста — она понимает общую картину и не нарушает связность.
Рычаги управления: - Размер куска → меньше кусок = больше правок и сильнее полировка, но медленнее - Количество итераций → 2-4 прохода лучше одного; после 4 отдача падает - Простота промпта → "улучши" работает лучше подробных инструкций про типы ошибок - Контекст → всегда давай полный текст + целевой фрагмент; без контекста модель рвёт связность
Шаблон промпта
Вот полный текст:
---
{весь_текст}
---
Дорабатывай только этот фрагмент:
---
{фрагмент_для_доработки}
---
Улучши этот фрагмент: сделай текст плавнее, живее, точнее по стилю.
Не меняй факты и смысл.
Выдай только переработанный фрагмент — без комментариев.
Что подставлять:
- {весь_текст} — полная версия вашего текста (статья, письмо, описание, питч)
- {фрагмент_для_доработки} — один абзац или логический блок (100-300 слов)
Прогони каждый блок 2-3 раза, каждый раз подавая обновлённую версию.
🚀 Быстрый старт — вставь в чат:
Вот шаблон двухходового рефайнмента.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какой текст дорабатывать и на какие блоки делить — потому что размер куска влияет на глубину правок и количество итераций. Она возьмёт паттерн из шаблона и адаптирует под задачу.
Ограничения
⚠️ Рефайнмент не исправляет смысловые ошибки: Если в тексте фактическая неточность или пропущена важная мысль — доработка стиля не поможет. Рефайнмент = полировка, не редактура по содержанию.
⚠️ Качество потолка ограничено моделью рефайнмента: Слабая модель не выправит текст до уровня сильной, сколько итераций ни делай. Если качество важно — используй сильную модель на шаге доработки.
⚠️ Первый черновик ограничивает финал: Если исходник плохой по содержанию — итоговый текст тоже не станет хорошим. Рефайнмент улучшает то что есть, но не переписывает с нуля.
⚠️ Простой промпт лучше — но это касается стиля: Для задач где нужно именно содержательное редактирование (проверка фактов, структуры, логики аргументов) — это исследование неприменимо.
⚠️ Исследование проводилось на литературном переводе. Принципы стиля и гранулярности переносятся на любые тексты, но конкретные цифры улучшений — только для перевода.
Как исследовали
Команда из Амстердамского университета, Кембриджа и Amazon AGI взяла задачу литературного перевода — намеренно сложную: художественные тексты требуют и точности смысла, и красоты стиля одновременно. Протестировали 9 моделей (от Qwen2.5-14B до GPT-5.2), 7 языковых пар и 9 комбинаций гранулярности — как генерировать текст и как его дорабатывать (абзацами, параграфами, целым документом).
Ключевой вопрос был провокационным: а что вообще происходит, когда LLM дорабатывает свой же перевод? Для ответа разложили качество на 4 измерения: точность содержания, плавность, стиль, терминология. И обнаружили неожиданное: сложные промпты с указанием конкретных ошибок не дали преимущества перед простым "улучши перевод". Это поставило вопрос: если рефайнмент должен исправлять ошибки точности — почему "исправь ошибки точности" работает не лучше, чем без инструкций?
Ответ нашли в анализе вероятностей: модель при доработке не ищет слабые места. Она берёт текст и тянет его к тому, как она сама предпочла бы написать — независимо от того, где реальные ошибки. Это объясняет всё: почему растёт стиль и плавность (модель улучшает то, что умеет), но не точность (это требует другого механизма). Человеческая оценка подтвердила: 98% участников предпочли отрефайненный текст по плавности — но по точности смысла мнения разделились.
Оригинал из исследования
Контекст: Общий промпт рефайнмента, который оказался лучшим по всем показателям (general refinement strategy).
You are a professional translator and post-editor.
You will be given a source document and an initial translation.
Your task is to improve the translation to make it better.
Source document:
{source}
Initial translation:
{translation}
Please provide an improved version of the translation.
(Сегментный вариант добавляет: "Focus on the following segment: {segment}. Output only the revised segment.")
Адаптации и экстраполяции
💡 Адаптация для редактуры маркетинговых текстов:
Тот же принцип работает когда нужно превратить "технический" текст команды в живой маркетинговый — например, описания товаров на Wildberries или Ozon.
Вот полное описание товара и карточки:
---
{весь_каталог_описаний}
---
Улучши только это описание:
---
{одно_описание}
---
Сделай текст живее и убедительнее для покупателя.
Факты, характеристики и цифры не меняй.
Выдай только переработанный текст.
🔧 Техника: убрать "без комментариев" → видеть логику правок
Если хочешь понять что именно модель меняет и почему — убери инструкцию "выдай только результат":
Улучши этот фрагмент: сделай плавнее и живее.
Покажи: что изменил и почему — и финальный текст.
Это особенно полезно для обучения: видишь паттерн правок модели и понимаешь её логику.
🔧 Техника: несколько независимых рефайнментов → сравнение версий
Вместо последовательных итераций — запроси несколько независимых версий одного фрагмента:
Улучши этот фрагмент тремя разными способами.
Версия A: упор на ритм и плавность.
Версия B: упор на точность и конкретность.
Версия C: твой лучший вариант без ограничений.
Выбираешь лучшее или берёшь в гибрид. Обходит "якорный эффект" — каждая версия начинает с оригинала, не тянет хвост предыдущей итерации.
Ресурсы
What Does LLM Refinement Actually Improve? A Systematic Study on Document-Level Literary Translation
Shaomu Tan (University of Amsterdam), Dawei Zhu, Ke Tran, Michael Denkowski, Sony Trenous, Bill Byrne (University of Cambridge / Amazon AGI), Leonardo Ribeiro, Felix Hieber (Amazon AGI)
Данные: WMT24-Literary benchmark — wmt24.statmt.org