3,583 papers
arXiv:2603.18161 78 18 мар. 2026 г. FREE

Семантический дрейф: LLM сдвигает смысл текста даже когда вы просите «только грамматику»

КЛЮЧЕВАЯ СУТЬ
70% людей, которые писали эссе с участием LLM, потеряли свою позицию — текст стал нейтральным, ни «за» ни «против». Но вот что по-настоящему бьёт: то же происходит даже когда пишешь сам и просишь модель исправить только запятые. Метод диагностики без правки позволяет получать умный разбор текста без потери голоса — отделяешь «что не так» от «исправь за меня». Модель отлично видит логические дыры. Плохо сохраняет твой стиль при переписывании. Используй первое, избегай второго.
Адаптировать под запрос

TL;DR

Когда вы просите LLM отредактировать ваш текст — даже с инструкцией «исправь только грамматику» — модель значительно меняет смысл и аргументацию, а не только орфографию. Это не ошибка пользователя и не вопрос неточного промпта. Это системное свойство: LLM тянет любой текст в сторону своего «среднего» стиля, независимо от инструкций.

Главная находка: 70% участников, которые активно использовали LLM при написании эссе, потеряли собственную позицию — их текст стал нейтральным вместо «за» или «против». Даже люди, которые написали текст сами и попросили LLM лишь поправить грамматику, получили другой текст по смыслу. На карте семантического пространства LLM-отредактированные тексты уходят в одну точку — туда, где не было ни одного человеческого текста до ChatGPT. Все модели делают это одинаково: GPT, Claude, Gemini — стрелки на графике летят в одну сторону.

Механизм прост: LLM обучена на огромной массе текстов, у неё есть своё «среднее» представление о том, как должно звучать эссе о беспилотных машинах или счастье. Когда она редактирует — она тянет текст к этому среднему. Ваша живая формулировка «смерть женщины в Аризоне от рук беспилотника» превращается в «трагическое столкновение, выявившее необходимость регуляции». Смысл другой. Тон другой. Голос — ваш уходит.


📌

Схема дрейфа по уровням использования

УРОВЕНЬ 0: Пишете сами
→ Текст остаётся в зоне человеческих текстов
→ Малые, разнонаправленные изменения при правке

УРОВЕНЬ 1: LLM-Influenced (спросили совет, написали сами)
→ Небольшой дрейф смысла
→ Голос частично сохранён

УРОВЕНЬ 2: LLM редактирует ваш готовый текст — даже «только грамматику»
→ Значительный сдвиг семантики
→ Начинается гомогенизация

УРОВЕНЬ 3: LLM пишет за вас
→ Текст уходит в «зону LLM» — туда, где нет человеческих текстов
→ Аргументативная позиция теряется (~70% случаев)
→ Эмоциональность удваивается (и позитивная, и негативная)
→ Живые детали заменяются генерализациями

Все уровни — в одном чате. Разница только в том, насколько вы отдаёте текст модели.


🚀

Пример применения

Задача: Андрей Мусиенко пишет колонку для VC.ru о том, почему ИИ-стартапы переоценены. Написал черновик сам — с острыми формулировками, личными наблюдениями, живым голосом. Хочет «причесать» текст перед публикацией.

❌ Промпт, который убьёт голос:

Отредактируй мою колонку. Исправь грамматику, сделай текст 
более профессиональным и читаемым.

[текст колонки]

Что произойдёт: Модель заменит «венчурные мальчики с деньгами дяди» на «инвесторов в ранних стадиях», смягчит все острые тезисы, добавит оговорки в каждое утверждение, удвоит канцелярит. Позиция станет нейтральнее — «с одной стороны, с другой стороны».


✅ Промпт, который сохраняет голос:

Прочитай мою колонку и ответь на вопросы — без правки текста:

1. Где логика рассыпается или тезис не подкреплён примером?
2. Какие предложения читаются тяжело — синтаксис, не стиль?
3. Есть ли фактические ошибки или спорные утверждения без оговорок?

НЕ переписывай текст. Только список вопросов и замечаний 
с цитатами из моего текста.

[текст колонки]

Что произойдёт: Модель выдаст список конкретных вопросов и проблемных мест с цитатами. Вы сами решаете что исправить и как. Голос — ваш. Смысл — ваш. Правки — точечные.


🧠

Почему это работает (механика дрейфа)

Слабость LLM: Модель не знает что хотите вы — она знает что хотят все. Её обучали на миллионах текстов, и у неё сформировалось представление о «хорошем нейтральном тексте». Когда вы говорите «улучши» — она улучшает к этому стандарту, а не к вашему голосу.

Почему даже «только грамматика» не работает: Модель не умеет делать только грамматические правки. Когда она видит ваш текст, она обрабатывает его целиком и генерирует «следующий токен» — который будет чуть ближе к её среднему. Инструкция снижает степень изменений, но не устраняет дрейф. В исследовании даже промпт «minimal edits» давал значительный сдвиг семантики на карте.

Как сохранить голос: Отделите диагностику от редактуры. LLM отлично видит логические дыры, фактические ошибки, синтаксически тяжёлые места. Плохо — сохраняет ваш голос при переписывании. Используйте её как умного редактора-советника, который говорит что не так, а не переписывает за вас.

Рычаги управления: - «Не переписывай — только замечания» → ключевая инструкция для сохранения голоса - «Цитируй мой текст» → модель работает с вашими словами, не придумывает свои - «Задавай вопросы, не предлагай замены» → получаете осмысленный диалог вместо нового черновика - Конкретные вопросы вместо «улучши» → чем конкретнее задача, тем меньше пространства для дрейфа


📋

Шаблон промпта

📌

Режим 1 — Диагностика без правки

Прочитай {тип текста} и дай обратную связь в формате вопросов и замечаний.

Не переписывай текст. Только:
1. Где логика рассыпается или тезис не подкреплён?
2. Какие места читаются тяжело по синтаксису?
3. Что звучит спорно или требует оговорки?

Цитируй мой текст при каждом замечании.

{текст}
📌

Режим 2 — Точечная правка

В этом абзаце одна проблема: {конкретная проблема — например, «причастный оборот 
читается как скороговорка»}.

Предложи 2-3 варианта как переформулировать это предложение, 
сохранив мой тон и смысл.

Мой абзац: {абзац}
📌

Режим 3 — Проверка после правки

Я отредактировал текст. Сравни два варианта и скажи:
- Изменился ли смысл или аргументация?
- Потерял ли текст что-то важное из первой версии?

Версия 1: {оригинал}
Версия 2: {отредактированный текст}

Что подставлять: - {тип текста} → колонку / письмо клиенту / резюме / пост - {конкретная проблема} → называйте проблему своими словами, не «улучши» - {текст} → ваш черновик целиком или нужный фрагмент


🚀 Быстрый старт — вставь в чат:

Вот три шаблона для работы с текстом без потери голоса. 
Адаптируй под мою задачу: [твоя задача — например, «хочу причесать пост 
для телеграм-канала перед публикацией»].
Задавай вопросы, чтобы я мог использовать нужный режим.

[вставить шаблон выше]

LLM спросит что за текст, в чём конкретная задача — потому что режим выбирается под задачу, и без этого она не знает какой шаблон активировать.


⚠️

Ограничения

⚠️ Степень дрейфа зависит от типа текста: Исследование проводили на аргументативных эссе с чёткой позицией. Для нейтральных информационных текстов или инструкций дрейф может быть менее критичным — там нет «авторской позиции», которую терять.

⚠️ Детекция ненадёжна: В исследовании использовали Pangram AI для определения LLM-текста в рецензиях. Классификаторы ошибаются — есть ложные срабатывания. Конкретные цифры (21% LLM-рецензий на ICLR 2026) стоит воспринимать как оценку, не как точные данные.

⚠️ Разные инструкции — разный масштаб, не другое направление: Промпты «только грамматика» и «расширь текст» дают разный масштаб дрейфа. Но направление — одинаковое. Все модели тянут в одну сторону.

⚠️ «Умеренное» использование LLM изучено хуже: Участники, которые использовали модель минимально (спросили совет, написали сами), показали меньший дрейф — но граница между «умеренным» и «значительным» использованием нечёткая.


🔍

Как исследовали

Исследователи собрали доказательства с трёх сторон — чтобы ни одно не звучало как случайность.

Первая часть: рандомизированный эксперимент на 100 участниках с Prolific. Одни писали эссе о деньгах и счастье сами, другие — с доступом к GPT-4o-mini. Исследователи фиксировали все переписки с моделью и сравнивали итоговые тексты. Инсайт: половина «AI-группы» использовала модель минимально (задавала вопросы, но писала сама) — их тексты почти не дрейфовали. Те, кто отдавал модели генерацию — теряли позицию. Исследователи специально разделили группы до анализа результатов, не после.

Вторая часть: датасет ArgRewrite-v2 — 86 эссе о беспилотниках, написанных студентами в 2021 году (до ChatGPT). У каждого эссе была экспертная обратная связь и человеческая правка. Исследователи попросили GPT-5-mini, Claude Haiku и Gemini 2.5 Flash сделать то же самое — отредактировать под ту же обратную связь. Потом сравнили на карте семантического пространства. Человеческие правки — маленькие стрелки в разные стороны. LLM-правки — большие стрелки в одну сторону, в область где раньше не было ни одного человеческого текста. Это не интерпретация — буквально видно на графике.

Третья часть: реальные рецензии с конференции ICLR 2026. Выбрали только те статьи, где была ровно одна человеческая рецензия и одна LLM-рецензия — чтобы исключить смешение. LLM-рецензии ставили оценки в среднем на балл выше и почти не обсуждали ясность и значимость исследования. Зато налегали на воспроизводимость и практическое применение. Это уже не про стиль — это про то, как меняется сам стандарт оценки науки.

Неожиданное: даже инструкция «грамматика только» не помогла. Все ждали, что жёсткое ограничение задачи снизит дрейф до нуля. Нет — семантический сдвиг остался значительным.


📄

Оригинал из исследования

Пример что происходит с текстом при разных режимах редактуры:

HUMAN DRAFT:
"The topic of self-driving cars is highly debated especially in light of recent 
event with the death of an Arizona woman at the hands of a self-driving Uber. 
Those for self-driving cars argue that they reduce the rate of accidents... 
Those against self-driving cars argue the system does not eliminate accidents, 
that there is a learning curve with the technology..."

GENERAL EDIT | gpt-5-mini:
"The debate over self-driving cars intensified after the fatal Arizona collision 
involving an autonomous Uber, but a careful assessment shows that the benefits 
of adopting self-driving technology outweigh its risks. Autonomous vehicles 
promise to reduce crash rates caused by human error..."

GRAMMAR EDIT | CLAUDE-HAIKU:
"The transition phase of slowly adding self-driving cars would cause tension 
and last until production costs are reduced. At this time, since the drawbacks 
do not outweigh the benefits, America is not ready for self-driving cars until 
we can implement them efficiently to truly reap their advantages."

Контекст: Исследователи брали оригинальные эссе из ArgRewrite-v2 и просили разные модели отредактировать их с разными инструкциями. Красным отмечено что исчезло, зелёным — что добавилось. Обратите внимание: «death of an Arizona woman at the hands of» (смерть от рук) превращается в «fatal collision» (трагическое столкновение). Смысл не тот же. Эмоциональная окраска не та же. И это «Grammar Edit», не «General».


💡

Адаптации и экстраполяции

📌

💡 Адаптация для деловой переписки

Тот же принцип работает для писем, КП, переговорных позиций. Попросите LLM отредактировать жёсткое письмо об условиях сделки — получите мягкое.

Я написал письмо партнёру с отказом от условий. 
Прочитай и скажи: где моя позиция звучит размыто или 
можно интерпретировать как «готов к переговорам»? 

Не переписывай. Только укажи конкретные места с цитатами.

[письмо]

📌

🔧 Техника: попросить «сыграть редактора», а не «отредактировать»

Разница тонкая, но работает:

Войди в роль строгого редактора «Кинопоиска», который уважает авторский голос.

Твоя задача — задать мне 5 вопросов о тексте, которые помогут мне 
самому найти слабые места. Не правь. Только вопросы.

[текст]

Когда модель «играет роль», фрейм задачи меняется — она не в режиме «улучшить текст», а в режиме «помочь автору найти проблему». Меньше тяги к переписыванию.


📌

🔧 Техника: «Защитная инструкция» перед редактурой

Если всё же нужна правка текста — добавьте якорь перед ним:

Вот мой текст. Перед редактурой запомни три маркера моего голоса:
- Я всегда [конкретная особенность — например, «начинаю с конкретного случая, не с общего тезиса»]
- Я использую [конкретный приём — например, «короткие предложения после длинных для эффекта»]  
- Моя позиция: [конкретно — например, «против, не нейтрально»]

Теперь исправь только грамматику и синтаксис, сохранив эти три маркера.

[текст]

Это не устраняет дрейф полностью — исследование показывает, что он всё равно будет. Но явное закрепление якорей снижает его.


🔗

Ресурсы

Работа: «How LLMs Distort Our Written Language» (2026)

Проект: sites.google.com/view/llmwritingdistortion

Код: github.com/abdulhaim/llm_writing_distortion

Датасет: ArgRewrite-v2 (Chen et al., 2022) — 86 эссе о беспилотниках с экспертной обратной связью

Авторы: Marwa Abdulhai, Isadora White, Yanming Wan, Ibrahim Qureshi, Joel Leibo, Max Kleiman-Weiner, Natasha Jaques

Аффилиации: UC Berkeley, UC San Diego, University of Washington, Zaytuna College, Google DeepMind


📋 Дайджест исследования

Ключевая суть

70% людей, которые писали эссе с участием LLM, потеряли свою позицию — текст стал нейтральным, ни «за» ни «против». Но вот что по-настоящему бьёт: то же происходит даже когда пишешь сам и просишь модель исправить только запятые. Метод диагностики без правки позволяет получать умный разбор текста без потери голоса — отделяешь «что не так» от «исправь за меня». Модель отлично видит логические дыры. Плохо сохраняет твой стиль при переписывании. Используй первое, избегай второго.

Принцип работы

LLM не редактирует — она регенерирует. Видит твой текст как набор частей. Собирает следующий — чуть ближе к своему «среднему». Инструкция «только грамматика» снижает масштаб правок, но не меняет направление. Все модели тянут текст в одну точку — туда, где не было ни одного человеческого текста до ChatGPT. GPT, Claude, Gemini — на карте смыслового пространства все стрелки летят в одну сторону. Не баг конкретной модели. Природа обучения на усреднённом корпусе.

Почему работает

LLM обучена на миллионах текстов и знает, как «должно звучать хорошее нейтральное эссе о беспилотных машинах». Говоришь «улучши» — она улучшает к этому стандарту, а не к твоему голосу. Живая формулировка «смерть женщины в Аризоне от беспилотника» становится «трагическим столкновением, выявившим необходимость регуляции». Смысл другой. Тон другой. Это не грамматика — это смысловой дрейф. Когда просишь только замечания — модели не нужно генерировать текст. Она смотрит, а не перезаписывает. Голос остаётся твоим.

Когда применять

Колонки, посты, эссе, деловые письма — везде где есть авторская позиция и живой голос, который важно сохранить. Особенно нужно когда текст несёт аргументацию: критику, личный взгляд, острые тезисы. НЕ критично для нейтральных информационных текстов и инструкций — там нет авторской позиции, которую терять. Если пишешь руководство по настройке роутера, дрейф смысла вас не разлучит.

Мини-рецепт

1. Запроси диагностику, не правку: явно скажи «прочитай и дай список замечаний — не переписывай». Одна эта фраза уже меняет режим работы модели.
2. Требуй цитаты: добавь «при каждом замечании цитируй мой текст» — модель работает с твоими словами, а не выдумывает свои.
3. Задавай конкретные вопросы вместо «улучши»: «где логика рассыпается?», «что читается тяжело по синтаксису?», «что звучит спорно без оговорки?». Чем конкретнее задача — тем меньше простора для дрейфа.
4. Точечная правка вместо «перепиши»: если нужно исправить — давай один абзац с одной проблемой: «это предложение читается как скороговорка — предложи 2-3 варианта, сохрани тон».
5. Проверяй после правки: попроси сравнить два варианта — «изменился ли смысл или аргументация? потерял ли текст что-то важное из первой версии?»

Примеры

[ПЛОХО] : Отредактируй мою колонку. Исправь грамматику, сделай текст профессиональным и читаемым. [текст]
[ХОРОШО] : Прочитай колонку и ответь на три вопроса — без правки текста: 1. Где логика рассыпается или тезис не подкреплён примером? 2. Какие предложения читаются тяжело по синтаксису? 3. Что звучит спорно или требует оговорки? Цитируй мой текст при каждом замечании. НЕ переписывай. [текст]
Источник: How LLMs Distort Our Written Language
ArXiv ID: 2603.18161 | Сгенерировано: 2026-03-20 04:29

Проблемы LLM

ПроблемаСутьКак обойти
Инструкция "только грамматика" не спасает от смысловых правокГоворишь "исправь только ошибки". Модель меняет слова, тон, аргументы. Острое мнение становится нейтральным. Живая деталь превращается в обобщение. Так работает архитектура: модель генерирует каждый токен чуть ближе к своему "среднему тексту" — независимо от инструкции. Помочь не могут слова "минимально", "только орфография", "сохрани стиль" — они снижают масштаб сдвига, но не убирают егоНе давай модели текст на правку. Давай на анализ. Попроси список замечаний с цитатами — без переписывания. Ты сам решаешь что и как менять

Методы

МетодСуть
Диагностика вместо правки — сохраняет голосВместо "отредактируй" — спрашивай "что не так". Запрос: Прочитай текст. Не переписывай. Скажи: где логика рассыпается, где синтаксис тяжёлый, что звучит спорно. Цитируй мой текст при каждом замечании. Модель работает с твоими словами — не генерирует свои. Ты получаешь список проблем и сам делаешь правки. Почему работает: модель не запускает режим "написать текст" — значит нет дрейфа к её среднему стилю. Когда применять: любой авторский текст где важен голос — колонка, пост, письмо. Когда не нужно: нейтральный информационный текст без позиции — там дрейф не критичен
📖 Простыми словами

HowLLMsDistort Our WrittenLanguage

arXiv: 2603.18161

Когда ты просишь нейронку «просто поправить запятые», ты на самом деле отдаешь свой текст на переплавку. Фундаментальная механика LLM устроена так, что она не умеет работать локально, как корректор с красной ручкой. Модель всегда пересчитывает вероятности появления следующего слова во всем контексте сразу. Для нее твой текст — это не набор мыслей, а статистическая аномалия, которую нужно привести к «норме». В итоге она не просто чинит грамматику, а переписывает саму логику и аргументацию, подтягивая твой уникальный стиль к усредненному безопасному стандарту из своей обучающей выборки.

Это как если бы ты пришел к пластическому хирургу убрать маленький шрам на щеке, а проснулся с типовым лицом из Instagram. Вроде бы все ровно и красиво, но маму родную уже не узнаешь. Модель работает как гигантский каток: она сглаживает все острые углы, ироничные подколы и авторские акценты, потому что в ее «голове» правильный текст должен звучать как стерильный корпоративный отчет. Она не может иначе — это системное свойство архитектуры, а не твоя ошибка в промпте.

Исследователи проверили это на куче текстов и выяснили: даже жесткая инструкция «не меняй смысл» не работает. Модели используют методы семантического сглаживания и стилистической унификации. Если ты написал, что стартапы — это «пузырь, который вот-вот лопнет», нейронка с большой вероятностью превратит это в «существуют риски рыночной коррекции». Она убивает авторский голос и заменяет твои хлесткие выводы на обтекаемую жвачку, просто потому что так велит статистика.

Этот принцип универсален: он касается не только постов на VC, но и деловых писем, научных статей и даже личных сообщений. Мы входим в эру стилистической энтропии, где все тексты, прошедшие через фильтр AI, становятся одинаковыми на вкус. Тестировали это на редактировании, но эффект проявляется везде, где LLM касается контента. Индивидуальность умирает, уступая место «среднестатистическому интеллекту», который боится обидеть или звучать слишком резко.

Короче: если тебе дорог твой стиль и острота мысли, держи нейронку подальше от финального текста. Любая попытка «причесать» черновик превращает его в безликий суррогат, где от твоих идей остается только скелет, обтянутый корпоративным пластиком. Либо ты принимаешь этот цифровой стандарт, либо правишь ошибки руками, как в старые добрые времена. Третьего не дано: AI не умеет быть просто корректором, он всегда хочет быть соавтором, причем очень занудным.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с