TL;DR
Учёные проверили, как языковые модели обрабатывают слова, которые уже встречались раньше в разговоре: вспоминают ли они их мгновенно (как узнавание знакомого лица) или каждый раз оценивают заново, с учётом всего, что было сказано между упоминаниями. Оказалось, что от этого зависит, помогает повтор слова модели или мешает.
Здесь и главная боль: обычные чат-модели (ChatGPT, Claude — то, что прошло через "дообучение под инструкции") не просто помнят слово, которое вы упомянули раньше — они пересчитывают его значимость каждый раз, заново, с оглядкой на контекст. Чем больше сообщений прошло между первым и вторым упоминанием термина, тем слабее эффект "узнавания" — а на крупных моделях повторное упоминание слова может даже начать мешать, а не помогать, потому что модель не находит ожидаемого продолжения и трактует это как сигнал против прежней оценки.
Это не техника с промптом-решением, а находка о механике: сырые ("необученные") модели узнают слово автоматически и стабильно, независимо от давности. Дообученные модели-ассистенты — включают контекстный пересчёт: чем дальше упоминание, тем слабее помощь, и она может развернуться в помеху. Люди — посередине: чувствительны к давности упоминания, как ассистенты, но никогда не путаются настолько, чтобы повтор слова начал мешать.
Схема находки
Слово упомянули первый раз в диалоге → модель формирует "оценку" слова
...между упоминаниями идут другие сообщения (лаг)...
Слово встречается снова →
БАЗОВАЯ модель: узнаёт слово мгновенно и стабильно
независимо от того, сколько прошло сообщений
АССИСТЕНТ (ChatGPT/Claude-типа): пересчитывает значимость слова с учётом контекста
помощь от повтора слабеет с расстоянием
на крупных моделях может превратиться в помеху
Пример применения
Задача: Вы 40 минут обсуждаете с Claude стратегию запуска бренда энергетиков "Заряд-Юг" — обговорили целевую аудиторию, цену, слоган. Потом переключились на обсуждение логистики, упаковки, договоров с поставщиками — прошло 15-20 сообщений. Возвращаетесь: "А что там по Заряд-Югу, добавь пункт про упаковку в тот же план".
Промпт (то, что делают многие интуитивно, но неэффективно):
Добавь пункт про упаковку в план по Заряд-Югу
Что происходит по находке исследования: модель не "вспоминает" бренд автоматически, как человек вспоминает знакомое лицо. Она заново пересобирает контекст из истории диалога — и чем дальше было первое упоминание, тем выше риск, что детали (цена, слоган, аудитория) будут неточными, смешанными с тем, что обсуждалось между делом, или вовсе упущены.
Что сработает лучше:
Напоминаю контекст: мы обсуждали бренд энергетиков "Заряд-Юг" —
целевая аудитория {...}, цена {...}, слоган {...}.
Теперь, с учётом этого, добавь пункт про упаковку в план.
Результат: модель получает контекст свежим текстом рядом с задачей, а не полагается на "автоматическое узнавание" бренда из истории — точность и релевантность ответа выше, особенно в длинных диалогах.
Почему это работает
Слабость чат-моделей в том, что они не запоминают слова как факты, а каждый раз пересчитывают их значимость исходя из окружающего контекста. Это отличается от того, как человек узнаёт знакомое слово — почти мгновенно, независимо от того, что было между двумя встречами с этим словом.
Сильная сторона моделей — они умеют внимательно анализировать весь контекст диалога и выдавать ответ, учитывающий множество деталей одновременно. Это удобно для сложных многошаговых задач, но создаёт побочный эффект: если контекст "разбавлен" другими темами, старое упоминание слова теряет вес, а иногда начинает противоречить новому контексту.
Рычаг управления: явно переповторяйте ключевые сущности (названия, термины, факты) близко к месту, где они снова понадобятся, вместо того чтобы полагаться на то, что модель "и так помнит" — особенно в длинных диалогах с большим числом сообщений между упоминаниями.
Шаблон промпта
Напоминаю контекст перед этим вопросом:
{ключевой термин/сущность} — {краткое описание сути и важных деталей}.
С учётом этого контекста: {ваш новый вопрос или задача}
Подставляйте название сущности (бренд, проект, персонаж, гипотеза), краткую сводку деталей о ней, и уже потом — новый запрос. Это работает как «якорь», который не даёт модели пересчитывать значимость термина «в потёмках».
🚀 Быстрый старт — вставь в чат:
Мы ведём длинный диалог, и я хочу, чтобы ты не путал детали ключевой темы,
если между упоминаниями было много других сообщений. Помоги составить
шаблон-напоминание для темы: {твоя тема/проект}.
[вставить шаблон выше]
LLM спросит, какие именно детали важно закрепить — потому что без этого «якорь» будет пустым и не даст эффекта возврата к контексту.
Ограничения
⚠️ Лабораторные условия: находка получена на искусственных задачах — классификации слов "живое/неживое" и подстановке слов в предложения с пропуском. Перенос на богатый реальный диалог с длинными абзацами и системными инструкциями не проверялся напрямую.
⚠️ Механистические доказательства не для чата: часть выводов (анализ внимания модели, отключение отдельных механизмов) получена через код и доступ к внутренним весам модели — это подтверждает механику, но не даёт читателю ChatGPT/Claude инструмента для проверки самому.
⚠️ Не универсальный совет "повторяй всё": эффект интерференции (когда повтор слова начинает мешать) заметили не во всех моделях и не всегда — это тенденция, усиливающаяся с размером модели, а не железное правило.
Как исследовали
Исследователи взяли 15 моделей из 5 семейств (от 1,5 до 14 миллиардов параметров, включая пары "база / версия-ассистент" одной и той же модели) и прогнали через два теста: классификацию слов как "живое/неживое" и подстановку пропущенных слов в предложения. Слово повторялось четыре раза с разным числом сообщений между повторами — от 1 до 15 — чтобы увидеть, угасает ли эффект узнавания с расстоянием.
Для контроля провели точно такие же эксперименты с живыми людьми — 40 и 38 человек в двух тестах — с идентичными словами и условиями, замеряя скорость реакции и точность.
Самое интересное: базовые модели (без дообучения под диалог) вели себя как автоматический "рефлекс" — узнавали слово мгновенно и стабильно, сколько бы сообщений ни прошло. Дообученные ассистенты вели себя иначе — эффект слабел с расстоянием, а у крупных моделей (например, версия на 14 миллиардов параметров) повтор слова иногда начинал мешать, а не помогать. Люди оказались посередине: чувствительны к давности, как ассистенты, но никогда не переходили в "помеху" — эффект оставался слабо-положительным даже спустя долгий разрыв.
Вывод авторов: процесс дообучения под инструкции меняет не то, что модель говорит, а то, как она обрабатывает повторяющуюся информацию — с "рефлекса" на "пересчёт с оглядкой на контекст".
Ресурсы
Automatic or Controlled? Repetition Priming Reveals Divergent Processing in Base LLMs, Instruct LLMs, and Humans — Jinglei Ren (Yale School of Medicine), Yuyue Wang (UCLA), опубликовано как conference paper на COLM 2026.