TL;DR
Исследование показывает, что свежие слова (сленг, мемы, новые термины) модель по памяти определяет плохо, а по одному живому примеру употребления разбирается заметно лучше. Авторы сравнили два запроса. В первом модели дали слово без контекста. Во втором добавили одно предложение, где оно использовано. Второй вариант работает намного лучше, особенно для слов, появившихся после даты обучения.
Главная боль: вы спрашиваете «что значит слово X», а модель либо честно не знает, либо уверенно выдумывает. Причина простая: слово, которого не было в обучающих текстах, в «памяти» модели не лежит. Это касается и сильных моделей. Каждая из них знает лишь малую часть слов из года, на котором остановилось её обучение. Общий уровень языка тут не помогает: чего модель не читала, того она не знает.
Практический вывод: не спрашивайте голое слово, давайте пример его употребления. Тогда модель делает то, что умеет, и выводит смысл из окружающего текста, как человек при чтении. Но есть и обратная сторона. Определение, которое вы дали сами, не заставит модель пересмотреть её привычный разбор уже знакомого слова.
Схема метода
ШАГ 1: Спросить значение слова БЕЗ контекста → считать это слабым сигналом, не истиной
ШАГ 2: Дать то же слово + одно реальное предложение, где оно употреблено → просить определение
ШАГ 3 (проверка): Дать 3–4 варианта значения / подстановки → просить выбрать, что подходит к предложению
Шаги 1–2 — это два запроса: слово отдельно, слово с примером. Шаг 3 — отдельный запрос. Он опирается на задачу «контекстный выбор» из статьи (A2), где модель подставляет слово в маску из четырёх вариантов.
Пример применения
Задача: Вы ведёте комьюнити бренда кроссовок во «ВКонтакте». Под рекламой появляется комментарий с незнакомым словом. Ни вы, ни ChatGPT его не знаете. Нужно понять, это похвала или обидное, прежде чем отвечать или удалять. (Слово «зубец» условное, подставьте реальное.)
Промпт:
Ты помогаешь мне разобрать свежий сленг.
Слово: «зубец»
Где встретилось: комментарий под рекламой кроссовок во ВКонтакте.
Предложение с этим словом: «Ну это полный зубец, не берите, лучше подождите скидку на ВБ».
Задачи:
1. Дай определение слова в одно предложение, опираясь на предложение выше.
2. Скажи, насколько ты уверен, и на чём основан вывод: на контексте или на том, что ты знаешь это слово сам.
3. Предложи три альтернативных толкования и скажи, какое из них лучше подходит к предложению.
Результат: Модель выдаст короткое определение, выведенное из контекста. Затем она назовёт уровень уверенности и источник вывода, то есть объяснит, опирается ли она на предложение или на собственное знание слова. В конце будут три альтернативных толкования и выбор подходящего. Если контекста мало, хороший ответ признает неопределённость, а не выдаст уверенную догадку. Для надёжности повторите запрос с другим предложением и сравните ответы.
Почему это работает
Слабость. Модель обучена на снимке текстов до определённой даты. Слово, появившееся позже, ей неизвестно. Слово из самого последнего года обучения тоже почти неизвестно: оно встречалось в обучающих данных слишком редко. Запрос «что значит X» требует вспомнить, а вспоминать нечего.
Сильная сторона. Модель хорошо работает с текстом, который лежит прямо в запросе. Выводить смысл неизвестного слова из окружения она умеет: люди так же учат много слов, просто читая. В статье это видно по данным. На словах, которые модель не смогла определить без контекста, выбор нужного слова в предложении всё равно получался с высокой точностью. Одно предложение с примером поднимало точность определений на заметную величину.
Как метод использует сильную сторону. Он переносит задачу из «памяти» в «чтение». Вы подкладываете в запрос нужный текст, и модели не нужно ничего вспоминать.
Рычаги управления: - Качество примера. Чем нагляднее предложение, тем точнее вывод. Нейтральная фраза вроде «это слово мне нравится» почти ничего не даёт. - Тип запроса. «Дай определение» (свободный ответ) — более строгий тест. «Выбери из вариантов» — более мягкий: в статье выбор получается лучше определения, но это более слабое доказательство понимания. - Просьба оценить уверенность и источник. Эту часть добавил я, в статье её нет. Она отделяет вывод из контекста от выдумки.
Шаблон промпта
Слово: «{слово}»
Где встретилось: {источник_и_жанр}
Предложение с этим словом: «{предложение_с_употреблением}»
1. Дай определение слова в одно предложение, опираясь на предложение выше.
2. Скажи, на чём основан вывод: на контексте или на твоём знании слова.
3. Предложи три альтернативных толкования и выбери то, которое лучше подходит к предложению.
Что подставлять:
- {слово} — незнакомое или свежее слово.
- {источник_и_жанр} — чат, комментарии, пресса, интервью. От жанра зависит регистр слова.
- {предложение_с_употреблением} — реальное предложение из источника, лучше дословное.
Ограничения
⚠️ Одного примера часто мало: даже с предложением-примером значительная часть слов, появившихся после даты обучения, остаётся неопределённой. Две трети таких слов модель так и не определила.
⚠️ Знакомые слова с привычным разбором: модель держится за прежний анализ слова. Когда ей дали правильное определение, разбор строения слова, которое она уже знала, почти не улучшился. Поправка в запросе не заставляет её пересмотреть устойчивое мнение.
⚠️ Сокращения и «склейки» самые трудные: слова, у которых выброшены части (аббревиатуры, слитые слова), модели понимают хуже всего. Для них нужен контекст богаче.
⚠️ Веб-поиск помогает, но не закрывает разрыв: авторы пробовали поиск и увидели лишь частичное сужение пробела.
⚠️ Маленькие открытые модели: модели в 7–9 млрд параметров значительно отстают от крупных, особенно на свежих словах.
⚠️ Коллективное словотворчество: если запустить несколько агентов одной модели в симулированном сообществе, они выбирают аббревиатуры чаще, чем люди. Это поведение зависит от того, как описана ситуация, и надёжного способа его контролировать авторы не показали.
⚠️ Язык и один прогон: исследование про корейский. Перенос на русский логичен, но не проверен. Каждый результат получен в одном прогоне.
Как исследовали
Исследователи сначала построили автоматическую систему NEOTRACE для сбора неологизмов. Она взяла 12,8 млн документов и поисковые выдачи, нашла 3,9 млн кандидатов и отобрала 2 000 верхних по сходству с известными неологизмами. Дальше слова проверяли LLM-судьи: каждому давали «пакет доказательств» (датированные примеры, частоту по годам), а сомнительные вердикты перепроверял судья другого вендора. Получилось 4 271 слово с датой первого появления. Человек в слепой проверке подтвердил около 95% принятых слов, а в сыром ранжировании было лишь 19%.
На этом наборе построили бенчмарк KoAGE: 5 930 заданий, три на понимание и два на создание слов. Протестировали 21 модель, и результаты разделили на слова до и после даты обучения каждой модели. Этот приём и позволил увидеть главное: определение голого слова и определение слова с примером дают разные картины.
Больше всего удивили две вещи. Первая — устойчивая закономерность: все модели определяют лишь 13–30% слов из своего года обучения, независимо от общей силы. Вторая — модели хорошо выбирают слово по контексту, хотя определить его сами не могут. Значит, «знать» слово и «понимать» его из контекста — разные способности.
Для создания слов авторы дали материалы слова одной модели, и она в 82% случаев использовала тот же механизм, что и люди. Четыре агента одной модели, общавшиеся в 12 эпизодах без указания придумывать слово, давали общий вариант чаще через аббревиатуру. Совпадение с человеческим механизмом составило лишь 48%.
Адаптации и экстраполяции
Это мои идеи, в статье они не проверялись.
🔧 Техника: просьба признать незнание → меньше выдуманных определений
Если слово тебе незнакомо и контекста не хватает, так и скажи: «не знаю».
Не придумывай значение. Назови, какой дополнительной информации не хватает.
В статье ответ «не знаю» засчитывали как ошибку. Эта вставка меняет поведение модели в сторону честности. Проверьте на своих словах: помогает ли она.
🔧 Экстраполяция: проверка стабильности ответа на двух примерах. Дайте модели одно и то же слово с двумя разными предложениями (в двух отдельных чатах) и сравните определения. Если они сильно расходятся, модель угадывает по контексту и опоры у неё нет. Расхождение — повод искать значение самому.
Ресурсы
- KoAGE: Do Large Language Models Know, Learn, and Coin Korean Neologisms? — SungHo Kim, Eojin Jeon, SangKeun Lee, Korea University (Seoul).
- Код: github.com/SungHo3268/KoAGE
- Сопутствующие бенчмарки из статьи: NEO-BENCH (английский), KoNeoBench (корейский), WinoDict.