Конвенции в диалоге: почему LLM не договаривается с людьми (но договаривается с собой)

LLM не чувствительна к длине сообщений и не формирует бытовые соглашения с людьми естественно, даже если точность растёт.

Люди в диалоге автоматически сокращают: первое описание — "фигура похожа на человека который прыгает, верхний треугольник как голова, длинная рука вправо", к 5-му разу — "прыгун". AI в диалоге с другой AI тоже создаёт стабильные названия, но не сокращает длину: продолжает писать 50-словные геометрические описания даже когда договорилась.

Причина в двух различиях:

1. Отсутствие естественного давления на краткость. Люди устают говорить и печатать — эволюционно экономят энергию. LLM генерирует 5 или 50 слов с одинаковым "усилием" (вычислительные затраты есть, но модель их не чувствует).

2. Разная интерпретационная база. Люди видят абстрактные фигуры как знакомые объекты ("танцор", "человек на скейте") — категориальное восприятие. LLM видит набор форм и пространственные отношения — геометрическое описание. Когда человек предлагает "давай называть это танцором", AI может повторить слово, но не усваивает категорию — продолжает добавлять геометрические детали. В итоге соглашение не закрепляется.

LLM не угадает "как ты хочешь чтобы она говорила" из контекста диалога. Люди улавливают стиль партнёра и подстраиваются автоматически. AI — нет.

Что делать: В начале диалога (или system prompt) задай стиль явно.

Примеры инструкций: - "Описывай через аналогии и ассоциации, а не через геометрию" - "Используй образные сравнения (как X, похоже на Y), не технические детали" - "Отвечай в стиле разговорной речи, как будто объясняешь другу"

LLM не сократит сама, даже если вы 10 раз обменялись репликами. Нужно явное давление.

Что делать: - Добавь в промпт: "С каждым следующим сообщением сокращай ответ. К 5-му ответу — максимум 1-2 предложения." - Или жёсткий лимит: "Каждый ответ — максимум 10 слов." - Напоминай в процессе: "Мы уже обсудили это. Теперь кратко — что изменилось?"

AI-AI пары в исследовании формировали более стабильные соглашения чем H-AI пары (lexical overlap в 2 раза выше). Это значит: два экземпляра модели внутри одного промпта синхронизируются лучше, чем модель с тобой через реплики.

Что делать: Для задач где нужна "договорённость о терминах":

Агент A и Агент B обсуждают {задачу}.

Сначала Агент A предлагает термины и обозначения.
Агент B критикует или соглашается.
Они приходят к общему словарю.

Затем используют этот словарь для решения.

Агенты "внутри" одного вызова имеют общую базу (одна модель, один контекст) → легче договариваются.

LLM не угадает "как ты членишь мир" — нужно показать примеры.

Что делать: Вместо: "Опиши этот процесс" Лучше: "Опиши этот процесс через метафору. Например, предыдущий процесс мы назвали 'конвейер'. Придумай похожую аналогию."

Или few-shot:

Фигура 1: "Танцор" (был длинный текст, мы сократили до метафоры)
Фигура 2: "Самолёт" (было описание крыльев, мы упростили)

Теперь фигура 3: [опиши по тому же принципу]

Задача: Ты с командой разрабатываешь внутреннюю терминологию для нового продукта. Есть 5 сложных концепций, команда называет их по-разному — путаница. Нужно договориться об общих названиях и определениях.

Промпт:

Я опишу 5 концепций нашего продукта. Для каждой нужно:
1. Короткое название (1-2 слова, метафора или аналогия)
2. Определение в одно предложение
3. Пример использования в одно предложение

Стиль: разговорный, через образы. Не технический жаргон.

После каждой концепции я скажу "ок" или предложу правки. 
Ты адаптируешь название под мои правки.
К концу — утверждённый словарь.

Первая концепция: [описание концепции #1]

Результат:

Модель предложит название-метафору. Ты скажешь "слишком абстрактно" или "ок". Она скорректирует. К 5-й концепции будет словарь с утверждёнными терминами. Но: ожидай что модель не уловит твой стиль автоматически — придётся направлять явно ("больше конкретики", "короче", "проще"). Без явного давления она не сократит определения даже после 3-4 итераций.

Слабость LLM:

1. Нет естественного давления на экономию длины. Transformer генерирует токены последовательно — 5 токенов или 50 требуют одинакового "усилия" для модели. Люди платят метаболической энергией за каждое слово (печатать, говорить, держать в рабочей памяти) — естественно минимизируют. LLM этого давления не чувствует.

2. Разная категоризация мира. Люди смотрят на абстрактную фигуру и видят гештальт — целостный образ ("танцор"). LLM обрабатывает визуальную информацию через энкодер изображений, выдающий набор признаков и отношений ("треугольник A в позиции X, треугольник B соединён с A"). Это более детализированное, но менее категориальное видение. Когда ты говоришь "давай назовём это танцором", модель может повторить слово, но не переключится на категориальный режим — продолжит добавлять геометрические уточнения из своего "видения".

Сильная сторона LLM:

LLM отлично формирует конвенции с другими экземплярами себя. AI-AI пары в исследовании достигли 99% точности и в 2 раза более высокой стабильности терминологии чем H-H пары. Причина: общая архитектура + одинаковые веса + один контекст = идентичная интерпретация. Оба "агента" видят фигуру одинаково (через один vision encoder), описывают одинаково (один language model), запоминают одинаково (attention mechanism).

Как метод использует это:

В мультиагентных промптах ты создаёшь двух (или больше) "участников" внутри одного вызова. Это не разные модели — это симуляция ролей одной моделью. Но благодаря общей базе, "договорённости" между агентами стабильнее чем между тобой и моделью.

Рычаги управления:

1. Стиль категоризации — "через аналогии" vs "через детали". Меняет КАК модель описывает объекты.

2. Лимит длины — "максимум X слов" или "с каждым разом короче". Создаёт искусственное давление на экономию.

3. Few-shot примеры — покажи 1-2 примера "как надо". До-после ("было длинно → стало коротко и образно"). Модель уловит паттерн лучше чем из абстрактной инструкции.

4. Явное напоминание — в середине диалога вставь "Мы уже договорились называть это X. Используй X, не описывай заново." LLM не запомнит соглашение автоматически — нужно закреплять.

⚠️ Не работает для бытовой переписки: LLM не уловит твой стиль общения и не сократится сама, даже если вы 50 сообщений обменялись. Нужна явная инструкция в начале или напоминания в процессе.

⚠️ Явные инструкции не гарантируют результат: В эксперименте 2 промпт "веди себя как человек" сократил длину до человеческой, но точность и стабильность терминов всё равно отстали от H-H пар. Модель может имитировать форму (короткие сообщения), но не усваивать содержание соглашений так же как люди.

⚠️ Разная категоризация — фундаментальное ограничение: Если задача требует "общего видения" объектов (дизайн, креатив, абстрактные концепции), ты и модель будете карвить пространство по-разному. Модель может повторить твои термины, но добавит "уточнения" которые для тебя избыточны. Это не баг — это разница в том как вы воспринимаете информацию.

Команда из UC San Diego и Университета Техаса набрала 168 человек через университетский пул испытуемых. Половину соединили с другими людьми, половину — с GPT-4o через API (участники не знали с кем играют). Ещё запустили игры AI-AI — модель с копией самой себя.

Игра: tangrams reference game. На экране 10 абстрактных фигур из геометрических форм. Один игрок (director) описывает выделенную фигуру, второй (matcher) выбирает из сетки. Роли меняются каждый ход. 50 раундов подряд (5 блоков по 10 фигур) с одним партнёром — это марафон, не одноразовый запрос.

Измеряли три метрики: 1. Accuracy — правильно ли выбрана фигура 2. Length — количество слов в описании

3. Lexical overlap — насколько описание одной фигуры в блоке N похоже на описание той же фигуры в блоке N-1 (Jaccard similarity)

Классическая находка про людей (известная с 90-х): H-H пары сокращаются с 20 до 6 слов, точность растёт, overlap увеличивается — это конвенции. Первый раз называют "фигура похожа на человека который танцует, верхний ромб как голова", к 5-му блоку — просто "танцор".

Сюрприз исследования:

AI-AI пары показали противоположный паттерн креативности: точность взлетела с 56% до 99% (быстрее людей), lexical overlap в 2 раза выше чем у H-H — стабильные соглашения сформировались. Но длина не изменилась (58→56 слов). Модели договорились о терминах, но продолжали добавлять избыточные детали.

H-AI пары полностью провалились: точность 54%→70%, длина ~30 слов, overlap вдвое ниже чем у H-H. Даже хуже чем в первом блоке AI-AI пар.

Почему провал H-AI? Исследователи прогнали описания через GPT-4o-mini с просьбой классифицировать стиль: analogical (метафоры — "танцор", "самолёт"), geometric (описание форм — "два треугольника образуют..."), mixed.

Результаты: - H-H: 68% analogical, 12% geometric - AI-AI: 5% analogical, 38% geometric, 57% mixed - H-AI: 24% analogical, 23% geometric, 52% mixed

Люди договариваются метафорами, AI мыслит геометрией. В H-AI парах люди пытаются предложить метафору, AI либо игнорирует либо "дополняет" геометрическими деталями — соглашение не закрепляется.

Эксперимент 2: Создали промпт "humanlike" — явные инструкции использовать аналогии, сокращать длину, уменьшать описания с каждым блоком. Итеративно тестировали на AI-AI парах пока не получили человекоподобную траекторию длины.

Результат с новым промптом в H-AI парах: длина сравнялась с H-H (даже чуть короче), но accuracy и lexical overlap всё равно отстали. 59% участников думали что такой AI — человек (vs 84% для настоящих людей, 12% для дефолтного AI).

Вывод исследования: Можно заставить AI имитировать форму человеческой коммуникации (длина, стиль), но содержание (стабильные соглашения, высокая точность) требует не просто повторения фраз партнёра, а общей интерпретационной базы — совместимых способов видеть и категоризировать мир.

Проблема оригинальной игры: соглашения формировались неявно, AI не фиксировала их. Адаптация: создавай явный словарь терминов по ходу диалога.

Мы обсуждаем {набор концепций/объектов}.

После каждого обсуждаемого элемента:
1. Я предлагаю короткое название
2. Ты уточняешь/соглашаешься
3. Добавляем в "Словарь соглашений" в начале треда

Когда ссылаемся на элемент далее — используем ТОЛЬКО название из словаря, без повторного описания.

[Словарь соглашений]
Элемент 1: [название] — [определение одним предложением]

Начнём с элемента 1: [описание]

Эффект: Ты создаёшь артефакт-якорь в контексте, к которому модель может обращаться. Это компенсирует слабость LLM в формировании неявных соглашений.

Исследование показало что LLM не чувствует естественного давления экономить длину. Создай искусственное.

Задача: {описание}

Правила:
- У тебя есть "бюджет" 200 слов на весь диалог
- Каждый твой ответ уменьшает бюджет на количество слов в ответе
- Когда бюджет кончится — ты проиграл
- В конце каждого ответа пиши: "Осталось слов: X"

Цель: решить задачу уложившись в бюджет.

Эффект: Модель начнёт явно оптимизировать длину. В исследовании AI-AI пары не сокращались потому что не было стимула. Бюджет создаёт стимул.

LLMs and people both learn to form conventions – just not with each other — Cameron R. Jones, Agnese Lombardi, Kyle Mahowald, Benjamin K. Bergen.

Университеты: Stony Brook University, University of Pisa, University of Texas at Austin, University of California San Diego.

Связанные работы упомянутые в исследовании: - Wilkes-Gibbs & Clark (1992) — классическая работа про tangrams game и формирование конвенций у людей - Hawkins et al. (2017) — современное исследование механизмов конвенций в reference games - Vaduguru et al. (2025) — Vision-Language модели учатся формировать конвенции при оптимизации на стоимость сообщений - Zeng et al. (2026) — похожее исследование с изображениями корзин, нашли провал H-AI и AI-AI пар