TL;DR
Galton's Law of Mediocrity для LLM — принцип, описывающий почему модели скатываются к безопасным generic формулировкам в креативных задачах. LLM обучены максимизировать вероятность следующего токена, что заставляет выбирать высокочастотные паттерны и игнорировать редкие, но креативные сочетания. Результат — "endless possibilities" и "whisper secrets" вместо живых идей.
Двухфазный эксперимент на 1000+ рекламных идей вскрыл механику регрессии. При упрощении текста метафоры и эмоции исчезают первыми — падение на 60-70%, тогда как фактический контент держится до последнего. При восстановлении модели генерируют лексически богатый текст (entropy выше оригинала), но семантически shallow — близость к оригиналу 0.22-0.29 вместо 1.0. Word frequency analysis показал: большая часть "нового" — рециклинг клише.
Marker-driven prompting частично решает проблему: явные креативные подсказки (метафоры, эмоциональные хуки, визуальные детали, слоганы) поднимают семантическую близость до 0.37 и балансируют типы креатива. Без маркеров модели создают 71% метафорического контента и лишь 5% слоганов. С маркерами — распределение выравнивается. Но тенденция к знакомым тропам остаётся.
Схема метода
MARKER-DRIVEN PROMPTING:
ШАГ 1: Извлечь креативные маркеры
→ Метафоры, эмоции, визуал, слоганы (3-4 элемента)
ШАГ 2: Постепенный ввод маркеров в промпт
→ Базовая идея + маркеры по нарастающей
ШАГ 3: Генерация с учётом структуры
→ Более сбалансированный, но не идеальный результатВсе шаги выполняются в одном промпте.
Пример применения
Задача: Запускаешь подкаст про карьеру в IT. Нужен слоган и описание, которые зацепят — не очередное "путь к успеху" и "развитие навыков".
Промпт без маркеров (baseline):
Создай слоган и описание для подкаста про карьеру в IT.Результат: Generic фразы — "карьерный рост", "развитие профессиональных навыков", "путь к успеху". Звучит как любой бизнес-подкаст.
Промпт с маркерами:
Создай слоган и описание для подкаста про карьеру в IT.
Используй креативные маркеры:
- Метафора: IT-карьера как игра с уровнями и боссами
- Эмоция: азарт первого релиза в продакшн
- Визуал: код на экране в 3 часа ночи перед дедлайном
- Слоган: короткий, дерзкий, с иронией
Сначала набросай идею в 1-2 предложениях, потом разверни.Результат: Модель даст текст с игровой механикой (уровни, баги как враги), ночной разработкой (кофе, дедлайны, первый production deploy), ироничным тоном. Не шедевр, но на порядок живее generic варианта. Всё равно потребует редактуры, но стартовая точка сильнее.
Почему это работает
LLM — статистические машины. Они выбирают токены с высокой вероятностью появления в обучающих данных. В креативе это катастрофа: редкие сочетания имеют низкую probability, модель их избегает. Результат — "cutting edge solutions" и "whisper secrets" в каждой второй генерации.
Marker-driven prompting работает как костыли для креатива. Вы явно называете элементы, которые хотите видеть (метафора, эмоция, визуал, слоган). Это повышает probability редких паттернов в output space модели — она больше не может их проигнорировать.
Рычаги управления:
| Параметр | Как влияет | Когда менять |
|---|---|---|
| Количество маркеров | Больше → больше структуры, но меньше свободы | Убери лишние для простых задач |
| Тип маркеров | Метафоры → образность, эмоции → connect, визуал → конкретика, слоганы → punch | Смещай акценты под цель |
| Последовательность ввода | Постепенное добавление → органичнее | Сразу все → если нужна жёсткая структура |
| Специфичность маркеров | "Ностальгия по домашнему уюту" > "Эмоциональный текст" | Чем точнее маркер, тем лучше |
Но даже с маркерами модель тянется к клише. Исследование показало: word clouds из 1000+ генераций заполнены одними и теми же фразами. Креатив требует кураторской работы — выбора лучших вариантов и ручной доводки.
Шаблон промпта
Создай {тип контента} для {твоя задача}.
Используй креативные маркеры:
- Метафора: {конкретный образ или сравнение}
- Эмоция: {какое чувство должен вызвать текст}
- Визуал: {конкретная сцена или деталь — что видит читатель}
- Слоган: {стиль — короткий/дерзкий/тёплый/ироничный}
Сначала набросай идею в 1-2 предложениях, потом разверни детально.Что подставлять:
{тип контента}— слоган, описание продукта, пост, рекламный текст{твоя задача}— конкретный продукт/услуга/проект{маркеры}— конкретные креативные элементы (не "эмоциональный", а "ностальгия по советским дворам")
Как определить маркеры:
- Найди референс, который тебе нравится (реклама, пост, слоган)
- Выдели:
- Какую метафору используют? ("кофе как утренний ритуал" vs просто "кофе")
- Какую эмоцию вызывают? (азарт vs спокойствие vs ностальгия)
- Какие визуальные детали запоминаются? (пар от чашки, свет из окна)
- Какой стиль слогана? (короткий punch vs длинное описание)
🚀 Быстрый старт — вставь в чат:
Вот шаблон marker-driven prompting для креативных задач. Адаптируй под мою задачу: [опиши что нужно].
Задавай вопросы, чтобы заполнить маркеры.
[вставить шаблон выше]LLM спросит про тип контента, задачу, и какие креативные элементы ты хочешь — потому что маркеры и есть инструкция для модели, что считать "креативным" в твоём случае. Она возьмёт паттерн и адаптирует.
Ограничения
⚠️ Частичное решение: Marker-driven prompting улучшает результат, но не убирает тенденцию к клише. Модель всё равно полагается на знакомые тропы. Исследование показало: даже с маркерами word frequency clouds заполнены одними и теми же фразами.
⚠️ Ручная работа обязательна: Нужно самому определить хорошие маркеры. Если маркеры generic ("эмоциональный текст") — результат будет generic. Если конкретные ("азарт от первого production deploy") — шансы выше.
⚠️ Не для всех задач: Работает для коротких форматов (слоганы, описания, посты). Для длинных текстов (статьи, longread) эффект слабеет — маркеры размываются в общем объёме.
⚠️ Кураторская работа: Даже с маркерами output требует редактуры. Генерируй несколько вариантов, выбирай лучшие куски, дорабатывай вручную.
Как исследовали
Исследователи из 55mv Research Lab взяли 1045 рекламных идей из своей базы и прогнали через 5 SOTA моделей (GPT-4o, GPT-5 main/thinking, Claude Sonnet 4, Gemini 2.5 Pro, GPT-OSS-120B). Каждый эксперимент повторили три раза — стандартное отклонение оказалось меньше 0.02, что подтверждает надёжность выводов.
Phase 1 (Forgetting): Модели упрощали идеи в три этапа — на 35% (mild), 70% (moderate), 95% (extreme). Следили за четырьмя метриками: cosine similarity (семантическая близость), METEOR (surface overlap), entropy (лексическое разнообразие), 4-gram uniqueness (структурная новизна).
Что обнаружили: При упрощении метафоры падали на 71%, эмоции на 60%, визуал на 56%, а слоганы только на 16%. Cosine similarity и METEOR резко падали, entropy снижалась (с 5.3 до 3.3-4.2), а 4-gram uniqueness взлетала до 0.99 — текст становился поверхностно новым, но семантически пустым.
Phase 2 (Expansion): Модели восстанавливали идеи из упрощённых версий двумя способами: plain (без подсказок) и marker-driven (с креативными маркерами). Маркеры — короткие фразы (до 10 слов) типа "models are the vegetarian dishes" или "vegetarian, but make it fashion".
Результаты удивили: Plain expansion увеличивала entropy (с 5.3 до 6.0-6.2) — лексическое богатство росло. Но cosine similarity оставалась низкой (0.22-0.29 вместо 1.0) — семантика не восстанавливалась. Word clouds показали: модели генерируют одни и те же клише ("whisper secrets", "cutting edge", "endless possibilities") в разных комбинациях.
Marker-driven expansion дала частичное улучшение: cosine similarity выросла до 0.37, METEOR до 0.26, entropy даже увеличилась (до 6.1). Качественный анализ 100 примеров показал: без маркеров 71% контента — метафоры, только 5% — слоганы. С маркерами распределение выровнялось — больше эмоций (12.5%), визуала (11.3%), слоганов (5.2%).
Инсайт для практики: LLM хороши в surface-level novelty (новые слова), но плохи в genuine creativity (глубокие идеи). Без явных подсказок они регрессируют к усреднённым паттернам. Marker-driven prompting частично компенсирует это, но не решает полностью.
Ресурсы
Galton's Law of Mediocrity: Why Large Language Models Regress to the Mean and Fail at Creativity in Advertising
Авторы: Matt Keon, Aabid Karim, Bhoomika Lohana, Abdul Karim, Thai Nguyen, Tara Hamilton, Ali Abbas
Организации: 55mv Research Lab, Monash University, School of Engineering (Western Sydney University)
Октябрь 2025