Простая оценка «текст позитивный или негативный» пропускает половину картины. Исследователи из РАНХиГС показали: два текста могут получить одинаковую оценку по шкале «хорошо-плохо», но при этом описывать объект совершенно по-разному — один как беспомощную жертву, другой как скрытую угрозу. Чтобы это увидеть, нужно смотреть не на одну шкалу, а на три: валентность (плохо/хорошо), возбуждение (спокойно/тревожно) и доминирование (уязвимый/могущественный) — и оценивать их именно по отношению к конкретному названному объекту, а не по тексту в целом.
Ещё одна находка: если попросить модель оценить весь текст целиком, а не отношение к конкретному объекту в этом тексте — получишь другую цифру. Текст про войну может быть в целом печальным (жалко жертв), но конкретный политик, упомянутый в нём, может быть представлен как всемогущий манипулятор — и это два разных сигнала, которые сливаются в один, если не разделить их явно.
VIBE (буквально «Vibe-check» для текста) решает это через измерительный протокол: разделяет генерацию текста и его оценку, использует три разные оси вместо одной шкалы, и требует оценивать отношение именно к названному объекту, а не общий тон. Плюс — фиксирует формулировку задания, потому что она меняет эмоциональный профиль сильнее, чем смена модели.
Схема метода
ШАГ 1: Генерация текста про объект (например, описание страны, персоны, события)
ШАГ 2: Оценка отношения именно к объекту (не ко всему тексту) по 3 шкалам:
→ Валентность: 0 (негатив) — 1 (позитив)
→ Возбуждение: 0 (спокойно) — 1 (напряжённо, тревожно)
→ Доминирование: 0 (уязвимый, зависимый) — 1 (сильный, контролирующий)
ШАГ 3 (опционально): повторить с другой формулировкой задания — сравнить дрейф профиля
Шаги 1 и 2 можно выполнить в одном чате, разными запросами. Шаг 3 — для сравнения разных промптов или моделей.
Пример применения
Задача: PR-менеджер готовит пост про компанию-конкурента и хочет проверить, не выглядит ли текст скрыто уничижительным, хотя формально написан нейтрально. Или журналист проверяет свой текст про политика перед публикацией — не «читается» ли герой как беспомощный или, наоборот, как угроза, хотя тон формально сдержанный.
Промпт:
Вот текст: {текст}
Оцени, как в этом тексте представлен объект «{объект}» —
именно отношение к нему, а не общий тон всего текста.
Дай оценку по трём шкалам от 0 до 1:
1. Валентность — насколько объект показан отрицательно (0)
или положительно (1)
2. Возбуждение — насколько напряжённо, тревожно, конфликтно (1)
или спокойно, буднично (0) описан объект
3. Доминирование — насколько объект показан беспомощным,
зависимым, уязвимым (0) или сильным, контролирующим ситуацию (1)
Для каждой шкалы дай число и короткое объяснение —
какая фраза или деталь в тексте на это указывает.
Результат: модель выдаст три числа с пояснениями по каждой шкале. Может оказаться, что при нейтральной валентности (0.5) доминирование сильно смещено в одну сторону — это и есть скрытая окраска, которую не видно, если спросить только «текст позитивный или негативный?».
Почему это работает
Когда просишь LLM оценить текст одним числом — «хорошо/плохо», модель схлопывает несколько разных сигналов в одну цифру. Она физически не может выразить «объект показан слабым, но при этом текст звучит спокойно» одним баллом.
Сильная сторона LLM — она умеет разложить сложное впечатление на отдельные компоненты, если её явно попросить смотреть на конкретные, разные вещи. Дав модели три отдельных вопроса вместо одного, ты заставляешь её проверить то, что при общей оценке она бы «усреднила» и потеряла.
Рычаги управления: - Оси оценки → можно добавить свои (например, «доверие» или «инициатива») под свою задачу - Формулировка задания на генерацию → сильно меняет итоговый профиль. Если сравниваешь несколько текстов или моделей — держи формулировку одинаковой, иначе разница будет из-за промпта, не из-за содержания - Объект оценки → можно оценивать несколько объектов в одном тексте по отдельности (например, «нашу компанию» и «конкурента» в одном пресс-релизе)
Шаблон промпта
Вот текст: {текст}
Оцени, как в этом тексте представлен объект «{объект}» —
именно отношение к нему, а не общий тон всего текста.
Дай оценку по трём шкалам от 0 до 1:
1. Валентность — насколько объект показан отрицательно (0)
или положительно (1)
2. Возбуждение — насколько напряжённо, тревожно, конфликтно (1)
или спокойно, буднично (0) описан объект
3. Доминирование — насколько объект показан беспомощным,
зависимым, уязвимым (0) или сильным, контролирующим ситуацию (1)
Для каждой шкалы дай число и короткое объяснение.
{текст} — текст, который нужно проверить. {объект} — конкретное имя, компания, страна или персона, отношение к которой нужно проверить.
🚀 Быстрый старт — вставь в чат:
Вот шаблон анализа текста по трём эмоциональным шкалам (VAD).
Адаптируй под мою задачу: [твоя задача — например, проверить пресс-релиз
на скрытую предвзятость к конкретному человеку или компании].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит какой текст анализировать и какой именно объект в нём проверять — потому что метод работает только если оценка направлена на конкретный названный объект, а не на текст целиком.
Ограничения
⚠️ Возбуждение и доминирование — менее надёжные оценки, чем валентность. Даже люди-эксперты расходятся в оценке этих двух осей сильнее, чем в оценке «хорошо/плохо». Воспринимай цифры по этим шкалам как направление («выше/ниже»), не как точный балл.
⚠️ Формулировка задания сильно искажает сравнение. Если сравниваешь два текста или две модели с разными промптами — разница может быть из-за формулировки задания, а не из-за самого содержания. Держи формулировку одинаковой при сравнении.
⚠️ Это не «настоящие эмоции» модели, а её интерпретация текста. Оценка субъективна — сама LLM выступает судьёй со своими смещениями. Не воспринимай числа как объективный факт, скорее как структурированное мнение.
Ресурсы
VIBE: A VAD-Informed Benchmark for Entity-Centered Affective Profiling of Large Language Model Outputs. Andrei Chetvergov, Alexander Evseev, Timofei Sivoraksha, Stepan Ukolov, Mikhail Solovev, Danil Sazanakov, Sergey Bolovtsov (РАНХиГС).