arXiv:2506.14092 95 1 июня 2025 г. PRO

Хрупкие предпочтения: углубленное изучение эффектов порядка в больших языковых моделях

КЛЮЧЕВАЯ СУТЬ

Позиция варианта в списке — это мощный фактор, который может исказить оценку LLM и заставить ее выбрать объективно худший вариант.

Адаптировать под запрос

Контент доступен только для PRO подписчиков

Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс

YandexPay • SberPay • СБП • Карты РФ

⚡ Оплатить через Tribute

Telegram Stars • Моментальный доступ

Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

Выберите модель ИИ:

Ваш запрос:

0 / 2000

~0.5-2 N-токенов ~10-30с

~0.3-1 N-токенов ~5-15с

95

ИСКЛЮЧИТЕЛЬНО

Хрупкие предпочтения: углубленное изучение эффектов порядка ...

Возможности

Улучшение промптов 95%

Генерация идей и получение инсайтов 80%

Классификация информации и тегирование 75%

Область

Наука и исследования 90%

Личная продуктивность 85%

IT и разработка ПО 70%

Паттерн

Новое: Позиционное смещение (Positional Bias Prompting) 95%

КОМУ ПОЛЕЗНО

Контент-маркетолог

Выбирает оптимальные заголовки или идеи для статей, помещая предпочтительный вариант в середину списка из трех (эффект центральности) или на первое место (эффект первичности) при запросе к LLM, что увеличивает вероятность выбора желаемого варианта и экономит время на итерациях.

Продакт-менеджер

Приоритизирует функции продукта, располагая наиболее важную функцию первой в списке при запросе к LLM (эффект первичности), что помогает получить обоснование и анализ именно этой функции, ускоряя процесс принятия решений.

Исследователь

Получает более объективные оценки от LLM, формулируя один и тот же запрос несколько раз с разным порядком вариантов. Это позволяет выявить позиционные искажения и определить 'истинные' предпочтения модели, повышая надежность результатов.

Разработчик промптов

Оптимизирует структуру промптов для конкретных задач, используя эффекты первичности, новизны и центральности для 'направления' внимания LLM на ключевые элементы, что приводит к более точным и предсказуемым ответам.

Менеджер по найму

Оценивает кандидатов или резюме, располагая наиболее подходящего кандидата в начале списка (эффект первичности) или в середине (эффект центральности) при запросе к LLM для получения более детального анализа именно этого кандидата, ускоряя процесс отбора.

Аналитик данных

Применяет позиционное смещение для получения желаемых выводов при сравнении нескольких гипотез или моделей, располагая предпочтительную гипотезу в выгодной позиции в промпте, что помогает сфокусировать анализ LLM.

Копирайтер

Генерирует варианты слоганов или рекламных текстов, используя эффект центральности для 'продвижения' наиболее удачного варианта, что повышает шансы на его выбор и дальнейшую доработку LLM.

Преподаватель/Тренер

Создает обучающие материалы или тесты, располагая ключевые концепции или правильные ответы в промпте таким образом, чтобы LLM акцентировала на них внимание, улучшая качество генерируемых объяснений или вопросов.