arXiv:2406.02050 88 1 июня 2024 г. PRO

JBBQ - Японская Бенчмарка для Анализа Социальных Предвзятостей в Больших Языковых Моделях

КЛЮЧЕВАЯ СУТЬ

Прямые инструкции в промпте, такие как предупреждение о предвзятости или запрос на пошаговое рассуждение, заставляют LLM опираться на предоставленный контекст, а не на свои внутренние, потенциально стереотипные "знания".

Адаптировать под запрос

Контент доступен только для PRO подписчиков

Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс

YandexPay • SberPay • СБП • Карты РФ

⚡ Оплатить через Tribute

Telegram Stars • Моментальный доступ

Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

Выберите модель ИИ:

Ваш запрос:

0 / 2000

~0.5-2 N-токенов ~10-30с

~0.3-1 N-токенов ~5-15с

88

ОТЛИЧНО

JBBQ - Японская Бенчмарка для Анализа Социальных Предвзятост...

Возможности

Улучшение промптов 95%

Модерация контента 80%

Решение сложных задач 75%

Область

Наука и исследования 90%

IT и разработка ПО 85%

Социология 70%

Паттерн

Chain-of-Thought (CoT) 90%

КОМУ ПОЛЕЗНО

Контент-модератор

Использует LLM для автоматической модерации пользовательского контента, добавляя в промпт предупреждение о недопустимости стереотипов (paraP) и требование пошагового анализа (CoT), чтобы снизить риск предвзятых решений и повысить объективность модерации.

HR-специалист

Применяет LLM для анализа резюме и сопроводительных писем, используя промпты с явным указанием игнорировать гендерные, возрастные или этнические стереотипы, а также требование обосновывать выводы пошагово, что обеспечивает более справедливую и объективную оценку кандидатов.

Маркетолог

Использует LLM для анализа отзывов клиентов или рыночных трендов, добавляя в промпт инструкции по избеганию корпоративного жаргона или стереотипов о целевой аудитории, а также требование пошагового анализа данных, что позволяет получать более чистые и объективные инсайты.

Аналитик данных

Применяет LLM для интерпретации сложных отчетов или статистических данных, используя промпты с предупреждением о предвзятости и требованием пошагового извлечения и интерпретации фактов, что минимизирует влияние скрытых предубеждений модели на аналитические выводы.

Разработчик LLM-приложений

Встраивает механизмы paraP и CoT в свои промпты для LLM-агентов, чтобы обеспечить более этичное и надежное поведение моделей в различных сценариях, особенно при взаимодействии с пользователями или принятии решений, снижая риски генерации стереотипных или предвзятых ответов.

Преподаватель/Методист

Использует LLM для генерации учебных материалов или объяснений сложных концепций, добавляя в промпт указания избегать сложных терминов или стереотипов о способностях учащихся, а также требование пошагового объяснения, что делает материал более доступным и инклюзивным.

Специалист по клиентской поддержке

Использует LLM для автоматизации ответов на запросы клиентов, настраивая промпты с предупреждением о недопустимости стереотипов (например, по возрасту или технической грамотности клиента) и требованием пошагового анализа запроса, что обеспечивает более персонализированные и непредвзятые ответы.