arXiv:2309.14345 75 1 сент. 2023 г. PRO

Тестирование и смягчение предвзятости в генерации кода на основе больших языковых моделей (LLM)

КЛЮЧЕВАЯ СУТЬ

обратная связь от автоматизированного тестирования снижает предвзятость с 59.88% до 4.79%, в то время как обычные промпт-техники малоэффективны.

Адаптировать под запрос

Контент доступен только для PRO подписчиков

Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс

YandexPay • SberPay • СБП • Карты РФ

⚡ Оплатить через Tribute

Telegram Stars • Моментальный доступ

Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

Выберите модель ИИ:

Ваш запрос:

0 / 2000

~0.5-2 N-токенов ~10-30с

~0.3-1 N-токенов ~5-15с

75

ХОРОШО

Тестирование и смягчение предвзятости в генерации кода на ос...

Возможности

Генерация кода (Code Generation) 95%

Оценка и критика (Evaluation & Critique) 80%

Модерация контента и безопасность (Content Moderation & Safety) 70%

Область

IT и разработка ПО 95%

Безопасность и риски 85%

Наука и исследования 70%

Паттерн

Новое: Feedback-Driven Prompting (Обратная связь от тестирования) 95%

КОМУ ПОЛЕЗНО

Разработчик ПО / Инженер по машинному обучению

Использует предложенный фреймворк для тестирования и митигации социальной предвзятости в коде, генерируемом LLM, снижая процент предвзятого кода с 59.88% до 4.79%.

QA-инженер / Тестировщик

Применяет автоматизированное тестирование на основе AST для выявления предвзятости в сгенерированном коде, обеспечивая объективность и справедливость алгоритмов.

MLOps-инженер / Специалист по этике ИИ

Интегрирует механизмы обратной связи от тестирования предвзятости в CI/CD пайплайны для LLM-генерируемого кода, автоматизируя процесс обнаружения и исправления предвзятости до развертывания.

Промпт-инженер / Специалист по LLM

Разрабатывает и оптимизирует промпты для генерации кода, используя конкретную обратную связь от автоматизированного тестирования для итеративного улучшения качества и справедливости генерируемого кода.

Менеджер продукта / Руководитель проекта

Обеспечивает соответствие разрабатываемых LLM-систем этическим стандартам и требованиям к справедливости, используя метрики CBS для оценки и контроля уровня предвзятости в генерируемом коде.

Аудитор ИИ-систем / Специалист по комплаенсу

Проводит независимую оценку LLM-генерируемого кода на предмет социальной предвзятости, используя методологию исследования для выявления рисков и обеспечения соответствия регуляторным требованиям.

Исследователь ИИ / Академик

Использует методологию исследования для дальнейшего изучения механизмов предвзятости в LLM и разработки новых, более универсальных техник митигации, расширяя научное понимание проблемы.