3,583 papers
arXiv:2508.12358 82 17 авг. 2025 г. PRO

Two-Phase Reflective & Behavioral Comparison: проверка кода без over-correction bias

КЛЮЧЕВАЯ СУТЬ
Парадокс проверки кода: просишь LLM «проверь и объясни ошибки» — точность падает с 52% до 11%. Чем сложнее промпт, тем хуже модель проверяет код. Причина — over-correction bias (склонность к избыточной критике): когда просишь найти ошибки И предложить фикс, модель начинает видеть проблемы даже в правильном коде. Two-Phase Reflective и Behavioral Comparison позволяют проверять соответствие кода требованиям без ложных срабатываний — модель не будет придумывать баги там где их нет. Оба метода убирают шаг «исправь код» и разделяют понимание требований от проверки реализации. Two-Phase сначала извлекает список обязательств из требований («что код должен делать»), потом проверяет выполнение каждого. Behavioral Comparison описывает ожидаемое поведение из требований и фактическое поведение кода, затем сравнивает их. Результат: точность с 52% до 85% для GPT-4o.
Адаптировать под запрос
📋 Дайджест исследования

Контент доступен только для PRO подписчиков

Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с