Two-Phase Reflective & Behavioral Comparison: проверка кода без over-correction bias
КЛЮЧЕВАЯ СУТЬ
Парадокс проверки кода: просишь LLM «проверь и объясни ошибки» — точность падает с 52% до 11%. Чем сложнее промпт, тем хуже модель проверяет код. Причина — over-correction bias (склонность к избыточной критике): когда просишь найти ошибки И предложить фикс, модель начинает видеть проблемы даже в правильном коде.
Two-Phase Reflective и Behavioral Comparison позволяют проверять соответствие кода требованиям без ложных срабатываний — модель не будет придумывать баги там где их нет.
Оба метода убирают шаг «исправь код» и разделяют понимание требований от проверки реализации. Two-Phase сначала извлекает список обязательств из требований («что код должен делать»), потом проверяет выполнение каждого. Behavioral Comparison описывает ожидаемое поведение из требований и фактическое поведение кода, затем сравнивает их. Результат: точность с 52% до 85% для GPT-4o.