Прохождение тестов ≠ качественный патч: как агенты чинят баги «для галочки» и как проверять это промптом

Парадокс: агент почти всегда убирает падение, но тесты разработчика проходит меньше чем в половине случаев. И новые модели этот показатель почти не двигают. Метод позволяет отличать настоящий фикс от заглушки и получать от агента патчи, которые не ломают легальные входы. Типичный «фикс» выглядит так: перед местом падения ставят проверку и выбрасывают ошибку. Падения нет, но вход, который раньше работал, теперь отвергается. Фишка: агенту нужно дать команды сборки и воспроизведение бага в виде кода, а потом заставить описать намерение кода до правки. Исходник вместо бинарного файла поднял прохождение проверки в Go с 69% до 95%. Но качество патча по тестам разработчика почти не изменилось. Подсказки делают агента увереннее, но не умнее.