Fault-enforcing tests: тесты, которые LLM пишет по коду, закрепляют баги

Обнаружено: тесты, которые LLM пишет по свежему коду, чаще закрепляют баг, чем ловят его. Закрепляющих тестов получилось в несколько раз больше. Они проходят на сломанном коде и падают на исправленном. Защитный промпт позволяет получать тесты, где ожидаемые значения берутся из ТЗ, а не из кода. Авторы статьи сам промпт не проверяли, это наша производная от их выводов. Фишка: модель смотрит, что код делает сейчас, а не что он должен делать. Значит, любая ошибка в коде становится «правильным ответом» в тесте. Лечится это правилом «упал — стоп»: нельзя править ожидание под код, нужно сообщить о расхождении. Зелёные тесты, покрытие растёт, все довольны. Только баг теперь прописан в тестах как закон.