Слепые оракулы: почему тесты от AI не ловят баги в коде от AI

Тест долетает до места с багом в трети-половине случаев. Но ловит баг почти никогда - процент найденных ошибок близок к нулю. Проблема не в самом тесте, а в проверке результата (её называют оракул - это строка типа assert результат равен ожидаемому). AI пишет эту строку, глядя на свой же код, и просто подтверждает то, что код УЖЕ делает, а не то, что он ДОЛЖЕН делать. Раздельная генерация даёт возможность отделить 'что должно быть' от 'что уже написано' - AI сначала предсказывает результат по текстовому описанию задачи, вообще не видя код.