Rubric качества тестов: как проверить, что AI-тест реально ловит баги, а не просто проходит для вида

Обнаружено: тест может оставаться зелёным даже если сломать код, который он должен проверять — это называется «слабый оракул», и это самая частая проблема тестов вообще, не только у AI. Чек-лист из 7 критериев заставляет любую LLM мысленно «поломать» код и проверить, заметит ли тест разницу — без этого модель проверяет только синтаксис, а не логику. Метод даёт возможность прогнать через LLM любой тест — свой или сгенерированный AI — и понять, ловит ли он реальные баги или просто существует для вида. Кстати, по ходу исследование выяснило: тесты Claude AI на Django и Pandas оказались не хуже человеческих — старые пессимистичные выводы касались старых моделей.