CIFE: как LLM игнорируют критичные требования при генерации кода

LLM генерирует код регистрации пользователей, который проходит тесты — но хранит пароли открытым текстом, не проверяет формат email, уязвим к SQL-инъекциям. Бенчмарк CIFE показал: 90% моделей выполняют требования частично, только 39-66% соблюдают ВСЕ строго. Парадокс: маленькая reasoning-модель o3-mini (3.8B параметров) обходит гигантский GPT-4o (175B) в соблюдении ограничений — 84% против 66%. Способность рассуждать важнее размера. Метод заставляет модель явно проверять каждое требование через структурированный промпт с категориями: безопасность, валидация, обработка ошибок, производительность. Модель перестаёт просто "генерировать работающий код" и начинает выполнять чек-лист критичных проверок.