Test Skeleton Generation: структура важнее покрытия при генерации кода LLM

Парадокс: GPT-4 покрыл 96% методов класса, DeepSeek — 100%. Но эксперты поставили GPT-4 худшую оценку (2.7 из 5), а DeepSeek — лучшую (4.2 из 5). Покрытие ≠ качество. Исследование показывает: генерация структурных шаблонов кода требует правильности формата, а не просто полноты. GPT-4 написал синтаксически корректный, но семантически неверный код — describe '#self.method' вместо describe '.method' для class-методов. Технически работает, но нарушает конвенции фреймворка → тесты пропускаются. Строгий промпт с явными требованиями («включи X, исключи Y, формат Z») даёт семантически корректный код. DeepSeek получил 5/5 за ясность и поддерживаемость благодаря чистой структуре, а не просто полному списку методов.