3,583 papers
arXiv:2509.04644 70 4 сент. 2025 г. PRO

Test Skeleton Generation: структура важнее покрытия при генерации кода LLM

КЛЮЧЕВАЯ СУТЬ
Парадокс: GPT-4 покрыл 96% методов класса, DeepSeek — 100%. Но эксперты поставили GPT-4 худшую оценку (2.7 из 5), а DeepSeek — лучшую (4.2 из 5). Покрытие ≠ качество. Исследование показывает: генерация структурных шаблонов кода требует правильности формата, а не просто полноты. GPT-4 написал синтаксически корректный, но семантически неверный код — describe '#self.method' вместо describe '.method' для class-методов. Технически работает, но нарушает конвенции фреймворка → тесты пропускаются. Строгий промпт с явными требованиями («включи X, исключи Y, формат Z») даёт семантически корректный код. DeepSeek получил 5/5 за ясность и поддерживаемость благодаря чистой структуре, а не просто полному списку методов.
Адаптировать под запрос
📋 Дайджест исследования

Контент доступен только для PRO подписчиков

Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с