Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
PatternBench: проверка, что модель реально применила оптимизацию кода, а не просто получила ускорение
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Код стал быстрее, но это не значит, что модель сделала то, что обещала. Метод позволяет заставить модель применить конкретную оптимизацию и проверить, что она есть в коде, а не только в объяснении. Ты сам называешь приём и объясняешь, почему компилятор его не сделает, а модель только исполняет. На 22 моделях и 1244 задачах на C доля верно выполненных оптимизаций выросла с 35,5% до 45,6% от одного лишь названия паттерна оптимизации. Скромно, зато бесплатно и одной строчкой.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку