3,583 papers
arXiv:2511.04486 74 6 нояб. 2025 г. PRO

EDIT-Bench: почему модели плохо понимают ваши "исправь это" и как давать инструкции эффективнее

КЛЮЧЕВАЯ СУТЬ
Обнаружено: модели проваливаются на коротких инструкциях типа «исправь ошибку», когда контекст большой. Протестировали 40 моделей на 540 реальных задачах программистов — лучшая (Claude Sonnet 4) справилась только с 65%. Остальные ещё хуже. Метод EDIT-Bench позволяет получать точные правки кода вместо «модель изменила не то место». Фишка: явное выделение фрагмента для редактирования + подробная инструкция что именно сделать. Точность с ~40% → 60%+ по данным исследования.
Адаптировать под запрос
📋 Дайджест исследования

Контент доступен только для PRO подписчиков

Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Контент доступен только для PRO подписчиков

Чтобы получить доступ к концептам этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO
📖 Простыми словами

Контент доступен только для PRO подписчиков

Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с