Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
КодIF Бенчмаркинг способностей по соблюдению инструкций больших языковых моделей для генерации кода
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
даже самые продвинутые LLM часто ошибаются и не могут полностью выполнить весь список требований, особенно когда инструкции сложные, противоречивые или содержат запреты (например, "не использовать цикл for").