SafeGenBench - Бенчмаркфреймворк для обнаружения уязвимостей безопасности в коде, сгенерированном LLM.

LLM работает как способный, но НЕВНИМАТЕЛЬНЫЙ ИСПОЛНИТЕЛЬ – она решает основную задачу, но игнорирует важные требования к качеству, безопасности или стилю, если их не указать явно. Модель может знать лучшие практики, но не применяет их по умолчанию. Исследование показало: простое добавление инструкции "сосредоточься на безопасности" повысило качество кода с 37% до 58%.