Робастность персонализации: когда предпочтения ломают правильность ответа

Попросил модель 'отвечать кратко' — получил короткий, но НЕПРАВИЛЬНЫЙ ответ. Даже GPT-4.1 ломается в 5% случаев при попытке следовать твоим предпочтениям, Mistral-7B проваливается в 26%. Метод Pref-Aligner позволяет получать ответы в нужном тебе стиле БЕЗ потери фактической правильности. Разделяет задачу на два этапа: сначала модель отвечает правильно (без стилевых ограничений), потом адаптирует под твои предпочтения через лёгкую редактуру. Снижение ошибок на 25% в среднем.