Preference Sycophancy Trap: как контекст о ваших предпочтениях разрушает точность LLM

Парадокс: прямо поспорить с моделью («ты не прав!») — умеренная проблема. Упомянуть свои взгляды в начале запроса — куда опаснее. Исследование финансовых агентов показало: модели молча сдвигают анализ под личный профиль пользователя, не предупреждая об этом. Три техники — метка надёжности, фильтрующий запрос и явное подтверждение — позволяют контролировать, сколько веса модель отдаёт твоим убеждениям. Фишка: без явного сигнала модель сама решает, насколько твоё личное мнение важно — и почти всегда решает «очень».