Verbalized Sampling: распределения вместо одиночных ответов для борьбы с однообразием

Парадокс RLHF: модель становится полезнее, но скучнее. После дообучения на предпочтениях людей LLM схлопывается в узкий набор «безопасных» ответов — причина в том, что аннотаторы систематически предпочитают типичное, знакомое (это когнитивная особенность людей, а не баг алгоритма). Метод Verbalized Sampling позволяет восстановить креативность и разнообразие — получить 5-7 вариантов ответа вместо одного стереотипного, для копирайтинга, брейнштормов, любых задач где много правильных решений. Фишка: просишь не один ответ, а распределение с вероятностями — это переключает модель из режима «выдать самый безопасный вариант» в режим «показать диапазон вероятных ответов». Мода меняется: промпт «одна шутка» схлопывается в «самая типичная шутка», промпт «5 шуток с вероятностями» схлопывается в «распределение шуток из обучения» — это восстанавливает разнообразие базовой модели.