Совместное усиление разнообразия и качества в генерациях языковых моделей

Обнаружено: RLHF-обучение на «полезность» заставляет LLM избегать рискованных идей и выдавать безопасные шаблонные ответы — это называется «коллапс разнообразия». DARLING позволяет обучать модель так, чтобы она генерировала не только правильные, но и семантически уникальные ответы, что парадоксально повышает и креативность, и точность. Механика: модель получает усиленную награду за ответ, который одновременно качественный И непохож на другие её варианты — это заставляет исследовать пространство решений вместо эксплуатации очевидных путей. Результат: +23% разнообразия при сохранении качества, а в сложных задачах — нахождение лучших решений через вариативность.