Instruction Tuning Tax: чем современнее модель — тем однообразнее текст, и как это исправить

Чем лучше модель обучена слушаться, тем скучнее и однообразнее она пишет. Исследование измерило разнообразие языка у двух поколений моделей и выяснило: новые GPT-4o, Qwen 2.5, LLaMA 3.3 пишут менее разнообразно, чем старые необученные модели 2023 года. И значительно беднее, чем живые журналисты.