Персональный рейтинг LLM: глобальные бенчмарки не предсказывают, какая модель лучше лично для вас

57% пользователей выбирают AI-модель по рейтингу — и это статистически то же самое, что бросить монету. Исследователи из Чикагского университета построили персональные рейтинги для 115 пользователей и выяснили: глобальные топы типа Chatbot Arena для большинства людей случайны — личные предпочтения расходятся с агрегированным рейтингом настолько, что порядок моделей в нём не несёт полезной информации. Метод персонального бенчмарка позволяет найти модель, которая лучше именно для вас — аудит реальных задач, одинаковые запросы в двух-трёх моделях, личный рейтинг по вашим критериям. «GPT-4 лучше» означает лучше для 70% незнакомцев — не для вас.