Benchmark²: три признака хорошей тестовой задачи для LLM

Парадокс бенчмарков: Qwen-1.5B решает задачу, а Qwen-72B нет. GPT-3.5 справляется, GPT-4 ошибается. В популярном бенчмарке SIQA такие инверсии происходят в 77% случаев — это катастрофа, но никто не проверял качество самих тестов. Метод позволяет отфильтровать сломанные задачи и создать evaluation set (тестовый набор), которому можно доверять. Три метрики проверяют задачу: различает ли модели разных уровней, соблюдается ли иерархия (сильная побеждает слабую), согласуется ли рейтинг с другими тестами. Результат: оставляешь 35% лучших задач — надёжность оценки растёт с 0.59 до 0.69, а корреляция с полным бенчмарком 0.93.