Best Player ≠ Best Coach: почему сильнейшая модель не всегда лучший помощник

Парадокс: самая мощная модель для решения задачи — часто самый слабый советчик для того, кто решает задачу сам. CentaurBench показывает, какую модель выбрать, если нужен не готовый ответ, а план для другого исполнителя — junior-сотрудника, фрилансера или слабой модели. Исследователи прогнали одни и те же модели в двух ролях — решатель и советчик — и сравнили рейтинги. Рейтинги почти не совпали: Claude Opus, лучший решатель в задаче на анализ рынка, оказался одним из худших советчиков в той же задаче — а в трёх задачах из семи совет вообще вредил, исполнитель без подсказки справлялся лучше.