Иллюзия бенчмарка: почему GPT-4 и Claude дают разные ответы на одни и те же вопросы

Парадокс: GPT-4 и Claude оба показывают 75% точности на тесте, но не соглашаются друг с другом в 40% вопросов. Проблема не в том, что одна модель лучше другой — проблема в том, что они ошибаются в разных типах вопросов. Одна путается в математике, другая — в логике, третья — в культурном контексте. Исследование на 12 тысячах вопросов показало: топовые модели расходятся в 16-38% случаев. Когда используешь такую модель для анализа данных (оценка резюме, классификация отзывов), её невидимые слепые зоны становятся твоими слепыми зонами в выводах.