Alvorada-Bench: Могут ли языковые модели решать вступительные экзамены в бразильские университеты?

Обнаружено: топовые LLM достигли «плато промпт-инжиниринга» — они одинаково хорошо решают задачи независимо от того, попросили их «думать пошагово» или задали прямой вопрос. Метод позволяет перестать тратить время на усложнение промптов для современных моделей и получать качественные ответы простыми запросами. Исследование показало: для GPT-4, Claude 3 Opus и новее разница между Zero-Shot и Chain-of-Thought составляет менее 2% точности, зато самооценка уверенности модели коррелирует с реальной правильностью ответа на 87% — встроенный детектор надежности работает.