SALE (Strategy Auctions): аукцион планов для выбора нужной модели

На простых задачах (решение за 6-30 сек) малая модель достигает 87% точности большой — почти паритет. На сложных (час работы) её точность падает до 21% — разрыв в 4 раза. Но как понять ДО выполнения, какая задача перед тобой? SALE позволяет выбирать оптимальную модель (дешёвую где можно, дорогую где нужно) через конкурс планов решения — без прогона задачи через все модели. Фишка: план решения предсказывает качество лучше, чем описание задачи. Короткий вопрос может требовать часа работы, развёрнутый — решиться в один шаг. Каждая модель пишет стратегический план (не полное решение), планы оцениваются жюри + энтропия (разнообразие слов). Проигравшие дешёвые модели видят контраст 'плохой план vs хороший план' из памяти — улучшают свой. Если улучшенный обходит дорогую — получают задачу. Результат: −65% нагрузки на большую модель, +3.5% точности, −42% расходов.