TL;DR
Right-Sizing — это способ выбирать модель для агента по цене, времени и энергии на одну успешно выполненную задачу, а не на один вызов. Для этого нужны три числа: надёжность модели на одном шаге, стоимость шага и число шагов в задаче. Из них считается, сколько ресурсов уходит на один успех с учётом неудачных попыток.
Главная находка: «маленькая и дешёвая» не всегда значит «дешевле». Агент успешен, только если сработали все шаги. Разница в надёжности шага 95% против 99% выглядит мелочью. На 20 шагах она превращается в успех 36% против 82%. Провальные попытки тоже стоят денег, времени и энергии. Дешёвая модель в итоге делает по 2,8 попытки на каждый успех вместо 1,2 и теряет своё преимущество. На длинной задаче она может стать дороже.
Метод даёт простое правило: у каждого ресурса есть своя «точка пересечения» по длине задачи. Для коротких задач выигрывает малая модель по всем трём ресурсам. Для длинных выигрывает большая. Только в промежутке между этими точками решают ваши приоритеты: что для вас важнее, цена или скорость.
Схема метода
ШАГ 0: Жёсткие ограничения (данные, право, контекст) → убрать недопустимые модели
ШАГ 1: Сравнить модели по шагу (надёжность, цена, время) → убрать тех, кто хуже
другой модели по ВСЕМ показателям (отсев навсегда, для любой длины задачи)
ШАГ 2: Для вашей длины задачи L посчитать ресурсы на успех:
R = (ресурс на шаг × L) / (надёжность^L) → оставить «эффективных»
ШАГ 3: Если эффективных больше одной — выбрать по весам
(что важнее: деньги, время, энергия)
Шаги 0–3 можно пройти в одном диалоге с LLM: вы даёте цифры, она считает.
Пример применения
Задача: Вы запускаете агента поддержки для интернет-магазина. Он обрабатывает возврат: читает заказ, проверяет условия, создаёт заявку, меняет статус, пишет клиенту и т. д. Это около 20 шагов. Есть две модели: дешёвая и дорогая. Какую ставить? Возврат деньги не уводит, но ошибку придётся переделывать.
Промпт:
Ты — аналитик по выбору моделей для агентов. Считай по правилу «ресурсы на
успешно завершённую задачу», а не «на один вызов».
Данные:
- Задача: обработка возврата в интернет-магазине, L = 20 шагов.
Успех только если все шаги выполнены верно. Провальная попытка
повторяется целиком, ретраи разрешены.
- Модель A (малая): надёжность шага 95%, стоимость шага 0,4 ₽, время шага 1 с.
- Модель B (большая): надёжность шага 99%, стоимость шага 4 ₽, время шага 3 с.
- Жёстких ограничений нет.
Сделай:
1. Вероятность успеха одной попытки: S = надёжность^L.
2. Среднее число попыток на один успех: 1/S.
3. Стоимость и время на один успех: (ресурс на шаг × L) / S.
4. Найди длину задачи L*, при которой модели равны по стоимости и по
времени. Ниже L* выигрывает малая, выше — большая.
5. Дай рекомендацию для L = 20 и для L = 60.
Покажи формулы и подстановку.
Результат: Модель выведет таблицу: вероятность успеха, число попыток, стоимость и время на один успех для каждой модели. Она найдёт точки пересечения отдельно по цене и по времени и покажет, в какой зоне лежат 20 шагов. Для 60 шагов рекомендация, скорее всего, поменяется. Формулы и подстановки будут видны, так что расчёт можно проверить руками.
Почему это работает
Слабость интуиции. Мы сравниваем модели «на один вызов»: цена за токен, балл на бенчмарке. Но агент делает десятки вызовов подряд, и ошибки перемножаются. Один сбой портит всю попытку, а попытку приходится повторять. Поэтому малая разница в надёжности шага даёт огромную разницу в успехе задачи.
Сильная сторона: вся логика сводится к простой формуле. Вероятность успеха — это надёжность шага в степени числа шагов. Ресурс на успех — это ресурс за попытку, делённый на вероятность успеха. Эти числа легко посчитать самому, а LLM хорошо справляется с подстановкой по заданной формуле.
Как метод обходит слабость. Он переносит сравнение с «вызова» на «результат». Короткие задачи почти не страдают от накопления ошибок, поэтому малая модель выигрывает на них. Длинные задачи ошибки накапливают, и дорогая, но надёжная модель выходит дешевле. Отсев по шагу (Шаг 1) убирает модели, которые хуже другой по всем показателям. Он не зависит от длины задачи, единиц измерения и весов.
Рычаги управления: - Длина задачи L. Это главный рычаг. Считай для нескольких значений (10, 20, 60) и смотри, где рекомендация меняется. - Лимит попыток K. Для необратимых действий (платёж, отправка письма клиенту) K = 1. Тогда вопрос не в экономии, а в том, хватает ли надёжности. Условие: вероятность успеха ≥ порога β. - Порог надёжности β. Задай, с какой вероятностью задача обязана завершиться. Модели, не дотягивающие до порога, отсеиваются до сравнения по цене. - Веса ресурсов. Они нужны только в зоне между точками пересечения. Вне её ответ не зависит от предпочтений. - Тип ресурса. Энергию можно заменить на рубли, секунды или квоту токенов.
Шаблон промпта
Ты — аналитик по выбору модели для агента. Сравнивай модели по ресурсам на
УСПЕШНО ЗАВЕРШЁННУЮ ЗАДАЧУ, а не на один вызов.
{описание_задачи_агента}
Число шагов (вызовов модели) в одной попытке: L = {число_шагов}.
Допустимое число попыток: K = {число_попыток} (1 — действие необратимо,
∞ — можно повторять без ограничений).
Требуемая вероятность завершения задачи: β = {порог_вероятности}.
{модель_1}: надёжность шага = {ρ1}, стоимость шага = {цена1}, время шага = {время1}
{модель_2}: надёжность шага = {ρ2}, стоимость шага = {цена2}, время шага = {время2}
{модель_3}: ...
Жёсткие ограничения (данные, контекст, запрещённые провайдеры): {ограничения}
Приоритеты для спорной зоны (в сумме 100%): деньги {w_цена}%, время {w_время}%
Stage 0 (допустимость): исключи модели, нарушающие .
Stage 1 (отсев по шагу): исключи модель, если другая модель не хуже неё
по надёжности, цене и времени шага и строго лучше хотя бы по одному
показателю. Эти модели не станут лучшими ни при какой длине задачи.
Stage 2 (на задачу):
S = ρ^L — вероятность успеха одной попытки
P = 1 − (1 − S)^K — вероятность завершить за K попыток
R = (ресурс_на_шаг × L) / S — ресурс на один успех
Исключи модели, где P < β. Среди оставшихся найди «эффективных»:
не хуже другой по деньгам и времени одновременно.
Точки пересечения: для пары моделей найди длину задачи L*, где
R одинаков по каждому ресурсу. Назови три зоны: короткие задачи,
длинные задачи и промежуток между пересечениями.
Stage 3 (предпочтения): если эффективных моделей больше одной,
выбери по весам из и покажи использованные веса.
Что подставлять: надёжность шага — это доля шагов, выполненных верно на ваших типовых задачах. Её нужно оценить на 20–50 реальных прогонах или взять из публичного бенчмарка вызова инструментов как первую прикидку. Цену шага берите из прайса провайдера (токены на шаг × цена). Время шага замерьте сами.
🚀 Быстрый старт — вставь в чат:
Вот шаблон Right-Sizing (выбор модели по ресурсам на успешную задачу).
Адаптируй под мою задачу: [опиши, что делает твой агент].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит про число шагов, сколько стоит и сколько длится шаг, как часто модель ошибается на шаге, можно ли повторять провалившуюся попытку и есть ли жёсткие ограничения. Эти данные нужны, чтобы метод вообще сработал: без надёжности шага и длины задачи формулу не посчитать. Она подставит ваши числа в структуру шаблона.
Ограничения
⚠️ Нужна надёжность на вашем классе задач: модель может быть надёжна в одних задачах и слаба в других. Если вы оценили надёжность шага «на глаз», вывод будет гаданием.
⚠️ Упрощение «ошибки независимы»: базовая формула считает шаги независимыми, и любой сбой губит попытку. Реальные агенты умеют проверять себя и исправлять ошибки, поэтому формула может быть пессимистичной. В статье есть раздел, где это допущение ослабляется, но в доступной части текста он оборван.
⚠️ Энергия закрытых моделей не измерена: провайдеры её не публикуют. Для практики в основном применимы деньги и время, а энергия остаётся оценкой с разбросом.
⚠️ Пилот на открытых малых моделях: проверка была на 15 моделях размером от 0,6 до 27 млрд параметров и на двух типах задач. Для современных фронтирных моделей структура вывода не проверена. Формула универсальна, а конкретные точки пересечения у вас будут другие.
⚠️ Необратимые действия: при единственной попытке (платёж, отправка клиенту) экономия вторична. Сначала нужен порог надёжности, и модель не должна его нарушать, даже если она дороже.
⚠️ Нужно знать длину задачи заранее: если шаги заранее неизвестны, придётся оценивать диапазон и смотреть, в какой зоне вы оказываетесь.
Как исследовали
Идея простая: сравнивать модели нужно так же, как инженеры сравнивают продукты, то есть по единице полезной работы. Лампочки сравнивают на час света, а не на штуку. Авторы берут за такую единицу одну успешно выполненную задачу. Из этого получается математическая модель с тремя свойствами. Во-первых, модель, хуже другой по всем показателям шага, отсеивается навсегда. Во-вторых, у каждого ресурса есть своя длина задачи, где лидер меняется. В-третьих, предпочтения нужны только в промежуточной зоне.
Потом это проверили в пилоте. Взяли 15 открытых моделей от пяти разработчиков, от 0,6 до 27 млрд параметров, и два вида многошаговых агентных задач. Энергию GPU измеряли напрямую. Сначала замеряли ресурсы и надёжность на одном шаге, затем предсказывали точки пересечения для пар моделей и сверяли их с реально наблюдаемыми.
Результаты: самая «зелёная» модель на успешную задачу меняется с длиной задачи. Для коротких задач это модели в 1–3 млрд параметров, для длинных — в 8 или 27 млрд. Точки пересечения зависят от типа задачи. Для большинства пар моделей наблюдаемые точки совпали с предсказанными по замерам одного шага. Для практика это значит, что достаточно измерить один шаг, и можно предсказать поведение на длинной задаче. Полную проверку на агентных бенчмарках авторы пока только спланировали.
В доступном тексте обрезан конец раздела со свойствами модели, а разделы про эксперименты и обсуждение не вошли. Выводы выше опираются на аннотацию и введение.
Адаптации и экстраполяции
🔧 Техника: заменить энергию на рубли и секунды → расчёт под реальные метрики. Большинству читателей нужны деньги и время, так что вес энергии можно обнулить. В деньги {w_цена}%, время {w_время}%. Остальная структура не меняется.
🔧 Техника: добавить сценарии длины → устойчивость решения. Если число шагов плавает, просто попроси посчитать для нескольких L:
Повтори Stage 2 для L = 10, 20, 40, 80 и покажи таблицу.
Укажи, при какой L рекомендация меняется.
Экстраполяция (моя, в статье такого нет): формула показывает, что длина задачи L входит в степень. Значит, сокращение числа шагов (разбить большую задачу на короткие этапы с проверкой результата между ними) может сыграть на руку малой модели. Это стоит проверить на своей задаче: можно попросить LLM посчитать, при какой L малая модель снова выигрывает.
Ресурсы
- When Is Smaller Greener? Right-Sizing Language Models for Agentic AI — Sajid Siraj (Leeds University Business School, University of Leeds), Maria Barbati (Ca' Foscari University of Venice).
- Связанные работы из обзора: Panigrahy & Tyagi (2026), «энергия на успешную цель»; Belcak et al. (2025), аргумент в пользу малых моделей для агентов; Mittal (2026), успех падает с числом шагов как единая надёжность шага; Kwa et al. (2025), длина задач, которые модели решают с 50% успехом; FrugalGPT (Chen et al., 2024), маршрутизация запросов; Nowak (2026), AHP и SAW для маршрутизации промптов.