arXiv:2506.12928 90 1 июня 2025 г. PRO

Масштабирование вычислений во время тестирования для агентов LLM

КЛЮЧЕВАЯ СУТЬ

Наибольший прирост качества дает стратегия, когда LLM генерирует несколько разных вариантов ответа, а затем сама же выбирает лучший из полного списка, видя их все одновременно.

Адаптировать под запрос

Контент доступен только для PRO подписчиков

Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс

YandexPay • SberPay • СБП • Карты РФ

⚡ Оплатить через Tribute

Telegram Stars • Моментальный доступ

Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

Выберите модель ИИ:

Ваш запрос:

0 / 2000

~0.5-2 N-токенов ~10-30с

~0.3-1 N-токенов ~5-15с

90

ПРЕВОСХОДНО

Масштабирование вычислений во время тестирования для агентов...

Возможности

Решение сложных задач 95%

Генерация идей и получение инсайтов 90%

Улучшение промптов 85%

Область

IT и разработка ПО 90%

Наука и исследования 85%

Личная продуктивность 75%

Паттерн

Новое: Generate-then-Evaluate (Best-of-N + List-wise Verifier) 95%

КОМУ ПОЛЕЗНО

Маркетолог

Генерирует несколько вариантов рекламных слоганов/концепций (N-генерация), затем использует LLM как 'директора по маркетингу' для сравнительного анализа и выбора лучшего слогана из списка по заданным критериям (list-wise verifier), что повышает качество и релевантность рекламных материалов.

Контент-менеджер

Создает несколько черновиков статей или постов (N-генерация), после чего LLM в роли 'редактора' оценивает их по стилю, информативности и целевой аудитории, выбирая наиболее подходящий вариант (list-wise verifier), что сокращает время на редактуру и улучшает качество контента.

Менеджер проектов

Разрабатывает несколько стратегий решения проблемы или планирования проекта (N-генерация), затем LLM в роли 'консультанта' анализирует их по критериям рисков, ресурсов и сроков, предлагая оптимальный путь (list-wise verifier), что повышает эффективность планирования и снижает проектные риски.

Исследователь

Генерирует несколько гипотез или подходов к решению научной задачи (N-генерация), после чего LLM в роли 'эксперта' оценивает их по научной строгости, новизне и потенциалу, выбирая наиболее перспективное направление (list-wise verifier), что ускоряет процесс исследования и повышает его качество.

Разработчик ПО

Предлагает несколько вариантов архитектурных решений или алгоритмов для задачи (N-генерация), затем LLM в роли 'архитектора' сравнивает их по производительности, масштабируемости и сложности реализации, выбирая оптимальное (list-wise verifier), что улучшает качество кода и сокращает время на проектирование.

HR-специалист

Генерирует несколько вариантов описаний вакансий или вопросов для собеседований (N-генерация), затем LLM в роли 'рекрутера' оценивает их на соответствие требованиям, привлекательность для кандидатов и юридическую корректность, выбирая лучший (list-wise verifier), что повышает эффективность подбора персонала.

Финансовый аналитик

Создает несколько сценариев развития рынка или инвестиционных стратегий (N-генерация), после чего LLM в роли 'советника' анализирует их по критериям риска, доходности и рыночной конъюнктуры, выбирая наиболее выгодный (list-wise verifier), что улучшает качество финансовых решений.