Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Эффективное выборочное тестирование времени масштабирования: самооценка наилучшего из N выборок при раннем декодировании.
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Этот подход сокращает использование памяти GPU более чем на 90% и время ответа на 50%, достигая при этом такого же или даже лучшего качества ответов по сравнению с полным перебором N вариантов.