3,583 papers
arXiv:2509.15020 90 18 сент. 2025 г. PRO

Space-Letter Tokenization: как пробел перед ответом меняет точность модели на 11%

КЛЮЧЕВАЯ СУТЬ
Один пробел в промпте меняет точность модели на 11%. Звучит как баг, но это особенность токенизации. Когда пишешь 'Ответ:A' без пробела, а модель привыкла видеть '␣A' (пробел слитно с буквой) — возникает рассогласование. Модель путается на границе выбора между вариантами. Space-Letter Tokenization решает это: форматируй промпт так, чтобы пробел шел вместе с буквой — и в списке вариантов ('A) Вариант'), и в финальной строке ('Ответ: '). Синхронизация токенизации убирает искусственную неоднозначность — модель видит токен '␣A' вместо разделенных '␣' и 'A'. Результат: +5-11% точности, калибровка улучшается в 4 раза.
Адаптировать под запрос
📋 Дайджест исследования

Контент доступен только для PRO подписчиков

Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с