SyntaxBench: почему LLM ошибаются в посимвольных задачах и когда «думающий» режим только мешает

Просишь заголовок до 56 символов, получаешь 61. Просишь найти символы с 120-го по 180-й, получаешь чужой кусок текста. Исследование SyntaxBench объясняет, какие задачи с буквами нельзя отдавать модели «в уме»: подсчёт длины, номера символов, вырезание фрагмента по позициям. Фишка: на случайной абракадабре модель считает буквы лучше, чем на нормальных словах. Причина в токенах (кусках слов, на которые модель режет текст): в обычном английском слове один токен прячет около трёх символов, в случайной строке около двух. Внутри токена модель буквы не читает, а угадывает. А вырезание по номерам символов из длинного текста не решила ни одна модель: лучший результат 6,75% точных ответов.