Тестирование следования инструкциям: где LLM проваливаются на простом

Парадокс: Модель решает сложную математику, но не может перевернуть 5 букв. Задача 'найди простое число больше 10000' — 66% успеха. Задача 'возьми первые 5 букв, переверни, оберни в скобки' — 7.8% успеха. Исследование 256 моделей позволяет понять где именно LLM проваливаются на простых инструкциях — и как это обойти. Фишка: модель не выполняет алгоритмы пошагово — она угадывает правильный ответ на основе паттернов. Когда инструкция требует последовательных операций со строками, модель пытается сгенерировать финальный результат сразу, минуя промежуточные шаги. Промежуточное состояние теряется между операциями — отсюда 92% провалов на задачах типа 'сделай A, потом B, потом C'.