Checkpointing (повтор данных): почему LLM знает ответ, но выдаёт неверный — и как это исправить

Модель посчитала правильно — и выдала не тот ответ. Нужное значение закодировано внутри неё верно. Просто до выхода «добегает» другое — то, что ближе к финальному вопросу. Это не провал знаний, это сбой маршрутизации — исследователи назвали его процедуральной галлюцинацией. Checkpointing позволяет гарантировать, что ответ опирается именно на нужные данные, а не на случайно всплывшее из середины текста. Фишка: повтори ключевые данные прямо перед вопросом — и точность у модели, которая выдавала 0% на дистанции 1024 токена, возвращается до 99,8%. Одна строчка повтора вместо потери всех результатов.