"Забудь что знаешь" не работает: почему модели не могут откатить свои знания назад

Проблема: Просишь модель используй только знания до января 2023 чтобы честно оценить событие 2024 года — получаешь иллюзию непредвзятости. Исследователи проверили этот трюк: модели показывают на 52% лучшую точность на вопросах про «запретные» события (которые они знают), чем на вопросах про настоящее будущее. Знания в LLM — не отдельные факты с выключателем, а веса связей между концептами. Когда модель рассуждает о выборах 2024, даже не упоминая результат, эти веса тянут прогноз в сторону известного ответа. Reasoning-модели (O1, R1) делают утечку ещё сильнее — рассуждения выглядят безупречно, но смещение максимальное.