Длина диалога и точность LLM: когда разговор становится опасным

Парадокс: Qwen2.5 в длинном диалоге с противоречивой информацией делает больше ошибок, но при этом реже говорит «не знаю» — уверенность растёт, точность падает. Это противоположность безопасному поведению. Исследование на трёх моделях (Phi-4, DeepSeek-7B, Qwen2.5) показало: длина диалога + тип контекста выявляют уязвимости, которые не видны в обычных бенчмарках. Каждая модель ломается по-своему: Qwen увереннее врёт, Phi-4 осторожничает (ответы «не знаю» с 1% до 20%+), DeepSeek проваливается на одиночных вопросах (14% точность), но оживает в диалоге. Решение: разделяй мозгоштурм и проверку фактов в разные чаты — сброс контекста убирает накопленные смещения.