Commitment Failure: LLM знает правильный ответ, но всё равно ошибается — и чем модель крупнее, тем чаще

Парадокс: чем крупнее LLM — тем выше доля уверенных галлюцинаций на фактах, которые она знает. У 70-миллиардных моделей почти каждая вторая галлюцинация — ошибка выбора: правильный ответ есть в голове модели, но она выдаёт неверный. От 16 до 47% галлюцинаций устроены именно так. Техника принудительного перебора вариантов позволяет снизить этот риск — заставь модель назвать 2-3 кандидата перед финальным ответом. Фишка: правильный ответ распылён на формы — «Washington» / «George» / «G.W.», каждая с вероятностью 0.10-0.24. Неверный «Adams» монолитный — 0.31. Жадный алгоритм берёт один токен с максимальной вероятностью и выбирает ложь. Принудительный перебор разворачивает это: правильный концепт всплывает хотя бы в одной из форм.