Уверенный тон LLM маскирует сбои выполнения: почему нельзя доверять текстовому отчёту модели о сделанной работе

Модель пишет «готово, всё сделано» — и это ничего не говорит о том, правильно ли сделано. Кембриджские исследователи проверили голосовое редактирование VR-сцен через LLM: в сложных сценах люди пропускали до 40% реальных ошибок модели. Метод построчной проверки позволяет ловить разрыв между тем, что LLM заявила, и тем, что сделала на самом деле. Фишка — не спрашивать модель «получилось?», а заставлять показывать результат построчно, отдельно от общего вердикта.