VERA: аудит рассуждений LLM через структурированную запись вместо свободного текста

Парадокс: правильный ответ не значит правильные рассуждения. Примерно в 60% верных вердиктов о дырах в коде у большой языковой модели (LLM) были выдуманные или непроверяемые утверждения. Метод VERA позволяет увидеть, на чём держится вердикт модели, и поймать выдумки до того, как вы поверите ответу. Фишка: не проси рассуждение, проси заполнить форму. Модель пишет не абзац, а структурированную запись из четырёх блоков: объекты, шаги по строкам кода, проверки, вердикт. Допущения лежат отдельным списком. Затем второй запрос-аудитор сверяет запись с кодом и поймал 87% ошибок, которые свободный LLM-судья пропускает.