Reflect-and-Rephrase: как вскрыть ошибки в объяснениях LLM через сравнение альтернативных решений

Парадокс: чем сильнее модель, тем убедительнее она объясняет неверный ответ. Предпочтительное обучение (DPO/RLHF) вознаграждало за уверенный тон — не за честность про сомнения. Итог: верное и неверное объяснения звучат одинаково гладко. Метод Reflect-and-Rephrase позволяет увидеть, в каких местах объяснению можно доверять, а где — лучше перепроверить. Фишка: дай задачу трём разным подходам. Где версии расходятся — там прячется ошибка. Модель не «понимает», что ошиблась. Она просто фиксирует расхождения между версиями. Финальное объяснение содержит явные маркеры: «здесь три подхода сошлись» и «это место стоит перепроверить» — пользователь сразу видит, где доверять, а где нет.