Двойной зонд (Dual Probe): как заставить модель честно оценить свой ответ

Парадокс: самая точная модель в тесте оказалась одной из худших по честности самооценки. GLM-5 занимает первое место по правильным ответам — и девятое по тому, умеет ли она отличать свои верные ответы от неверных. Claude Haiku стоит 14-й по точности, но 2-й по самооценке. Gemini уверенно говорит «оставлю ответ» даже на вопросах, где ошибается в 100% случаев. Метод Dual Probe (Двойной зонд) позволяет получить второй сигнал о надёжности ответа — прямо в том же промпте, без кода и дообучения. Фишка: к любому запросу добавь два вопроса — KEEP/WITHDRAW и BET/NO_BET. Модель вынуждена выбирать между вариантами с разными последствиями, а не просто продолжать генерировать уверенный текст. Разрыв между частотой WITHDRAW на ошибках и на правильных ответах — вот реальная мера честности модели.