Семантическая игра-реконструкция: проверка, ответила ли модель на запрос, через восстановление вопроса по ответу

Тот же промпт, другая модель-судья — и доля «успешных взломов» прыгает с 6% до 88%. Метод семантической игры-реконструкции позволяет понять, ответил ли бот на запрос по сути, а не просто по теме (проверка защиты от взлома, jailbreak). Обычный судья видит вопрос и ответ с одними и теми же словами. Он ставит «выполнено», хотя бот отказал или ушёл в сторону. Фишка: спрячь вопрос от судьи. Пусть он по одному ответу восстановит запрос, а потом сравни его с похожими запросами-приманками. Если восстановление ближе к оригиналу, чем приманки, значит ответ выполнил запрос. Разброс между судьями сжимается с 82 до 12 пунктов.