Тест на комплемент и симметризация: проверка числовых «вероятностей» модели на согласованность при смене формулировки

Обнаружено: спроси модель «с какой вероятностью это правда» и «с какой вероятностью это ложь» — сумма не даст 1. У проверенной модели она в среднем 1,18. Метод «тест на комплемент + симметризация» позволяет проверить, можно ли верить числу-вероятности от ИИ, и сразу его починить. Задай тот же вопрос про противоположное утверждение в отдельном чате, затем сложи ответ p с «перевёрнутым» ответом 1−q. Число перестаёт зависеть от слов и становится согласованным по построению: (p + (1 − q)) / 2.