Монте-Карло характеризация LLM: оценка надёжности промпта по распределению ответов, а не по одному ответу

Проблема: ты прогнал промпт один раз, увидел верный ответ и успокоился. Но это всего один бросок кубика. Метод позволяет измерять надёжность промпта и эффект любого нового правила в процентах ошибок. Фишка: гоняй один и тот же промпт 30–100 раз, каждый раз в чистом чате, и считай доли ответов. Получаешь картину вроде «70% Средний, 25% Высокий, 5% Низкий». Дальше правишь промпт и смотришь, насколько сдвинулись доли. Эффективность правила E = 1 − P_после / P_до — на сколько процентов оно срезало ошибки. Правило может и ухудшить результат. Одиночный тест этого не покажет.