Multiple Sampling: повышение точности LLM через консенсус множественных запросов

Обнаружено: LLM недетерминированы — один вопрос даёт разные ответы из-за случайности генерации (temperature, top-p). Модель может знать правильный ответ, но конкретный запрос попадёт в «неудачную» ветку рассуждений — особенно в пограничных случаях. В юридической классификации GPT-4 показывает 83% точности, но пропускает половину документов (recall 57%) при одном запросе. Метод Multiple Sampling позволяет превратить недетерминированность из бага в фичу: отправляешь один текст 3-5 раз, получаешь несколько ответов, считаешь консенсус. Фишка: агрегация ответов показывает уверенность модели — 4 из 5 «да» = высокая уверенность, 3 из 5 = средняя, разброс 2-2-1 = модель сомневается. Ты получаешь не бинарное «да/нет», а шкалу от 0% до 100% — превращаешь классификацию в ранжирование по уверенности.