LLM-as-a-Judge: когда больше вариантов = хуже результат

Парадокс: Генеришь 10 вариантов ответа вместо 3 — получаешь худший результат. Исследование математически объясняет почему популярный паттерн «сгенерируй N вариантов → выбери лучший» ломается при росте N. Метод позволяет понять границы применимости LLM-судьи (когда одна модель оценивает варианты другой модели). Фишка: если критерии оценки размыты или смещены — модель-судья системно выбирает плохие варианты из большого набора. При k=3 случайность маскирует ошибку судьи. При k=20 неточный судья гарантированно находит «идеально плохой» вариант по своему кривому критерию. Существует оптимальное количество вариантов — после него качество падает, а не растёт.