Консистентность поведения LLM-агентов: множественные запуски как проверка надёжности ответа

Парадокс: Запусти LLM на одной задаче дважды — получишь разные пути решения. Исследование на 3000 запусках показало: один вопрос генерирует 2-4 разных стратегии из 10 попыток. Даже с идентичными данными модель выбирает разные поисковые запросы, другую последовательность анализа, другую логику. Метод позволяет оценить надёжность ответа на сложных многошаговых задачах (карьерные решения, стратегический анализ, финансовые расчёты) через проверку: даёт ли модель стабильное поведение при повторных запусках. Фишка: стабильность поведения предсказывает правильность. Задачи где агент ведёт себя одинаково (1-2 уникальных пути) решаются с точностью 80-92%. Задачи где агент "мечется" (6+ разных путей) — только 25-60%. Разница до 55 процентных пунктов.