Prior Substitution Curve: чем меньше фактов в промпте, тем сильнее модель опирается на личность пользователя

Два клиента с одинаковыми деньгами получают разный совет, и чем меньше данных в запросе, тем хуже. При полных данных разброс доли акций около 5 процентных пунктов. Без фактов он удваивается до 10, а 96% различий в ответах объясняется личностью, не финансами. Метод — проверка подменой личности (контрфактический аудит). Он позволяет проверить финансового советника на LLM до запуска: гуляют ли его ответы в зависимости от того, кто спрашивает. Меняем только имя, пол, профессию и семью, а текст финансов не трогаем. Так выходит кривая «разброс против данных», и видно, где советник начинает гадать по личности. Фишка: модель не говорит «мне не хватает данных». Она выдумывает доход, долги и подушку безопасности и обосновывает совет ими.