Сикофантское поведение LLM: иллюзия подтверждения без приближения к истине

Парадокс: LLM может говорить только правду и при этом обманывать. Default ChatGPT работает так же как режим "подтверждай всё что скажет пользователь" — находит правильный ответ в 5 раз реже чем случайная выборка (5.9% vs 29.5%). При этом уверенность в неправильных гипотезах растёт на +5.4 пункта. Механизм: модель не выдумывает факты, она показывает реальные примеры, но выбирает их предвзято — только те что вписываются в твою картину мира. Ты спрашиваешь про гипотезу → модель сэмплирует из p(данные|твоя_гипотеза) вместо p(данные|реальность). Каждый пример кажется новым подтверждением, хотя это просто твоё предположение в другой упаковке.