Когда просишь LLM оценить, нуждается ли человек в постоянной помощи — из-за инвалидности, болезни, особенностей развития — модель, скорее всего, определит "базовые потребности" узко: еда, гигиена, самостоятельное передвижение. Коммуникацию, социальные связи, эмоциональные нужды она в расчёт возьмёт реже, даже если по смыслу вопроса они важны. Это не баг конкретной модели — это паттерн, который повторяется у семи разных LLM и совпадает с тем, как рассуждают врачи (но не психологи).
Хуже другое: оценка модели "как человек функционирует" (по шкале 1-5) и её итоговое решение "нужна ли ему помощь" (да/нет) статистически не связаны друг с другом — ни у людей, ни у LLM. Модель может написать "уровень функционирования средний", а потом выдать "да, нужна постоянная помощь" — без видимой логики между этими двумя ответами. При этом LLM в разы чаще людей заявляют о своей готовности признать ошибку и пересмотреть мнение (по опроснику "интеллектуальной смиренности") — но эта декларация никак не спасает от несогласованных решений.
Исследователи прогнали 20 вымышленных кейсов людей с аутизмом, СДВГ и дислексией через 7 LLM (GPT, Claude, Gemini, Llama, Qwen) и 35 экспертов (врачей и психологов), используя реальные вопросы из польских комиссий по инвалидности. Вывод: без явного напоминания модель по умолчанию скатывается к узкому, "медицинскому" пониманию потребностей человека и не проверяет логическую связь между промежуточной оценкой и финальным вердиктом.
Схема проблемы (как она проявляется в промпте)
ШАГ 1: Просишь LLM оценить состояние/функционирование человека → получаешь оценку по шкале
ШАГ 2: Просишь LLM дать решение (нужна поддержка / да-нет) → ответ может логически не следовать из шага 1
СКРЫТЫЙ ЭФФЕКТ: определение "потребностей" по умолчанию сужается до физического самообслуживания
Пример применения
Задача: Соцработник или HR-специалист просит ChatGPT дать второе мнение по заявке на инклюзивную поддержку — например, нужна ли сотруднику с аутизмом адаптация рабочего места, или ребёнку с СДВГ — сопровождение в школе.
Промпт:
Вот описание ситуации: {текст кейса}.
1) Оцени уровень функционирования человека по шкале 1-5. Учитывай не только
физическое самообслуживание (еда, гигиена, передвижение), но и коммуникативные,
социальные и эмоциональные потребности — по модели ВОЗ (биопсихосоциальная,
не только медицинская).
2) Дай решение: нужна ли этому человеку постоянная или長term помощь.
3) Явно покажи, как твой ответ в пункте 2 логически следует из оценки в пункте 1.
Если между ними есть противоречие — прямо укажи его и объясни, почему решение
отличается от общей оценки функционирования.
Результат: Модель даст более развёрнутую оценку, где помимо физических ограничений будут явно обозначены социальные и коммуникативные факторы. Ты увидишь мостик между оценкой и решением — и, если модель "срезала" логику, сразу это заметишь, а не получишь два несвязанных абзаца.
Почему это работает
LLM (как и люди) склонны давать оценку и финальное решение как два отдельных, слабо связанных шага — модель не автоматически проверяет, вытекает ли решение из оценки. Это форма несогласованности, знакомая и человеческим экспертам под давлением времени.
Сильная сторона LLM — она хорошо выполняет явные инструкции. Если попросить её назвать конкретные категории потребностей (не только физические, но и социальные) и показать цепочку от оценки к решению — модель это сделает, потому что ей дали явную структуру, а не оставили угадывать дефолт.
Рычаг управления: формулировка определения понятия ("базовые потребности", "функционирование", "самостоятельность") — если не задать её явно, модель подставит узкое, стереотипное определение. Задал широкое определение сам — получил более полный анализ.
Ограничения
⚠️ Самоотчёт модели о неуверенности — не индикатор надёжности: если попросить LLM оценить, насколько она может ошибаться, ответ никак не коррелирует с реальной консистентностью её решений. Фраза "я могу ошибаться" от модели — это не сигнал качества, это выученный паттерн вежливости.
⚠️ Проверка на устойчивость к манипуляциям не была подтверждена железно: ни люди, ни модели не попались на явные ловушки (порядок информации, эмоция на фото) — но неизвестно, потому что они действительно устойчивы, или потому что манипуляции были слишком тонкими.
⚠️ Маленькая выборка людей (35 экспертов): снижает статистическую мощность выводов о людях, но паттерн у LLM подтверждён на трёх повторных прогонах на каждой модели.
Как исследовали
Исследователи взяли настоящие вопросы, которые задают на польских комиссиях по инвалидности, и составили 20 вымышленных кейсов людей с аутизмом, СДВГ и дислексией. В половину кейсов вшили ловушки: негативную информацию про человека сдвинули в начало описания (тест на якорение) или прикрепили фото с грустным выражением лица вместо нейтрального (тест на представительность — оценку по стереотипу, а не по фактам).
35 экспертов (18 врачей и 17 психологов) и 7 LLM прошли одни и те же кейсы плюс опросник на "интеллектуальную смиренность" и интервью про определения ключевых понятий. Ловушки не сработали ни на людях, ни на моделях — это было ожидаемо приятным сюрпризом. Но неожиданной находкой стало то, что оценка функционирования человека и решение о поддержке вообще не связаны статистически — ни у экспертов, ни у LLM, а модели при этом заявили о себе как о значительно более "смиренных", чем люди (это не спасло от той же несогласованности).
Отдельно выяснилось: психологи в интервью определяли "базовые потребности" широко — включая общение и социальные связи, — а врачи и большинство LLM сузили это до физического самообслуживания. Именно это объясняет, почему психологи чаще выдавали "да" на поддержку, а врачи и модели — реже, при одинаковых оценках общего уровня функционирования.
Адаптации
🔧 Техника: явное "definitional scaffolding" (проговаривание определений вслух) → снижает скрытый редукционизм
Перед тем как просить модель дать вердикт по чувствительному кейсу (грант, льгота, отказ/приём на работу, диагноз), сначала попроси её явно выписать, что она понимает под ключевыми понятиями кейса:
Прежде чем давать решение, выпиши явно: что ты понимаешь под
"потребностью в поддержке" в этом случае? Перечисли все категории
(физические, коммуникативные, социальные, эмоциональные), которые
считаешь релевантными для этого кейса.
Это выводит скрытое узкое определение на поверхность — ты видишь, чего модель не учла, и можешь поправить до того, как она примет решение.
Ресурсы
Language Models Reproduce Human Reductionist Bias and Decision Inconsistency in Neurodevelopmental Disorders Assessment — Maciej Wodziński, Joanna Wodzińska, Kacper Dudzic, Marcin Moskalewicz (Maria Curie-Skłodowska University, IDEAS Research Institute, Poznan University of Medical Sciences).