Uncertainty Attribution: два разных «не знаю» — и как это меняет что делать дальше

(Выполняется в одном промпте)

ШАГ 1: Анализ вопроса → есть ли ВСЯ информация для однозначного ответа?
ШАГ 2: Анализ себя  → достаточно ли моих знаний/возможностей, если вопрос корректен?
ШАГ 3: Вывод        → [ОТВЕТ] / [НЕПОЛНЫЙ ВОПРОС: чего не хватает] / [НЕ ЗНАЮ: признание предела]

Задача: Руководитель использует Claude как помощника для быстрых проверок юридических и финансовых вопросов. Нужен режим, при котором модель честно говорит о границах, а не выдаёт красиво оформленную ерунду.

Промпт:

Перед ответом выполни анализ в два шага.

Шаг 1 — Анализ вопроса:
Есть ли в вопросе вся необходимая информация для однозначного ответа?
Или чего-то не хватает, не указано, размыто?

Шаг 2 — Анализ своих возможностей:
Если вопрос полный и корректный — достаточно ли твоих знаний,
чтобы ответить уверенно и точно?

Затем выдай ОДИН вариант:

[ОТВЕТ]: (твой ответ на вопрос)

[НЕПОЛНЫЙ ВОПРОС]: (объясни, какой информации не хватает и зачем она нужна)

[НЕ ЗНАЮ]: (признай, что вопрос корректный, но эта тема или конкретный факт
вне твоих надёжных знаний — и укажи, где искать)

Вопрос: нужно ли платить страховые взносы с выплат самозанятому
по договору ГПХ, если у него нет статуса ИП?

Результат: Модель покажет явный шаг анализа — сначала разберёт, полный ли вопрос, потом оценит свою уверенность. В итоге выдаст один из трёх чётких вариантов. На этот конкретный вопрос (про самозанятых и страховые взносы) — скорее всего ответ, потому что тема задана точно. Но если спросить «нужно ли платить взносы за сотрудника» без деталей — модель укажет, чего не хватает. А на вопрос про конкретную судебную практику 2024 года по малоизвестному делу — честно скажет «не знаю» вместо того, чтобы выдумать.

Слабость LLM по умолчанию: модель в момент генерации не «решает» — выдавать ли ответ или отказаться. Она просто продолжает текст. Если нет явной инструкции остановиться и покатегоризировать, модель «катится» к ответу — правильному или нет. Особенно это проявляется в режимах глубокого мышления (o1, thinking mode): они обучены искать решение, поэтому когда решения нет, они склонны обвинить вопрос вместо признания собственного предела. Исследование показало: у Qwen3-235B в thinking mode способность признавать собственные ограничения упала до 0% — против 84.8% в обычном режиме.

Сильная сторона LLM: модели хорошо следуют явным категориям, если те заданы заранее. Дашь три чётких ящика — «ответ / вопрос неполный / не знаю» — и заставишь выбрать один, модель начинает рассуждать иначе. Принудительная классификация перед ответом — это не магия, это устранение двусмысленности: у модели нет варианта «промолчать и угадать».

Как метод обходит слабость: явный двухшаговый анализ ДО генерации ответа. Модель сначала анализирует вопрос (шаг 1), потом себя (шаг 2), и только потом выдаёт результат. Это как чек-лист перед хирургической операцией — не гарантия, но резко снижает вероятность что пропустишь очевидное.

Рычаги управления: - Добавь 4-й вариант — «[ЧАСТИЧНО]» — если нужна смешанная ситуация: вопрос частично корректен, частичный ответ возможен - Убери шаги анализа из вывода — если нужен только финальный результат без объяснений, добавь «не показывай шаги анализа, только финальный вывод» - Повышай строгость — добавь «если есть малейшие сомнения — выбирай [НЕ ЗНАЮ], а не [ОТВЕТ]» для высокорисковых задач (медицина, юриспруденция) - Особая осторожность с thinking mode — если используешь o1 или Deep Think, этот промпт особенно важен: именно эти модели сильнее склонны «обвинять вопрос» вместо признания своих ограничений

Перед ответом выполни анализ в два шага.

Шаг 1 — Анализ вопроса:
Есть ли в вопросе вся необходимая информация для однозначного ответа?
Или чего-то не хватает, не указано, есть двусмысленность?

Шаг 2 — Анализ своих возможностей:
Если вопрос полный — достаточно ли твоих знаний и возможностей,
чтобы ответить точно и уверенно?

Затем выдай ОДИН из трёх вариантов:

[ОТВЕТ]: {твой ответ}

[НЕПОЛНЫЙ ВОПРОС]: {что именно не указано и зачем это нужно для ответа}

[НЕ ЗНАЮ]: {честное признание — вопрос корректный, но тема вне твоих надёжных знаний;
укажи куда обратиться за ответом}

Вопрос: {вопрос}

Плейсхолдеры: - {вопрос} — любой вопрос, где важна точность, а не случайный ответ

🚀 Быстрый старт — вставь в чат:

Вот шаблон Uncertainty Attribution — метода, при котором LLM
чётко говорит ПОЧЕМУ не может ответить: вопрос неполный или тема вне её знаний.
Адаптируй под мою задачу: {опиши свою задачу}.
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит про тип задач (юриспруденция? финансы? факты?) и насколько строгим должен быть режим — потому что от этого зависит настройка третьего варианта и уровень осторожности модели.

⚠️ Thinking-режим работает хуже: если используешь o1, Deep Think или аналоги — они сильнее склонны «обвинить вопрос» (Data Uncertain) вместо признания собственных пределов (Model Uncertain). Промпт помогает, но не устраняет проблему полностью.

⚠️ Субъективные вопросы — серая зона: на вопросах типа «какая стратегия лучше для моего бизнеса» граница между двумя типами неопределённости размывается. Метод заточен под объективные вопросы с проверяемым ответом.

⚠️ Модель всё ещё может перепутать: исследование показало, что даже с явной инструкцией модели иногда принимают своё незнание за неполноту вопроса — особенно когда вопрос сформулирован чётко, но тема редкая. Это снижает доверие, но не обнуляет ценность метода.

⚠️ Не для простых или творческих задач: если спрашиваешь «напиши стихотворение» или «объясни простыми словами» — три-категорийная система избыточна и замедляет ответ без пользы.

Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty Jingyi Ren, Ante Wang, Yunghwei Lai, Xiaolong Wang, Linlu Gong, Weitao Li, Weizhi Ma, Yang Liu Tsinghua University / Institute for AI Industry Research (AIR) Код и данные: github.com/ren258/UA-Bench