TL;DR
Недоопределённость (underspecification) — когда вопрос не содержит всей информации, необходимой для однозначного ответа. Пример из датасета Natural Questions: "Кто самый богатый клуб в чемпионате?" — непонятно какой чемпионат, в каком году, и что значит "богатый" (по доходам? по стоимости игроков?). Для человека, знающего контекст, всё очевидно. Для LLM — необходимо уточнение.
Исследователи обнаружили, что от 16% до 50% вопросов в популярных QA-бенчмарках недоопределены. На таких вопросах LLM показывает значительно хуже результаты — не потому что не знает ответ, а потому что не понимает что именно спрашивают. Модель может додумать контекст неправильно: решить что речь о Премьер-лиге 2024 года, когда в датасете имелся в виду Чемпионшип 2019.
Когда те же вопросы переписали в полностью определённые (указали чемпионат, год, критерий "богатства"), точность ответов выросла на 9-20%. Это показывает: многие "ошибки" LLM — на самом деле проблемы формулировки вопроса, не недостаток знаний модели.
Схема проблемы и решения
ПРОБЛЕМА: Вопрос → недостаёт контекста → LLM додумывает неправильно → неверный ответ
РЕШЕНИЕ: 1. Определи что недоопределено (время? место? критерий? термин?) 2. Добавь недостающую информацию явно 3. Задай уточнённый вопрос → точный ответ
Пример применения
Задача: Готовишь аналитику для клиента — сеть кофеен в Москве. Спрашиваешь у ChatGPT: "Какая средняя проходимость кофейни в хорошей локации?"
Проблема: Вопрос недоопределён — "хорошая локация" может означать бизнес-центр, спальный район у метро, туристический центр. "Проходимость" — количество прохожих или количество посетителей? "Средняя" — по Москве, по России, глобально?
Промпт (вместо прямого вопроса):
Вот мой вопрос: "Какая средняя проходимость кофейни в хорошей локации?"
Какая информация в нём недостаёт для однозначного ответа?
Переформулируй вопрос, добавив недостающий контекст.
Результат: Модель перечислит что неясно: город (Москва), тип локации (офисный центр / жилой район / туристическая зона), метрика (посетителей в день или выручка), размер заведения. Затем предложит уточнённый вопрос, например: "Сколько посетителей в день обслуживает кофейня на 20-30 мест рядом с метро в спальном районе Москвы?" — на который можно получить конкретный ответ или запрос дополнительных данных.
Почему это работает
Слабость LLM: Модель не знает твой контекст. То что очевидно для тебя (какой чемпионат, какой год, какой критерий) — для неё тёмный лес. Она пытается угадать, опираясь на статистику текстов, и часто угадывает неправильно.
Сильная сторона LLM: Модель отлично распознаёт пропущенную информацию и генерирует уточняющие вопросы. Она видит паттерны недоопределённости: отсутствие временного фрейма, размытые термины, пропущенные параметры.
Как работает решение: Вместо того чтобы заставлять LLM гадать, ты переключаешь её в режим "помоги мне уточнить вопрос". Модель сама называет что неясно и переформулирует. Ты получаешь полностью определённый вопрос, на который модель может ответить точно — либо корректный список уточнений для поиска данных.
Рычаги управления: - Глубина анализа: Можешь попросить "перечисли ВСЕ допущения" — получишь детальный разбор каждого слова - Формат вывода: Добавь "ответь списком" или "задай уточняющие вопросы" вместо переформулировки — под разные задачи - Контекст для AI: Если знаешь часть информации, сразу укажи: "Речь о Москве, 2024 год. Что ещё неясно?" — сократишь итерации
Шаблон промпта
Вот мой вопрос: {твой_вопрос}
Какая информация в нём недостаёт для однозначного ответа?
Переформулируй вопрос, добавив недостающий контекст.
Где применять:
- {твой_вопрос} — любой вопрос к LLM, на который получил неточный или странный ответ
Вариант для списка уточнений:
Вот мой вопрос: {твой_вопрос}
Задай мне уточняющие вопросы, чтобы ответить точно.
Этот вариант полезен когда ты сам не знаешь всех деталей — модель спросит, ты ответишь, потом она даст точный результат.
Ограничения
⚠️ Не работает для субъективных вопросов: Если вопрос требует оценки ("лучший", "красивый", "интересный") без критериев — уточнение не поможет. Нужно задать критерий явно: "самый популярный по просмотрам" вместо "самый интересный фильм".
⚠️ Не заменяет знания фактов: Если информации нет в обучающих данных модели (свежие события, узкоспециальные данные) — даже идеальная формулировка не вытащит ответ из пустоты.
⚠️ Может быть избыточным для простых вопросов: "Столица Франции?" не требует уточнений. Используй технику когда получил неожиданный или неточный ответ, не на каждый запрос.
Как исследовали
Команда собрала 855 вопросов из датасетов про недоопределённость и неоднозначность и обучила LLM-классификатор определять недоопределённые вопросы. Лучше всех справилась Qwen3-4B (71% точность на базовом датасете, 77% на экспертно проверенном подмножестве).
Затем применили классификатор к 4 популярным QA-бенчмаркам (Natural Questions, HotpotQA, TriviaQA, FRAMES) — всего 3824 вопроса. Результат удивил: в TriviaQA только 16% недоопределённых (это викторина, вопросы специально формулируют полными), но в FRAMES — больше половины (53%). В среднем по всем датасетам около трети вопросов недоопределены.
Когда проверили как GPT-4o и Gemini-2.5-Flash справляются с ответами, обнаружили статистически значимое падение точности на недоопределённых вопросах во всех датасетах.
Финальный эксперимент — контролируемое переписывание. Взяли недоопределённые вопросы, дали LLM правильный ответ из датасета и попросили переформулировать вопрос так, чтобы он вёл к этому ответу. После переписывания 64-86% вопросов стали полностью определёнными, а точность ответов выросла на 9-20% в зависимости от датасета. Это доказывает: проблема была в формулировке, не в знаниях модели.
Ключевой инсайт: Большинство "ошибок" LLM на QA-бенчмарках — это не неспособность найти ответ, а невозможность понять какой именно ответ требуется. Модель знала факты, но не знала контекста вопроса.
Адаптации и экстраполяции
🔧 Техника: Превентивная проверка → избегай итераций
Вместо цикла "спросил → получил плохой ответ → уточнил", проверяй заранее:
Перед тем как ответить на мой вопрос, проверь: вся ли информация для точного ответа в нём есть?
Вопрос: {твой_вопрос}
Если чего-то не хватает — скажи что именно. Если всё ясно — отвечай.
Экономит время когда работаешь с серией вопросов — модель либо сразу отвечает, либо сразу просит уточнений.
🔧 Техника: Несколько интерпретаций → увидь что может пойти не так
Полезно для критически важных вопросов (бизнес-решения, технические спецификации):
Вот мой вопрос: {твой_вопрос}
Покажи 2-3 разные интерпретации этого вопроса.
Затем скажи какую информацию добавить, чтобы оставить только одну правильную интерпретацию.
Модель покажет как она может понять вопрос по-разному — ты увидишь потенциальные риски неправильного понимания и добавишь контекст превентивно.
Ресурсы
Who is the richest club in the championship? Detecting and Rewriting Underspecified Questions Improve QA Performance
Датасеты: CLAMBER, IN3, CoCoNot, AmbigNQ, Natural Questions, HotpotQA, TriviaQA, FRAMES
Yunchong Huang (ILLC, University of Amsterdam), Gianni Barlacchi (Amazon AGI), Sandro Pezzelle (ILLC, University of Amsterdam)