Тест разнообразия ответов: как узнать, что LLM не хватает информации

Уверенный тон — не признак правоты. Исследование показало: даже когда точность ответов падает до нуля, модель продолжает звучать так же убедительно. Спрашивать LLM 'ты уверена?' — всё равно что спрашивать блефующего игрока в покер, правда ли у него хорошие карты. Тест разнообразия позволяет проверить, есть ли у модели реальная основа для ответа — вместо того чтобы доверять тону. Фишка: задай один вопрос 3-5 раз с инструкцией 'отвечай каждый раз заново' — ответы расходятся = данных не хватает, ответы сходятся = модель либо знает, либо воспроизводит шаблон (тогда проверь ещё раз, но без контекста).