Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Семантическое согласие обеспечивает эффективные каскады больших языковых моделей с открытым ответом
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Обнаружено: Внутренние метрики уверенности LLM ненадежны — модель может быть «уверена» в галлюцинации. Semantic Agreement позволяет проверять правильность ответов без fine-tuning и доступа к весам модели — достаточно сгенерировать 2-3 варианта и сравнить их по смыслу. Если разные ответы передают одну суть, они с высокой вероятностью верны — согласие по смыслу оказалось надежнее, чем confidence scores самой модели. Превращает несколько потенциально ненадежных ответов в один проверенный вывод.