Повторное использование кандидатных токенов больших языковых моделей для расширения запросов

Обнаружено: В момент генерации каждого слова LLM рассматривает десятки высоковероятных альтернатив, которые затем просто выбрасываются — отсюда узость результатов поиска и однообразие ответов. Метод CTQE (Candidate Token Query Expansion) позволяет использовать эти «отвергнутые» варианты для расширения поисковых запросов — вместо узкого «сбалансированная диета» система ищет по всем альтернативам: «правильная», «рациональная», «здоровая». Суть в том, чтобы спасти ценные слова-кандидаты из промежуточных вероятностей и добавить их в запрос. Модель генерирует «сбалансированная», но с вероятностью 0.25 рассматривала «правильная» и «рациональная» — эти токены становятся дополнительными поисковыми терминами. Результат: резкий рост покрытия релевантных документов за один проход генерации.