Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
LLM-дистилляция для адаптации embedding-моделей: метод создания обучающих данных через синтетические вопросы и оценку релевантности
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Исследование Goldman Sachs показывает как использовать LLM для создания обучающих данных, которые улучшают поиск по специализированным документам. Метод работает так: большая LLM генерирует вопросы по фрагментам текста, оценивает релевантность каждого фрагмента по 4-балльной шкале, создаёт тройки (вопрос + релевантный фрагмент + нерелевантный фрагмент), на которых дообучается маленькая поисковая модель. Процесс повторяется: улучшенная модель находит новые сложные примеры для следующего раунда об
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку