Retro*: Оптимизация больших языковых моделей для поиска документов, требующего интенсивного рассуждения

Обнаружено: LLM катастрофически плохи в оценке релевантности документов для сложных запросов, когда связь неочевидна — отсюда вечная проблема RAG-систем с выдачей нерелевантного контекста. Retro* позволяет превратить LLM в эксперта-оценщика, который анализирует документы не по совпадению слов, а по четким критериям соответствия задаче. Метод заменяет поиск на структурированную оценку: модель получает рубрику (как экзаменатор получает критерии проверки работы) — определение релевантности + шкалу 0-100 + пошаговый алгоритм анализа. Результат: +40% точности в задачах, где нужно найти документ для рассуждений, а не для прямого ответа.