Bi-RAR: двунаправленная оценка каждого шага рассуждения в RAG

RAG-системы с многошаговым рассуждением страдают от reward hacking: модель получает награду только за финальный ответ, поэтому генерирует кучу лишних шагов и поисковых запросов в надежде случайно попасть в цель. Результат — раздутые траектории, накопленные галлюцинации, потеря фокуса на вопросе. Bi-RAR решает это через двунаправленную оценку каждого промежуточного шага: насколько шаг приближает к ответу (forward) и насколько остаётся релевантен исходному вопросу (backward). Две награды + каскадная структура (ранние шаги важнее) дают +18.2% точности при использовании четверти данных для обучения.