EvalAssist: Инструмент для LLM-как-судьи, ориентированный на человека

Обнаружено: LLM, которых просят сразу выбрать лучший вариант из двух, страдают «позиционной предвзятостью» — отдают предпочтение первому варианту просто из-за его позиции, а не качества. EvalAssist решает задачу надежной оценки текстов через саму LLM — превращает модель в беспристрастного эксперта, который анализирует ваши тексты по четким критериям. Вместо мгновенного вердикта система использует трехшаговую цепочку: детальный анализ → краткое резюме → итоговая оценка. Это заставляет модель сначала подумать, что снижает предвзятость и повышает точность суждений с поверхностных до обоснованных.