Саммаризация документов для оценки релевантности: короткое резюме работает лучше полного текста

Исследование показало, что LLM точнее оценивают релевантность документа запросу, работая с кратким саммари (80-120 токенов), а не с полным текстом. Учёные проверили как GPT-4o и Llama-3.1-8B оценивают соответствие документов поисковым запросам в трёх датасетах TREC. Вместо полных документов моделям давали короткие резюме разной длины и сравнивали результаты с человеческими оценками и между собой.