TERAG: Эффективная по токенам генерация с расширенным поиском на основе графов

Обнаружено: LLM тратит огромное количество дорогих выходных токенов, когда пытается одновременно извлекать, структурировать и анализировать информацию из больших текстов — отсюда астрономические счета за API при работе с базами знаний. TERAG позволяет получать те же результаты в RAG-системах, но с расходом на 89-97% меньше выходных токенов. Метод использует LLM только для простой задачи — извлечения ключевых понятий в виде списка, а всю сложную работу по связыванию данных делают дешевые алгоритмы. Вместо того чтобы модель генерировала JSON-структуры и строила граф знаний, она просто выписывает концепции — точность остается на уровне 95-98% от дорогих решений.