arXiv:2506.22852 60 1 июня 2025 г. PRO

Учет знаний в дообучении важен как для систем, основанных на RAG, так и для диалоговых систем на основе агентов.

КЛЮЧЕВАЯ СУТЬ

Специально дообученная небольшая модель (GPT-2 + KAFT) превосходит по точности ответов гораздо более крупную универсальную модель (GPT-3.5) с продвинутым промптингом.

Адаптировать под запрос

Контент доступен только для PRO подписчиков

Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс

YandexPay • SberPay • СБП • Карты РФ

⚡ Оплатить через Tribute

Telegram Stars • Моментальный доступ

Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

Выберите модель ИИ:

Ваш запрос:

0 / 2000

~0.5-2 N-токенов ~10-30с

~0.3-1 N-токенов ~5-15с

60

УДОВЛЕТВОРИТЕЛЬНО

Учет знаний в дообучении важен как для систем, основанных на...

Возможности

Диалоговые агенты и виртуальные ассистенты 95%

Работа с базами знаний 85%

Проверка фактов 70%

Область

IT и разработка ПО 90%

Поддержка клиентов 80%

Наука и исследования 75%

Паттерн

Новое: Knowledge-Augmented Fine-Tuning (KAFT) 100%

КОМУ ПОЛЕЗНО

Разработчик чат-ботов

Создает высокоточные специализированные чат-боты для узких доменов (например, техподдержка мобильного оператора) путем дообучения LLM на диалогах и базах знаний из этой области (KAFT), что позволяет превзойти RAG-подход в точности ответов и снизить галлюцинации.

AI-инженер

Оптимизирует производительность LLM в специфических задачах, выбирая KAFT вместо RAG для достижения лучшей фактической точности и релевантности, особенно когда требуется глубокое доменное рассуждение, а не просто извлечение фактов.

Продуктовый менеджер

Оценивает границы применимости LLM для новых продуктов, понимая, что для задач, требующих сложной доменной логики (например, медицинская диагностика, юридические консультации), простой промптинг с RAG недостаточен, и требуется более глубокое дообучение модели.

Специалист по техподдержке

Использует KAFT-обученные диалоговые системы для автоматизации ответов на сложные, специфические вопросы клиентов, снижая нагрузку на операторов и повышая удовлетворенность клиентов за счет более точных и контекстно-релевантных ответов.

Консультант по внедрению AI

Рекомендует клиентам стратегию внедрения LLM, объясняя, когда стоит инвестировать в дообучение (KAFT) для достижения экспертного уровня в узких областях, а когда достаточно RAG для общих задач, что позволяет избежать нереалистичных ожиданий и неэффективных затрат.

Разработчик образовательных платформ

Создает интерактивные обучающие системы, способные 'рассуждать' в рамках предметной области (например, физика, математика), дообучая модель на специализированных учебных материалах и задачах, что позволяет давать более глубокие и логически обоснованные объяснения.

Финансовый аналитик

Разрабатывает AI-помощников для анализа сложных финансовых ситуаций, дообучая их на кейсах и правилах налогового законодательства, чтобы модель могла не просто извлекать факты, но и применять сложную логику взаимоисключающих правил, как в примере с ИИС.