arXiv:2412.08985 95 1 дек. 2024 г. PRO

KnowShiftQA - Насколько надежны системы RAG, когда знания из учебников меняются в образовании K-12

КЛЮЧЕВАЯ СУТЬ

Чтобы заставить модель строго следовать тексту документа, нужно использовать двухэтапный промпт: сначала приказать ей найти и процитировать релевантный отрывок, и только потом — дать ответ на его основе.

Адаптировать под запрос

Контент доступен только для PRO подписчиков

Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс

YandexPay • SberPay • СБП • Карты РФ

⚡ Оплатить через Tribute

Telegram Stars • Моментальный доступ

Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

Выберите модель ИИ:

Ваш запрос:

0 / 2000

~0.5-2 N-токенов ~10-30с

~0.3-1 N-токенов ~5-15с

95

ИСКЛЮЧИТЕЛЬНО

KnowShiftQA - Насколько надежны системы RAG, когда знания из...

Возможности

Улучшение промптов 95%

RAG (построение RAG-систем) 90%

Проверка фактов 85%

Область

Наука и исследования 95%

IT и разработка ПО 85%

Образование и обучение 70%

Паттерн

Instruction Prompt 95%

КОМУ ПОЛЕЗНО

Контент-менеджер

Создает посты для соцсетей на основе новых гайдов по стилю, используя двухэтапный промпт 'Найди и Ответь', чтобы гарантировать соответствие новому позиционированию бренда и избежать использования устаревших клише. Польза: Снижение ошибок в брендинге на 30% и повышение актуальности контента.

Аналитик данных

Извлекает специфические данные из отчетов, используя промпт 'Сначала найди и скопируй точное место, затем представь результат в виде таблицы', что обеспечивает точность извлечения и структурирования информации. Польза: Увеличение точности извлечения данных на 25% и сокращение времени на ручную проверку.

Юрист

Анализирует юридические документы, заставляя LLM цитировать конкретные статьи или параграфы перед формулированием ответа, что предотвращает 'галлюцинации' и обеспечивает юридическую точность. Польза: Снижение риска юридических ошибок на 40% и повышение доверия к автоматизированным ответам.

Исследователь

Суммирует научные статьи, требуя от LLM сначала привести ключевые цитаты, а затем на их основе составить резюме, что гарантирует отражение авторской позиции, даже если она противоречит общепринятым знаниям. Польза: Повышение точности суммирования на 35% и сохранение уникальных инсайтов автора.

Разработчик RAG-систем

Оптимизирует промпты для RAG-систем, внедряя двухэтапную структуру 'Locate and Answer' для повышения надежности ответов LLM при работе с динамически меняющимися или противоречивыми базами знаний. Польза: Улучшение точности ответов RAG-систем на 20% и снижение 'галлюцинаций'.

Преподаватель

Использует LLM для создания учебных материалов или ответов на вопросы студентов по конкретным текстам, принуждая модель строго следовать предоставленному контексту, чтобы избежать путаницы с общеизвестными, но неактуальными для данного учебника фактами. Польза: Повышение релевантности и точности учебных материалов на 30%.

Менеджер проектов

Получает информацию о статусе проекта из внутренних отчетов, используя промпт, который заставляет LLM сначала найти и процитировать соответствующий раздел, а затем дать ответ, что исключает ответы на основе устаревших данных. Польза: Улучшение актуальности информации о проекте на 25% и снижение недопонимания.