DiaTool-DPO: многооборотная прямая оптимизация предпочтений для больших языковых моделей с поддержкой инструментов

Исследование предлагает метод обучения (DiaTool-DPO) для LLM-агентов, которые используют внешние инструменты (API). Метод учит модель правильно вести диалог: либо запрашивать у пользователя недостающую информацию ("заполнение слотов"), либо корректно отказывать в выполнении запроса, если подходящего инструмента нет. Это решает проблему, когда LLM пытается "додумать" недостающие данные или вызывает инструменты с неверными параметрами.

Ключевой результат: модель, обученная этим методом, значительно реже "галлюцинирует" параметры для инструментов и лучше понимает, когда нужно задать уточняющий вопрос, приближаясь по качеству к GPT-4o.

Представьте, что вы общаетесь с чат-ботом, который умеет заказывать такси, бронировать столики и смотреть погоду. Это и есть LLM-агент с инструментами. Проблема в том, что если вы скажете "Закажи такси", бот не знает, куда и откуда ехать.

Исследование решает именно эту проблему. Суть метода в том, чтобы научить модель не гадать, а действовать правильно. Для этого ее обучают на парах диалогов: "хорошем" и "плохом".

• Плохой диалог: Вы: "Закажи такси". Бот: пытается вызвать такси из вашего дома на работу (угадывает) или просто ломается.
• Хороший диалог: Вы: "Закажи такси". Бот: "Конечно! Укажите, пожалуйста, адрес подачи и пункт назначения".

Метод DiaTool-DPO — это способ "показать" модели тысячи таких примеров и настроить ее так, чтобы она всегда предпочитала "хороший" путь: задавать уточняющие вопросы, если данных не хватает (заполнение слотов), или вежливо отказать, если вы просите сделать то, чего она не умеет (например, "свари мне кофе").

Для обычного пользователя главный вывод таков: LLM-агент работает как форма, которую нужно заполнить. Ваш запрос — это попытка заполнить поля этой формы (аргументы функции). Если вы не предоставили все обязательные поля, хороший агент задаст вопросы. Плохой — начнет выдумывать. Чтобы получить лучший результат, ваша задача — заполнить все поля в первом же промпте.

• Прямая применимость: Отсутствует. Пользователь не может использовать DPO или обучать коммерческие модели. Это методология для разработчиков.

• Концептуальная ценность: Очень высокая. Исследование дает пользователю мощную ментальную модель:

  1. "Заполнение слотов" (Slot Filling): Любой запрос к агенту, использующему инструменты, — это заполнение невидимой анкеты (например, для заказа пиццы нужны "размер", "начинка", "адрес"). Если вы не указали все данные, LLM должен их запросить. Понимание этого помогает формулировать полные и точные запросы.
  2. "Отказ от вызова" (Tool Rejection): Важно понимать, что у агента есть ограниченный набор инструментов. Если задача выходит за их рамки, правильное поведение — отказ. Это помогает пользователю не ждать от агента невозможного и точнее формулировать задачи в рамках его компетенций.
  3. "Галлюцинация аргументов": Исследование подсвечивает критическую проблему — LLM может сам придумать недостающие данные (например, подставить случайный адрес в заказ такси). Это знание мотивирует пользователя быть максимально точным в своих промптах.

• Потенциал для адаптации: Огромный. Хотя сам метод применить нельзя, его выводы легко адаптируются в стратегию промптинга. Механизм адаптации прост: превращайте неполные запросы (Type 2) в полные (Type 1). Перед тем как отправить промпт, подумайте: "Какие уточняющие вопросы мне мог бы задать ассистент?". И сразу дайте ответы на них в своем первоначальном запросе.

Представим, что вы используете кастомный GPT для генерации идей для постов в блог компании.

Ты — креативный контент-стратег для технологического стартапа. Твоя задача — сгенерировать идеи для постов в наш блог.

**# Контекст и обязательные параметры (заполнение слотов):**
*   **Продукт:** Мобильное приложение "Mindful" для медитаций и управления стрессом.
*   **Целевая аудитория:** Миллениалы и зумеры (20-35 лет), работающие в IT и креативных индустриях, испытывающие выгорание.
*   **Основная цель контента:** Привлечь новых пользователей в приложение через полезный и нерекламный контент.
*   **Ключевые темы:** Продуктивность, ментальное здоровье, борьба со стрессом, work-life balance.
*   **Количество идей:** 5 штук.

**# Задача:**
На основе предоставленных данных, предложи 5 оригинальных тем для статей в блог. Для каждой темы укажи:
1.  Броский заголовок.
2.  Краткое описание (2-3 предложения).
3.  Ключевые тезисы, которые нужно раскрыть в статье.

**# Формат вывода:**
Представь результат в виде маркированного списка.

Этот промпт эффективен, потому что он напрямую применяет концепцию из исследования, превращая потенциально неполный запрос в исчерпывающий.

• Предотвращение "заполнения слотов": Вместо общего запроса "Придумай идеи для блога", мы сразу предоставляем все "аргументы", которые понадобились бы LLM: продукт, целевая аудитория, цель, темы. Модели не нужно задавать уточняющие вопросы, что экономит время и снижает риск ошибки.
• Снижение риска "галлюцинаций": Не указав ЦА или продукт, мы бы заставили модель додумать их. Она могла бы решить, что мы пишем для подростков или пенсионеров, и сгенерировать совершенно нерелевантные идеи. Предоставляя точные данные, мы направляем ее творчество в нужное русло.
• Четкая структура: Раздел # Контекст и обязательные параметры работает как явная передача аргументов для "внутреннего инструмента" LLM по генерации контента. Это делает промпт предсказуемым и надежным.

Задача: получить от LLM-ассистента персонализированную рекомендацию по выбору ноутбука.

Выступи в роли опытного консультанта по цифровой технике. Твоя задача — помочь мне выбрать идеальный ноутбук на основе моих потребностей.

**# Мои требования (обязательные параметры для выбора):**
*   **Основное использование:** 80% - работа с текстом и таблицами (Google Docs, Excel), 20% - просмотр фильмов в Full HD. Игры не интересуют.
*   **Ключевой приоритет:** Максимальное время автономной работы (не менее 10 часов).
*   **Второстепенный приоритет:** Легкий вес (до 1.3 кг) и качественный экран.
*   **Бюджет:** до 80 000 рублей.
*   **Операционная система:** Windows.
*   **Диагональ экрана:** 13-14 дюймов.

**# Задача:**
Проанализируй мои требования и порекомендуй 2-3 конкретные модели ноутбуков, которые доступны на рынке. Для каждой модели укажи:
1.  Название модели.
2.  Ключевые преимущества и недостатки в контексте моих задач.
3.  Примерную цену.

**# Что не нужно делать:**
Не предлагай игровые ноутбуки или MacBook.

Этот промпт работает по тому же принципу, что и предыдущий, применяя выводы из исследования DiaTool-DPO к реальной пользовательской задаче.

• Проактивное "заполнение слотов": Запрос "посоветуй ноутбук" — классический пример неполного запроса (Type 2). Он неминуемо привел бы к серии уточняющих вопросов: "А какой бюджет?", "А для чего он вам?". Данный промпт предоставляет все необходимые "слоты" (использование, бюджет, приоритеты, ОС) в первом же сообщении.
• Управление ограничениями: Инструкция "Не предлагай игровые ноутбуки или MacBook" работает как аналог "отказа от вызова инструмента" (Tool Rejection). Мы заранее сообщаем модели, какие "инструменты" (категории товаров) из ее базы знаний не следует использовать, что повышает релевантность ответа.
• Структурирование информации: Четкое разделение на блоки (# Мои требования, # Задача, # Что не нужно делать) помогает LLM точно разобрать запрос и понять, что является входными данными, что — ожидаемым результатом, а что — ограничениями. Это имитирует структурированный вызов API, о котором говорится в исследовании, и ведет к более точному и полезному ответу.