A Regret Perspective on Online Selective Generation переводится на русский как "Перспектива сожаления в онлайн селективной генерации".

Это исследование предлагает алгоритм, который учит языковую модель воздерживаться от ответа (говорить "Я не знаю"), если она не уверена в его правильности. Система обучается на основе простой обратной связи от пользователя (лайк/дизлайк), чтобы со временем лучше отличать уверенные и правильные ответы от потенциальных галлюцинаций.

Ключевой результат: предложенный метод позволяет эффективно контролировать долю ложных ответов (галлюцинаций) в диалоге, делая LLM более надежным помощником.

Представьте, что у LLM есть внутренний "цензор" или "гейткипер". Когда вы задаете вопрос, модель сначала генерирует ответ "про себя", а также оценивает свою уверенность в этом ответе по некой шкале (например, от 0 до 1).

Суть метода, названного ExSUL (Selective generation with partial feedback UnLocking), заключается в следующем:

1. Порог уверенности: "Цензор" имеет настраиваемый порог уверенности (например, 0.8). Если уверенность модели в сгенерированном ответе выше этого порога, ответ показывается пользователю. Если ниже — пользователь видит сообщение "Я не знаю" или "Я не могу ответить на этот вопрос".

2. Обучение на обратной связи: Самое важное — этот "цензор" постоянно учится. Когда пользователь ставит "дизлайк" на ответ, система понимает: "Ага, в прошлый раз я был слишком самоуверен. Порог нужно поднять, чтобы в похожей ситуации в будущем промолчать". И наоборот, "лайк" подтверждает, что текущий порог адекватен. Это и есть обучение на "частичной обратной связи" (partial feedback).

3. "Разблокировка" обратной связи: Это умная оптимизация. Если модель с порогом уверенности 0.8 дала верный ответ, алгоритм понимает, что и при более низких порогах (0.7, 0.6 и т.д.) ответ тоже был бы верным. Это позволяет из одного "лайка" извлечь гораздо больше информации для обучения, ускоряя его.

Для обычного пользователя это означает, что вместо того, чтобы пытаться выбить из модели единственно верный ответ, можно научить ее не врать. Практическая адаптация этой идеи — это создание промптов, которые заставляют модель саму выполнять роль такого "цензора".

*Прямая применимость:Нулевая. Пользователь не может включить алгоритм ExSUL в ChatGPT.

• Концептуальная ценность: Очень высокая. Дает понимание, что:

  • Неуверенность LLM — это измеримая величина, которой можно управлять.
  • Принуждение LLM к молчанию при низкой уверенности — это мощная стратегия борьбы с галлюцинациями.
  • Пользователь может "научить" модель быть более осторожной, даже если эта "учеба" происходит в рамках одного сложного промпта, а не через системный алгоритм.

• Потенциал для адаптации: Огромный. Пользователь может имитировать логику исследования, создавая мета-промпты или промпты с саморефлексией. Механизм адаптации следующий: вместо того, чтобы просто просить результат, пользователь в промпте заставляет модель пройти двухэтапный процесс:

  1. Генерация: Сначала сгенерируй черновой вариант ответа.
  2. Самооценка и Фильтрация: Затем проанализируй сгенерированный черновик, оцени свою уверенность в каждом факте и, если уверенность низкая, либо откажись от ответа, либо явно пометь сомнительные места.

Представим, что SMM-менеджер должен написать пост в блог о пользе редкого суперфуда — "ягод асаи", но он не является экспертом и боится допустить фактическую ошибку.

# РОЛЬ

Ты — опытный диетолог-эксперт и копирайтер, который пишет научно-популярные статьи для широкой аудитории. Твой главный приоритет — фактическая точность и достоверность.

# ЗАДАЧА

Написать короткий пост для блога (3-4 абзаца) на тему "Польза ягод асаи для здоровья".

# ПРОЦЕСС САМОПРОВЕРКИ И ГЕНЕРАЦИИ

Ты должен следовать этому процессу в строгом порядке:

**Шаг 1: Внутренний анализ и генерация черновика.**
Сначала проанализируй всю информацию, которая у тебя есть о ягодах асаи. Собери ключевые факты об их составе (антиоксиданты, витамины, жирные кислоты) и предполагаемой пользе (для сердца, кожи, энергии). На основе этого создай черновик текста.

**Шаг 2: Критическая самооценка.**
Теперь критически оцени каждое утверждение в своем черновике по шкале от 1 до 10, где 1 — "это скорее всего миф или неподтвержденная информация", а 10 — "это общепринятый и хорошо доказанный научный факт".

**Ша- 3: Финальный ответ.**
- **Если твоя средняя уверенность во всех утверждениях ниже 7/10**, НЕ ПИШИ ПОСТ. Вместо этого напиши: "Я не могу с высокой уверенностью написать пост на эту тему, так как многие полезные свойства ягод асаи являются предметом маркетинговых заявлений, а не строгих научных доказательств. Рекомендую обратиться к более авторитетным источникам."
- **Если твоя уверенность 7/10 или выше**, напиши финальный текст поста. Включи в него только те факты, в которых ты уверен как минимум на 8/10. Если есть популярные, но спорные утверждения, аккуратно упомяни их с оговоркой, например: "Некоторые исследования предполагают, что...".

Приступай к выполнению задачи, следуя описанному процессу.

Этот промпт не просто просит результат, а воссоздает логику "селективной генерации" из исследования на уровне инструкций:

1. Генерация ответа: "Шаг 1" заставляет модель сначала сформировать ответ.
2. Оценка уверенности: "Шаг 2" — это прямая симуляция вычисления "confidence score", о котором говорится в статье. Мы заставляем LLM провести самоанализ.
3. Порог и воздержание: "Шаг 3" устанавливает четкий "порог уверенности" (7/10) и дает инструкцию "воздержаться от ответа" (abstain), если он не пройден. Это прямая адаптация главного механизма исследования для снижения риска галлюцинаций.

Задача: пользователь хочет спланировать поездку в малоизвестный город и просит LLM составить маршрут, но боится, что информация о часах работы и ценах может быть устаревшей.

# РОЛЬ

Ты — meticuloso (дотошный) и надежный ассистент по планированию путешествий. Твоя главная ценность — предоставлять проверенную и актуальную информацию.

# ЗАДАЧА

Составь план на 2 дня для поездки в город Павия, Италия. План должен включать 2-3 достопримечательности, варианты для обеда и ужина на каждый день.

# КЛЮЧЕВОЕ ТРЕБОВАНИЕ: ПРИНЦИП "НЕ УВЕРЕН — ПРЕДУПРЕДИ"

При составлении плана руководствуйся следующим правилом:
Если по какому-либо пункту (например, часы работы музея, стоимость билета, необходимость бронирования столика в ресторане) у тебя нет точных и актуальных данных из твоей базы знаний, ты ОБЯЗАН:
1. **Не придумывать детали.**
2. **Явно указать на свою неуверенность** рядом с этим пунктом, добавив фразу в скобках `(рекомендую проверить актуальную информацию на официальном сайте)`.

Твоя цель — создать полезный план, но при этом не ввести меня в заблуждение устаревшей или выдуманной информацией.

**Пример как НАДО делать:**
- Посещение замка Висконти (рекомендую проверить актуальные часы работы и стоимость билета на официальном сайте).

**Пример как НЕ НАДО делать:**
- Посещение замка Висконти (открыт с 9:00 до 18:00, билет 10 евро).

Начинай составлять план.

Этот промпт реализует концепцию "селективной генерации" на более гранулярном уровне.

• Не полное воздержание, а частичное: Вместо того чтобы отказываться от всего ответа ("я не знаю, как спланировать поездку"), модель "воздерживается" от подтверждения конкретных, часто меняющихся деталей (часы работы, цены).
• Выявление и маркировка неуверенности: Промпт заставляет модель не скрывать свою неуверенность, а, наоборот, выносить ее на поверхность и маркировать. Это дает пользователю контроль: он получает общую структуру плана, но четко видит, какие пункты требуют дополнительной проверки.
• Снижение риска галлюцинаций: Инструкция "Не придумывать детали" напрямую атакует склонность LLM к вымыслу. Вместо того чтобы сгенерировать правдоподобные, но неверные часы работы, модель вынуждена признать пробел в своих знаниях, что полностью соответствует духу исследования.

• A. Релевантность техникам промтинга: Низкая. Исследование не предлагает конкретных фраз или структур для написания промптов. Оно описывает алгоритмический слой, который работает "над" моделью.
• B. Улучшение качества диалоговых ответов: Высокое. Основная цель исследования — напрямую снизить количество галлюцинаций и неверных ответов, что кардинально повышает надежность LLM в диалоге.
• C. Прямая практическая применимость: Очень низкая. Обычный пользователь не может реализовать предложенный алгоритм (ExSUL) в публичных чат-ботах. Это метод для разработчиков LLM-систем.
• D. Концептуальная ценность: Высокая. Исследование дает пользователю мощную ментальную модель: надежность LLM можно повысить, если заставить ее оценивать собственную уверенность и воздерживаться от ответа при сомнениях. Это объясняет, почему ответ "я не знаю" часто лучше, чем уверенная ложь.
• E. Новая полезная практика (кластеризация): Работа однозначно попадает в кластер №7 "Надежность и стабильность", так как ее главная цель — предложить метод снижения галлюцинаций (False Discovery Rate) и повышения общей достоверности ответов.
• Чек-лист практичности (+15 баллов): Да, работа раскрывает неочевидные особенности поведения LLM (способность к самооценке уверенности) и предлагает способы улучшить точность ответов (через механизм воздержания). Это дает +15 баллов к базовой оценке.

Исследование получает 65 баллов. Это оценка "Интересно, попробую адаптировать".

Аргументы за оценку: Работа не дает готовых "копипаст" техник промптинга, что не позволяет поставить ей 90+ баллов. Ее прямая применимость для пользователя равна нулю. Однако она предлагает чрезвычайно ценную концептуальную идею: принудительная самооценка и воздержание от ответа как стратегия повышения надежности. Продвинутый пользователь может адаптировать этот системный подход и встроить его логику непосредственно в свои промпты, имитируя предложенный механизм. Это переводит исследование из категории "академической теории" в категорию "источника вдохновения для новых техник промптинга".