Парадокс: небольшая специализированная модель обходит GPT-4o в финансовом фактчекинге — просто потому что знает что именно искать.

Исследователи разработали метод (FRED) для автоматического обнаружения и исправления фактических ошибок в текстах, сгенерированных LLM, с фокусом на финансовую сферу. Они создали классификацию типичных ошибок (неправильные числа, даты, сущности и т.д.) и натренировали небольшие языковые модели находить и исправлять их, сверяясь с исходным документом. В результате эти специализированные модели стали работать точнее, чем универсальные гиганты вроде GPT-4o, в задаче финансового фактчекинга.

Ключевой результат: Целенаправленное обучение или даже просто детальное инструктирование модели на поиск конкретных типов ошибок делает её гораздо более надежным фактчекером, чем слепая вера в её общие знания.

Для обычного пользователя суть метода заключается не в дообучении модели, а в применении промпта-супервизора. Вместо того чтобы просто просить LLM написать или проанализировать текст, вы даете ей новую, более сложную роль — роль дотошного редактора, который работает по строгому регламенту.

Методика состоит из четырех шагов:

1. Определите правила игры (Таксономия ошибок): Вы не говорите "проверь на ошибки". Вы даете модели четкий список того, что вы считаете ошибкой. Например: <ошибка_в_цене>, <неверная_характеристика>, <старая_дата_акции>. Это фокусирует внимание модели.

2. Предоставьте "Источник правды" (Reference): Вы даете модели не только текст, который нужно проверить (Passage), но и эталонный документ (Reference), с которым нужно сверяться. Это заставляет модель работать в режиме RAG (Retrieval-Augmented Generation) и не додумывать факты.

3. Дайте пример хорошей работы (Few-shot): Вы показываете модели короткий пример, как именно вы хотите, чтобы она находила и размечала ошибки. Например: "Вот неверный текст, вот верный, вот как я разметил ошибку тегами и ".

4. Сформулируйте четкое задание: Вы объединяете все вышеперечисленное в один промпт и даете команду: "Проверь Passage на соответствие Reference по моим правилам и верни исправленный текст в заданном формате".

Этот подход превращает LLM из "творческого писателя" в "технического контролера", что резко снижает количество галлюцинаций и повышает фактическую точность ответа.

• Прямая применимость: Пользователь может скопировать структуру промпта из приложения к статье (Appendix E.2) и адаптировать ее для своих задач. Вместо финансовых данных можно подставить описание товара, условия акции, биографические факты, технические характеристики. Нужно лишь подготовить два текстовых блока: "что проверяем" и "с чем сверяем".

• Концептуальная ценность: Главный инсайт — LLM нужно принудительно переключать из режима "генерации" в режим "верификации". Пользователь начинает понимать, что для получения точного ответа нужно не просто задать вопрос, а создать для модели контролируемую среду: предоставить ей эталон, критерии оценки (таксономию ошибок) и четкий формат вывода. Это фундаментально меняет подход к работе с LLM в задачах, требующих точности.

• Потенциал для адаптации: Метод универсален. Финансовая сфера — лишь один из примеров.

  • Маркетолог: Может проверять рекламные тексты на соответствие брифу или спецификации продукта.
  • Юрист: Может сверять выдержки из договора с основным текстом на предмет противоречий.
  • Студент: Может проверять свое эссе на соответствие первоисточникам. Механизм адаптации прост: нужно лишь определить свой собственный набор критических ошибок (свои теги) и использовать их в промпте вместо финансовых.

Представим, что SMM-менеджер написал пост для соцсетей о новой акции кофейни, и нужно проверить его на соответствие официальным условиям акции.

Ты — внимательный редактор-контролер. Твоя задача — проверить текст поста для соцсетей (`Passage`) на соответствие официальным условиям акции (`Reference`).

Найди в тексте поста любые ошибки из следующего списка и разметь их. Для исправления используй теги `исправленный текст` и `удаленный текст`. Если весь фрагмент не соответствует действительности, оберни его в тег ``. Если в тексте есть информация, которую невозможно проверить по `Reference`, оберни ее в тег ``.

**Определения ошибок:**
1.  ****: Неправильная цена на продукт.
2.  ****: Неправильная дата или срок действия акции.
3.  ****: Неправильное название или описание продукта, участвующего в акции.
4.  ****: Неверно указано условие получения скидки/бонуса.
5.  ****: Утверждение, которое полностью противоречит `Reference`.
6.  ****: Утверждение, которое нельзя проверить по `Reference`.

**Пример выполнения:**
*   **Passage:** Купи любой Латте и получи скидку 20% до конца лета!
*   **Reference:** Акция "Летний вайб": скидка 15% на все кофейные напитки объемом 0.4л при покупке с 1 июля по 31 июля.
*   **Edited:** Купи любой Латтекофейный напиток объемом 0.4л и получи скидку 20%15% до конца летас 1 июля по 31 июля!

---
**Теперь выполни задачу для следующих текстов:**

**Reference:**
"Официальные условия акции 'Утренний заряд'. С 1 по 15 августа 2024 года, с 8:00 до 11:00, при покупке любого круассана (классический, шоколадный) второй такой же круассан в подарок. Акция действует только при оплате картой 'КофеКлуб'."

**Passage:**
"Суперакция в нашей кофейне! Весь август, покупая наш фирменный миндальный круассан, вы получаете второй бесплатно! Спешите, предложение действует в течение всего дня. Наши бариста ждут вас!"

**Твой результат (Edited):**

Этот промпт эффективен, потому что он не полагается на общие знания модели, а создает для нее замкнутую и контролируемую "песочницу":

1. Четкая роль и задача: Модель не "пишет текст", а "проверяет по регламенту". Это переключает ее в аналитический режим.
2. Таксономия ошибок: Вместо абстрактной "проверки на ошибки" модель получает конкретный чеклист (, и т.д.). Это сужает поле поиска и повышает точность обнаружения.
3. Наличие "Эталона" (Reference): Модель вынуждена основывать свои выводы не на своей памяти, а на предоставленном тексте. Это ключевой механизм борьбы с галлюцинациями.
4. Обучение на примере (Few-shot): Пример показывает точный формат вывода и логику работы, что значительно улучшает следование инструкциям.
5. Структурированная разметка (, ): Требование использовать теги заставляет модель не просто находить ошибку, но и анализировать, что именно не так и как это исправить, делая процесс более осмысленным.

Задача: Редактор просит ассистента проверить краткую биографическую справку для статьи о Марии Кюри на соответствие фактам из энциклопедии.

Ты — дотошный фактчекер. Твоя задача — вычитать биографическую справку (`Passage`) и проверить ее на полное соответствие тексту из энциклопедии (`Reference`).

Найди и разметь все ошибки согласно определениям ниже. Используй теги `верный факт` и `неверный факт`. Если утверждение полностью ложно, используй тег ``. Если информация отсутствует в `Reference`, используй ``.

**Определения ошибок:**
1.  ****: Ошибка в имени, фамилии или названии.
2.  ****: Неверная дата события.
3.  ****: Неточность в описании научного открытия или награды.
4.  ****: Ошибка в географическом названии (город, страна).
5.  ****: Утверждение, прямо противоречащее источнику.
6.  ****: Факт, который нельзя подтвердить или опровергнуть с помощью `Reference`.

---
**Теперь выполни задачу для следующих текстов:**

**Reference:**
"Мария Склодовская-Кюри (родилась 7 ноября 1867 года в Варшаве, Царство Польское, Российская империя) — польский и французский учёный-экспериментатор. Она была удостоена Нобелевской премии по физике в 1903 году совместно со своим мужем Пьером Кюри и Анри Беккерелем. В 1911 году она получила Нобелевскую премию по химии за открытие элементов радия и полония. Мария Кюри стала первым человеком, удостоенным двух Нобелевских премий в двух разных научных областях."

**Passage:**
"Великая Мария Кюри родилась в Париже в 1867 году. В 1903 году она в одиночку получила Нобелевскую премию по химии за открытие плутония. Позже, в 1911 году, ей вручили премию по физике. Она была очень скромным человеком и редко выступала на публике."

**Твой результат (Edited):**

Механизм успеха этого промпта аналогичен предыдущему и основан на принципах ограничения и направления внимания LLM:

1. Смена парадигмы: Вместо того чтобы просить модель "написать о Марии Кюри" (где она может галлюцинировать), мы просим ее "сравнить два текста по правилам". Это задача на сопоставление, а не на генерацию из памяти.
2. Фокусировка на деталях: Таксономия ошибок (, ) заставляет модель обращать внимание на конкретные типы фактов — даты, имена, названия, — которые часто являются источником ошибок.
3. Принудительное заземление (Grounding): Предоставление Reference как единственного источника правды не дает модели "вспоминать" другие, возможно, неверные факты о Марии Кюри из своего общего набора данных. Она обязана работать только с тем, что ей дали.
4. Выявление непроверяемого: Тег особенно важен. Он учит модель не только находить прямые противоречия, но и распознавать информацию, которая может быть правдой, но не подтверждена источником. Это приучает пользователя к критическому мышлению и пониманию границ предоставленного контекста.