FISCAL: Обучение на основе синтетических финансовых документов с расширением для эффективной проверки фактов

Исследователи разработали метод (FISCAL) для автоматического создания большого набора "финансовых утверждений" с преднамеренными, но тонкими ошибками. На этих данных они обучили компактную 7B-модель, которая в итоге научилась проверять факты в финансовых документах на уровне, сопоставимом с гигантскими моделями вроде GPT-4o, но делая это гораздо быстрее и дешевле.

Ключевой результат: Целенаправленное обучение даже небольшой модели на специально "испорченных" данных делает ее экспертом в узкой задаче (поиске фактических ошибок) и позволяет ей превосходить гораздо более крупные и универсальные LLM.

Суть метода не в том, чтобы написать идеальный промпт, а в том, чтобы научить модель быть "параноиком" и замечать подвох. Исследователи поняли, что LLM часто ошибаются в деталях: цифрах, датах, именах. Вместо того чтобы просто давать модели правильные ответы, они создали для нее "тренажерный зал", полный ловушек.

Они брали реальный финансовый документ и утверждение к нему, а затем генерировали несколько вариантов "лжи", на которых и тренировали модель:

• Перефразирование (Claim Paraphraser): Утверждение переписывалось другими словами, чтобы модель научилась понимать суть, а не цепляться за конкретные формулировки.
• Внедрение противоречия (Conflict Insertion): В исходный документ незаметно добавлялся один ложный факт, который противоречил утверждению. Модель должна была его найти.
• Искажение цифр и дат (Fact Value Distortion): В документе слегка меняли ключевое число, сумму или дату, делая утверждение ложным.
• Удаление факта (Fact Exclusion): Из документа полностью убирали предложение, подтверждающее утверждение. Модель должна была понять, что доказательств больше нет.
• Подмена источника (Mis-attribution): Факт оставался верным, но его приписывали другому году, другой компании или другому отчету.

Для обычного пользователя это означает: LLM по умолчанию доверчивы и плохо справляются с такой "детективной" работой. Чтобы получить от них надежный ответ, нужно заставить их провести именно такую проверку, явно указав на это в промпте.

• Прямая применимость: Низкая. Пользователь не может обучить свою модель. Однако, он может использовать описанные в исследовании типы ошибок как чек-лист для проверки ответов, которые дает LLM.

• Концептуальная ценность: Очень высокая. Исследование наглядно демонстрирует "слепые зоны" LLM. Ключевая концепция для пользователя: LLM — это не база знаний, а генератор правдоподобного текста. Он легко может "додумать" или исказить детали, если его явно не заставить их перепроверять. Выводы статьи формируют здоровый скептицизм и учат пользователя не доверять первому ответу, особенно когда речь идет о цифрах и фактах.

• Потенциал для адаптации: Огромный. Пользователь может "сыграть роль" методологии FISCAL. Вместо того чтобы обучать модель, он может использовать эти принципы для построения многошаговых промптов или для верификации уже полученного ответа. Например, после получения ответа от LLM, можно задать уточняющие вопросы, основанные на "модулях лжи": "А что если изменить дату на 2022 год?", "Ты уверен, что эта цифра точная? Перепроверь в источнике", "Есть ли в тексте противоречащая этому информация?".

Представим, что вы маркетолог и хотите получить краткую сводку по отзывам на новый продукт (например, умный чайник), чтобы понять его сильные и слабые стороны.

Ты — дотошный и беспристрастный аналитик рынка. Твоя задача — проанализировать отзывы покупателей на умный чайник "AquaSmart 2000" и составить объективную сводку его плюсов и минусов для отдела маркетинга.

**Контекст (отзывы):**
Вот отзывы с разных площадок:
1.  "Чайник супер! Греет быстро, приложение удобное. Но в описании было 1.7л, а по факту еле-еле 1.5л влезает. Обидно." - *Иван, Ozon*
2.  "Купил AquaSmart 2000. Выглядит стильно. Но приложение для Android постоянно вылетает, пользоваться невозможно. На iOS у жены все ок." - *Петр, Яндекс.Маркет*
3.  "Отличная модель, в отличие от старого AquaSmart 1000, этот держит температуру 2 часа, а не 30 минут. Очень довольна." - *Анна, М.Видео*
4.  "Шумит как самолет на взлете. В остальном все хорошо." - *Сергей, Ozon*
5.  "Приложение на iPhone работает идеально. Удобно запускать с дивана. Непонятно только, как чистить от накипи, в инструкции ни слова." - *Елена, Яндекс.Маркет*

**Твоя задача:**
Создай структурированную сводку. При анализе ОБЯЗАТЕЛЬНО примени следующие критические проверки, вдохновленные методом FISCAL:

1.  **Проверка на противоречия (`Conflict Insertion`):** Если один отзыв хвалит аспект (например, приложение), а другой ругает, явно укажи на это противоречие и возможную причину (например, разница в ОС).
2.  **Проверка на искажение фактов (`Fact Distortion`):** Сравни факты из отзывов с заявленными характеристиками (если они упоминаются). Если есть расхождения (объем, функции), отметь это.
3.  **Выявление отсутствующей информации (`Fact Exclusion`):** Если в отзывах не упоминается какой-то важный аспект использования продукта (например, уход, долговечность), отметь это как "белое пятно".
4.  **Проверка на корректность сравнения (`Mis-attribution`):** Если пользователь сравнивает продукт с другой моделью, убедись, что преимущество относится именно к "AquaSmart 2000".

**Формат ответа:**
- **Плюсы:** (список)
- **Минусы:** (список)
- **Противоречивая информация:** (список с объяснением)
- **Неподтвержденные/отсутствующие данные:** (список)

Этот промпт работает, потому что он не просто просит "сделай саммари", а заставляет LLM действовать как верификатор, используя принципы, описанные в исследовании.

• Conflict Insertion: Инструкция "Проверка на противоречия" заставляет модель не усреднять мнения, а находить конфликтующие точки данных (приложение работает / не работает) и искать причину (iOS vs Android). Это повышает глубину анализа.
• Fact Distortion: Указание "Проверка на искажение фактов" активирует режим "факт-чекера". Модель обращает внимание на жалобу Ивана про объем (1.7л vs 1.5л) и выносит это в отдельный пункт, а не игнорирует как незначительную деталь.
• Fact Exclusion: Команда "Выявление отсутствующей информации" заставляет модель думать о том, чего НЕТ в данных. Она замечает, что никто не написал про чистку, и помечает это как потенциальную проблему или недостаток документации.
• Mis-attribution: "Проверка на корректность сравнения" гарантирует, что модель правильно атрибутирует похвалу Анны именно новой модели, усиливая ценность этого отзыва.

По сути, мы превратили пассивного суммаризатора в активного аналитика, вооружив его "ментальной моделью" исследователя из статьи FISCAL.

Задача: Составить план путешествия по Риму на 3 дня на основе нескольких статей из блогов, найденных в интернете.

Ты — опытный и скептичный планировщик путешествий. Твоя задача — составить реалистичный и надежный план поездки в Рим на 3 дня для пары, которая едет туда впервые.

**Контекст (выдержки из блогов):**
1.  **Статья "Рим за 3 дня" (2019 год):** "Обязательно посетите Колизей, билеты лучше брать онлайн за 18 евро, чтобы не стоять в очереди. Вечером идите в район Трастевере, там лучшие и недорогие траттории."
2.  **Пост "Лайфхаки по Риму" (2023 год):** "Не ведитесь на 'бесплатный вход' в Пантеон, с 2023 года вход стал платным, стоит 5 евро. А вот в Собор Святого Петра вход по-прежнему бесплатный, но очередь огромная, лучше приходить к 7 утра."
3.  **Отзыв на TripAdvisor (2024 год):** "Были в Трастевере в мае. Цены уже совсем не 'недорогие'. Ужин на двоих с вином — минимум 80 евро. Но атмосфера того стоит."
4.  **Форум путешественников (2022 год):** "Чтобы попасть в галерею Боргезе, нужно бронировать билеты онлайн ЗА МЕСЯЦ! Просто так прийти не получится, имейте в виду."

**Твоя задача:**
Создай пошаговый план на 3 дня. При составлении плана используй следующие правила критического анализа информации:

1.  **Проверяй актуальность данных (`Fact Value Distortion`):** Обращай особое внимание на даты публикаций. Если информация о ценах, условиях входа или расписании взята из старого источника, пометь ее как "требует проверки" и найди более свежую информацию.
2.  **Выявляй конфликтующие советы (`Conflict Insertion`):** Если один источник говорит, что где-то "недорого", а другой это опровергает, отрази оба мнения и дай более взвешенную оценку.
3.  **Фиксируй неполные данные (`Fact Exclusion`):** Если для посещения места нужна предварительная бронь (как в галерее Боргезе), но не указано, где именно бронировать, отметь это как "необходимо найти сайт для бронирования".
4.  **Отделяй факты от мнений:** Четко разделяй объективную информацию (цена билета, часы работы) и субъективные оценки (атмосфера, "лучшие" траттории).

**Формат ответа:**
- **День 1:** (маршрут, цены, советы по логистике, предупреждения)
- **День 2:** (маршрут, цены, советы по логистике, предупреждения)
- **День 3:** (маршрут, цены, советы по логистике, предупреждения)
- **Сводка по бюджету и важные предупреждения:** (список потенциальных проблем и моментов, требующих проверки перед поездкой)

Этот промпт эффективен, так как он заставляет LLM не просто компилировать информацию из разных источников, а проводить ее критическую оценку, имитируя логику исследования FISCAL.

• Fact Value Distortion: Инструкция проверять актуальность данных заставляет модель заметить, что цена на билет в Колизей (18 евро) из статьи 2019 года, скорее всего, устарела. Это предотвращает предоставление пользователю неверной информации и побуждает модель добавить ремарку "цена может быть выше, уточните на официальном сайте".
• Conflict Insertion: Требование выявлять конфликты заставляет модель столкнуть мнения о "недорогом" Трастевере из статьи 2019 года и отзыва 2024 года. Вместо того чтобы выдать однобокий совет, модель даст реалистичное предупреждение: "Район считается атмосферным, но цены выросли".
• Fact Exclusion: Указание фиксировать неполные данные гарантирует, что модель не просто скажет "забронируйте билет в галерею Боргезе", а добавит важное действие для пользователя: "необходимо найти официальный сайт для бронирования", что делает план практически применимым.

Таким образом, мы переносим академическую концепцию "обнаружения аномалий в данных" в практическую задачу "создания надежного плана". Промпт превращает LLM из наивного ассистента в опытного гида, который знает, что информация в интернете быстро устаревает и часто противоречива.

• A. Релевантность техникам промтинга: Низкая. Исследование не предлагает формулировок для промптов, а описывает процесс создания данных для дообучения модели.
• B. Улучшение качества диалоговых ответов: Косвенное. Метод улучшает качество ответов специализированной модели, но не дает пользователю инструментов для улучшения ответов в общем чате.
• C. Прямая практическая применимость: Очень низкая. Метод требует дообучения (fine-tuning) модели на специальном датасете, что недоступно обычному пользователю в веб-интерфейсах вроде ChatGPT.
• D. Концептуальная ценность: Высокая. Исследование блестяще раскрывает, на какие типы "лжи" и искажений ведутся LLM, особенно в работе с числами и фактами. Оно дает пользователю "карту уязвимостей" LLM.
• E. Новая полезная практика: Работа попадает в кластеры #2 (Поведенческие закономерности LLM) и #7 (Надежность и стабильность). Она детально показывает, как модели реагируют на тонкие искажения фактов, что является ценным знанием о их поведении и помогает в разработке стратегий проверки надежности.
• Чек-лист практичности (+15 баллов): Да, исследование раскрывает неочевидные особенности поведения LLM. В частности, в ablation study показано, как разные типы манипуляций с данными (противоречия, перефразирования, искажения) по-разному влияют на точность модели. Это дает пользователю понимание, какие именно проверки стоит проводить.

Оценка 65 отражает баланс между очень низкой прямой применимостью и очень высокой концептуальной ценностью. Пользователь не может "взять и сделать" как в статье, но может "взять и понять" нечто фундаментальное о слабостях LLM, что позволит ему формулировать промпты для проверки и верификации информации гораздо эффективнее.

Аргументы в пользу более высокой оценки: * Исследование предоставляет готовую таксономию ошибок, на которые можно проверять LLM (искажение цифр, подмена источника, вброс противоречия). Продвинутый пользователь может превратить эту таксономию в собственный фреймворк для верификации ответов LLM, что чрезвычайно практично. * Понимание этих уязвимостей позволяет создавать "промпты-ловушки" или многошаговые проверки, что напрямую улучшает качество и надежность итогового результата работы с LLM.

Аргументы в пользу более низкой оценки: * Статья на 95% посвящена процессу обучения и архитектуре моделей (LoRA, fine-tuning, синтетические данные). Для пользователя, который ищет готовые фразы для промпта, она практически бесполезна и перегружена техническими деталями. * Польза извлекается не напрямую, а через адаптацию и переосмысление. Это требует от пользователя дополнительных усилий и аналитических способностей, что снижает ценность для "широкой аудитории".