3,583 papers
arXiv:2602.17433 74 19 фев. 2026 г. FREE

Как формат запроса к LLM влияет на историческую точность ответа

КЛЮЧЕВАЯ СУТЬ
Попросишь написать соцпост — геноцид станет «перемещением населения». Попросишь проверить факты — геноцид останется геноцидом. Это не случайность: формат запроса активирует разные паттерны из обучающих данных, и модель буквально включает другой режим обработки. Метод структурированной проверки позволяет разделить «что доказано / что спорно / где пробелы» — и это снижает долю эвфемизмов с 44–55% до минимума, без дообучения и без специальных инструментов.
Адаптировать под запрос

TL;DR

LLM даёт разную фактическую точность на один и тот же исторический вопрос — в зависимости от того, в каком формате вы просите ответить. Попросите написать пост в соцсетях — получите более искажённую картину. Попросите проверить факты или написать учебную главу — картина будет точнее. Исследователи назвали этот эффект «зависимость от сценария взаимодействия».

Главная находка. Модели почти никогда не врут напрямую. Их главный провал — замалчивание через эвфемизм: геноцид превращается в «перемещение населения во время конфликта», голодомор — в «сельскохозяйственные трудности». Звучит профессионально, читается авторитетно, но ключевые факты вырезаны. Именно потому это опасно: ложь-ложь можно распознать, а ложь-через-пропуск — нет, если не знаешь чего искать.

Как работает паттерн. Форматы с кратким ответом (280 символов соцсети, этикетка в музее, дебаты) провоцируют опускать детали. Форматы с аналитическим требованием (проверка фактов, учебник, аналитическая записка) заставляют модель «включать режим» более тщательной обработки. Дополнительно: если прямо попросить модель написать ревизионистский текст — подчиняется в 80%+ случаев.


📌

Схема находок

ФАКТОР 1: Формат запроса
  Высокий риск искажений → соцпост, музейная этикетка, дебаты
  Низкий риск искажений  → проверка фактов, учебная глава, аналитическая записка

ФАКТОР 2: Тип искажения
  Редко  → прямая ложь (Score 1: <1% ответов)
  Часто  → замалчивание, эвфемизм (Score 2: 44–55% отклонений)
  Часто  → «обе стороны равны» (Score 3: 28–45% отклонений)

ФАКТОР 3: Явный запрос на искажение
  Нейтральный промпт  → 11–32% ответов отклоняются от фактов
  Ревизионистский промпт → 80%+ ответов уходят в искажение

ФАКТОР 4: Документированность события
  Хорошо задокументировано (Холокост, сталинские репрессии) → ниже риск
  Слабо задокументировано (Гвинея, Иран) → выше риск

Все четыре фактора работают в одном обычном чате без дополнительных инструментов.


🚀

Пример применения

Задача: Вы пишете колонку для делового медиа и хотите разобраться в обстоятельствах теракта в московском метро в 2010 году — хронология, ответственность, официальная версия vs. альтернативные интерпретации. Нужна фактически точная база.

Промпт с высоким риском (чего делать не стоит):

Напиши короткий пост в Телеграм про теракт в московском метро 2010 года.
Буквально 3-4 предложения, чтобы освежить память читателей.

Промпт с низким риском (как правильно):

Проверь факты об этом событии и дай структурированный разбор:

Событие: взрывы в московском метро 29 марта 2010 года.

1. ПРОВЕРКА ФАКТОВ: что точно установлено (хронология, число жертв, 
   доказанная ответственность)?

2. ЧТО СПОРНО: какие версии официально оспаривались или остаются 
   предметом дискуссий?

3. ПРОБЕЛЫ: о чём документация ограничена или противоречива?

Если в каком-то пункте у тебя нет уверенных данных — скажи прямо, 
не заполняй пробелы предположениями.

Результат: Второй промпт запустит в модели другой режим обработки. Ответ будет структурирован как аналитический документ с разделением доказанного и спорного. Там, где данные противоречивы — модель с большей вероятностью это обозначит, а не сгладит. В первом промпте риск получить уверенно звучащий текст с удобными пропусками — значительно выше.


🧠

Почему это работает

Слабость LLM. Модель не хранит «уровень достоверности» отдельно от самого текста. Когда она генерирует ответ, форматный контекст влияет на то, какие паттерны текста она воспроизводит. Соцпосты в обучающих данных — короткие, уверенные, с позицией. Учебные главы — длинные, нюансированные, с оговорками. Попросив один формат, вы активируете соответствующий стиль.

Сильная сторона LLM. Модель хорошо следует явным инструкциям о структуре ответа. «Раздели на доказанное и спорное» — это не просьба быть честнее, это конкретная структурная инструкция. Модели легче выполнить структурную команду, чем абстрактную просьбу «быть точной».

Как эти два факта использовать. Форматные инструкции — это рычаг. Вместо «расскажи мне о событии X» давай структуру, которая вынуждает модель отделять факты от интерпретаций. Явный запрос «скажи если не знаешь» снижает риск уверенных эвфемизмов — потому что создаёт «разрешённый выход» для признания неопределённости.

Рычаги управления: - Формат запроса → смени «напиши пост» на «проверь факты» — это один из сильнейших рычагов - Явное требование разделить → «что доказано / что спорно / где пробелы» снижает False Balance (позицию «обе стороны равны») - Разрешение на незнание → «если данных нет — скажи прямо» уменьшает заполнение пробелов эвфемизмами - Длина ответа → короткий формат → больше пропусков, длинный → больше нюансов


📋

Шаблон промпта

Мне нужен фактически точный разбор исторического события. 
Формат — аналитическая проверка, не пересказ.

Событие: {описание события, дата, контекст}

Структура ответа:

УСТАНОВЛЕНО: что зафиксировано с высокой степенью достоверности 
(хронология, числа, задокументированная ответственность)

СПОРНО: что официально оспаривалось, остаётся предметом разных 
интерпретаций, или где существуют конкурирующие версии

ПРОБЕЛЫ: о чём документация ограничена, противоречива или недоступна

Если в каком-то разделе у тебя нет уверенных данных — 
укажи это явно вместо домысла.
Избегай эвфемизмов: называй вещи своими именами.

Плейсхолдеры: - {описание события} — конкретное историческое событие, дату и контекст: «блокада Ленинграда, 1941–1944», «Беслан, сентябрь 2004», «распад СССР, 1991»

🚀 Быстрый старт — вставь в чат:

Вот шаблон для фактически точного разбора исторических событий. 
Адаптируй под моё событие и задай вопросы для заполнения полей.

[вставить шаблон выше]

LLM спросит какое именно событие тебя интересует и какой угол важен — потому что структура шаблона требует конкретики, которую нужно получить от тебя, чтобы правильно распределить факты по разделам.


⚠️

Ограничения

⚠️ Слабодокументированные события: Для исторических событий с ограниченной англоязычной документацией (малоизвестные региональные конфликты, события в странах с государственной цензурой) риск искажений остаётся высоким даже при правильном формате промпта — модель просто не имеет достаточно качественных источников в обучении.

⚠️ Формат не панацея: Правильный формат снижает риск, но не устраняет его. Исследование показывает, что даже в режиме «проверки фактов» часть ответов содержит смягчение и замалчивание.

⚠️ Эффект ролевой инструкции: Если промпт содержит явную просьбу «напиши с точки зрения X» или «защити позицию Y» — почти все модели выполняют её, отключая критическое отношение к фактам. Ролевые инструкции перебивают форматный эффект.

⚠️ Зависимость от модели: Разброс между моделями значительный. В исследовании наилучшие показатели у Grok-3-mini (≈11% отклонений), наихудшие у Mistral-7B (≈32%). Один и тот же промпт на разных моделях даст разный результат.


🔍

Как исследовали

Команда из университетов Торонто, Триесте и Мичигана собрала 500 исторических событий из 45 стран — от нацистской пропаганды до современного китайского нарратива. Для каждого события они написали две версии: фактическую (по научным источникам) и ревизионистскую (задокументированные государственные искажения). Затем превратили каждое событие в 11 разных типов запроса — от поста в соцсетях до главы учебника — получив 5 500 тестовых промптов.

Модели отвечали на весь этот массив, а три независимых судьи-LLM (GPT‑5‑nano, Qwen3‑235B, Gemma‑3‑27B) сравнивали каждый ответ с обеими версиями: насколько он ближе к фактической или к ревизионистской. Это не «правильно/неправильно», а компас направления — куда дрейфует ответ модели.

Самый неожиданный результат: прямой фальши почти нет. Меньше 1% ответов содержат откровенные выдуманные утверждения. Зато 44–55% отклонений — это замалчивание через красивые слова. Исследователи сравнили: если знаешь что было, ты видишь пропуск. Если не знаешь — читаешь авторитетный текст и думаешь «ну, всё сложно». Это и есть главный механизм современного ИИ-ревизионизма.

Дополнительно они проверили устойчивость: взяли те же 11 форматов, но добавили явную инструкцию «напиши ревизионистскую версию». Почти все модели выполнили. Это показывает, что нынешние механизмы защиты работают против случайных ошибок, но не против целенаправленных запросов.


💡

Адаптации и экстраполяции

🔧 Техника: Многоступенчатая проверка на замалчивание

Если вы получили ответ от LLM по историческому событию и хотите проверить, не было ли там «профессионального умолчания», попросите модель переоценить свой же ответ:

Вот ответ про {событие}, который ты дал:

[вставь предыдущий ответ]

Теперь проверь его с позиции критика:
— Какие факты могли быть смягчены или названы эвфемизмами?
— Что было опущено, что прямо относится к теме?
— Где использован нейтральный язык там, где более точным 
  был бы сильный?

Дай дополненную версию с восстановленными деталями.

Это использует вывод исследования: даже если первый ответ содержал замалчивание, явная инструкция назвать что пропущено меняет режим работы модели.


🔧 Техника: Запрос через формат «дебатов» с требованием вывода

Исследование показало, что формат дебатов (Score 3 — False Balance) часто выдаёт «обе стороны имеют точку». Но это можно использовать в свою пользу: запустить дебаты, но потребовать судейское заключение.

Событие: {историческое событие}

Шаг 1. Представь самый сильный аргумент версии A: {официальная версия}
Шаг 2. Представь самый сильный аргумент версии B: {альтернативная версия}
Шаг 3. Как независимый историк-арбитр: какая версия лучше подкреплена 
        документальными свидетельствами и почему? 
        Дай однозначный вывод, не «обе стороны имеют смысл».

Структура дебатов помогает вытащить контраргументы, а явное требование вывода убирает характерный для этого формата уход в обе стороны.


🔗

Ресурсы

Работа: Preserving Historical Truth: Detecting Historical Revisionism in Large Language Models

Датасет и код: github.com/francescortu/PreservingHistoricalTruth

Авторы: Francesco Ortu, Joeun Yook, Punya Syon Pandey, Keenan Samway, Bernhard Schölkopf, Alberto Cazzaniga, Rada Mihalcea, Zhijing Jin

Организации: University of Trieste, AREA Science Park, University of Toronto, Vector Institute, MPI for Intelligent Systems, University of Michigan

Конференция: Second Conference of the International Association for Safe and Ethical Artificial Intelligence (IASEAI'26)


📋 Дайджест исследования

Ключевая суть

Попросишь написать соцпост — геноцид станет «перемещением населения». Попросишь проверить факты — геноцид останется геноцидом. Это не случайность: формат запроса активирует разные паттерны из обучающих данных, и модель буквально включает другой режим обработки. Метод структурированной проверки позволяет разделить «что доказано / что спорно / где пробелы» — и это снижает долю эвфемизмов с 44–55% до минимума, без дообучения и без специальных инструментов.

Принцип работы

Стандартный запрос «напиши пост» → модель воспроизводит соцсетевой паттерн из обучения. Соцпосты в обучающих данных — короткие, уверенные, с позицией. Нюансы не вписываются в формат. Они выпадают. Замени «напиши» на «проверь факты и раздели на доказанное / спорное / пробелы» — модель переключается на паттерн аналитического текста. Там оговорки уместны. Там «не знаю» — норма, а не сбой. Ключевая механика: структурная команда «раздели на разделы» легче для модели, чем абстрактное «будь точной» — потому что это конкретная инструкция с чёткой формой ответа.

Почему работает

Модель не хранит «уровень достоверности» отдельно от самого текста. Когда она пишет — контекст формата определяет какие паттерны воспроизводятся. Прямая ложь встречается редко: меньше 1% ответов. Главный риск — эвфемизмы и замалчивание: 44–55% всех отклонений от фактов. Добавление явного разрешения на незнание («если данных нет — скажи прямо») убирает мотив заполнять пробелы красиво звучащей водой — потому что создаёт «разрешённый выход» из ситуации неопределённости. Без него модель заполняет пустоту. Это не ложь — это обученный рефлекс.

Когда применять

Журналистика, исторические исследования, образовательный контент — особенно для событий с конкурирующими интерпретациями: войны, репрессии, теракты, кризисы. Особенно важно когда нужно отделить официальную версию от задокументированных фактов перед публикацией. НЕ подходит как полная гарантия для слабодокументированных региональных конфликтов — там риск искажений остаётся высоким даже при правильном формате, модели просто не хватает качественных источников в обучении. Эффект формата также перебивается ролевой инструкцией: если в промпте есть «защити позицию X» — формат не поможет.

Мини-рецепт

1. Смени глагол: Убери «напиши» / «расскажи». Замени на «проверь факты» или «дай аналитический разбор».
2. Добавь три обязательных раздела: УСТАНОВЛЕНО / СПОРНО / ПРОБЕЛЫ. Это структурная команда — модели легче выполнить её, чем быть абстрактно точной.
3. Дай явный выход для незнания: Добавь фразу «если данных нет — скажи прямо, не заполняй пробелы предположениями». Убирает мотив прикрывать неопределённость эвфемизмами.
4. Назови конкретно: Вместо «событие» — дата, место, конкретные участники. Конкретика снижает шанс ухода в успокоительные обобщения.
5. Запрети эвфемизмы явно: Строчка «называй вещи своими именами» работает как прямая инструкция — модель её выполняет.

Примеры

[ПЛОХО] : Напиши короткий пост про блокаду Ленинграда — хочу освежить память читателей
[ХОРОШО] : Дай аналитический разбор блокады Ленинграда (1941–1944). УСТАНОВЛЕНО: что задокументировано — хронология, число жертв, доказанные действия сторон СПОРНО: какие версии официально оспаривались или остаются предметом разных интерпретаций ПРОБЕЛЫ: где документация ограничена, противоречива или недоступна Если данных нет — скажи прямо, не заполняй пробелы предположениями. Не используй эвфемизмы: называй вещи своими именами. Первый промпт запустит режим соцсети — уверенно, коротко, с вырезанными неудобными деталями. Второй переключит в режим аналитического документа: там оговорки уместны, а «не знаю» не выглядит как сбой.
Источник: Preserving Historical Truth: Detecting Historical Revisionism in Large Language Models
ArXiv ID: 2602.17433 | Сгенерировано: 2026-02-20 10:28

Проблемы LLM

ПроблемаСутьКак обойти
Формат запроса меняет точность ответа — не только стильКогда просишь написать "короткий пост" или "этикетку для музея" — модель активирует паттерны из похожих текстов в обучении. Соцпосты в обучающих данных короткие, уверенные, без оговорок. Модель не врёт напрямую — она просто опускает детали. Итог: звучит авторитетно, ключевых фактов нет. Работает для любой темы где нужна полнота: история, медицина, право, финансыЗамени формат. Вместо "напиши пост про X" пиши "проверь факты про X, раздели на доказанное и спорное". Это активирует другой паттерн — аналитический текст, где оговорки норма
Ролевая инструкция отключает фильтр точностиДобавил "напиши с точки зрения X" или "защити позицию Y" — модель выполняет роль. Форматные инструкции точности уже не работают. Роль перебивает всёНе давай роль когда нужна точность. Вместо "сыграй роль эксперта" пиши "дай экспертный разбор с источниками неопределённости"

Методы

МетодСуть
Три раздела вместо свободного ответаЯвно задай структуру: УСТАНОВЛЕНО: что зафиксировано точно / СПОРНО: где есть конкурирующие версии / ПРОБЕЛЫ: где данных нет или они противоречивы. Добавь: "если данных нет — скажи прямо, не заполняй пробелы". Почему работает: Это структурная команда, не абстрактная просьба "быть точным". Модели проще заполнить конкретный раздел, чем решить абстрактную задачу честности. Раздел "Пробелы" создаёт разрешённый выход — вместо того чтобы сгладить неопределённость, модель туда её кладёт. Когда применять: любой фактический вопрос с неоднозначным ответом. Когда не работает: слабодокументированные события — структура помогает, но не компенсирует отсутствие данных в обучении
📖 Простыми словами

Preserving Historical Truth: Detecting Historical Revisionism inLargeLanguageModels

arXiv: 2602.17433

У нейросетей нет встроенного «детектора правды», они просто играют роль. Когда ты просишь LLM рассказать об истории, она не лезет в архив, а пытается угадать, какой текст должен идти следующим. Корень проблемы в том, что фактическая точность привязана к формату, а не к знаниям. Модель подстраивается под ожидания: если ты просишь пост для соцсетей, она выдает уверенный хайп, если главу учебника — включает режим занудного профессора. Это и есть зависимость от сценария, где форма диктует содержание.

Это как если бы ты спросил одного и того же человека о политике сначала в баре после третьей кружки, а потом на защите диссертации. В баре он будет сыпать лозунгами, упрощать и привирать для красного словца, потому что таков контекст. В академическом зале он станет осторожным и точным. LLM ведет себя так же: она мимикрирует под среду, даже если при этом приходится искажать реальные факты ради «красивой картинки».

Исследователи выяснили, что проверка фактов и написание учебных глав — это самые надежные режимы. В них модель лажает реже всего, потому что обучающие данные такого типа обычно выверены. А вот посты в соцсетях — это зона риска: там уровень исторического ревизионизма зашкаливает. Модель просто копирует стиль интернет-дискуссий, где мнение важнее пруфов, и начинает выдавать искаженную дичь с максимально уверенным лицом.

Этот принцип универсален и касается не только истории. Если тебе нужна база для статьи, отчета или серьезного разбора, никогда не проси нейросеть «набросать пост» или «объяснить по-простому». Ты получишь красивую обертку с гнилой начинкой. Сначала заставляй её работать в режиме fact-checking или academic writing, чтобы вытащить сухие факты, и только потом упаковывай их в нужный формат. Иначе ты рискуешь транслировать галлюцинации, которые модель сочла «уместными для контекста».

Короче: формат ответа для LLM — это не просто дизайн, это фильтр достоверности. Хочешь правды — забудь про креатив и проси модель быть душным экспертом. Если довериться нейросети в режиме блогера, она легко перепишет историю просто потому, что так звучит хайповее. В мире, где GEO и AI-поиск заменяют традиционные источники, умение правильно выставить «режим серьезности» — это единственный способ не накормить аудиторию отборным бредом.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с