TL;DR
Если просишь ChatGPT или Claude с доступом к поиску проверить список литературы на фейковые ссылки, модель обычно бракует статью как выдуманную, если хотя бы один источник её не нашёл — даже когда два других источника её подтверждают. Модель ведёт себя как человек, который поверил первому "нет" и не стал спрашивать дальше.
Исследователи протестировали десятки ИИ-инструментов на проверку научных ссылок и нашли закономерность: точность верификатора определяет не то, сколько фейков он ловит, а то, сколько настоящих статей он ошибочно записывает в фейки. Агентные модели с доступом к поиску (CrossRef, OpenAlex, arXiv) ловят больше подделок, но параллельно заваливают реальные статьи ложными обвинениями — в 5 раз чаще, чем простой инструмент без ИИ. Причина проста: у баз данных неполное покрытие, отсутствие статьи в одной из них — это норма, а не доказательство подделки. Плюс большинство моделей путают "я не видела эту статью при обучении" с "эта статья не существует" — и массово бракуют свежие публикации.
Решение, которое исследователи заложили в свой собственный верификатор: флагать ссылку как подозрительную только при консенсусе — когда её не подтвердил ни один из проверенных источников, а не при первом же провале поиска. С таким правилом инструмент почти не даёт ложных срабатываний и при этом ловит почти все фейки.
Схема метода
ШАГ 1: Дать модели список литературы + доступ к поиску → одна инструкция в промпте
ШАГ 2: Правило вердикта: "фейк" только при отсутствии ВО ВСЕХ источниках, не в одном
ШАГ 3: Явно указать не путать "нет в обучении" с "не существует" (для свежих статей)
ШАГ 4: Промежуточные случаи → метка "требует проверки человеком", не жёсткий вердикт
Все шаги укладываются в один промпт — без отдельных запросов.
Пример применения
Задача: Вы готовили обзор литературы или диплом с помощью ChatGPT, и он нагенерировал список источников. Хотите прогнать список через ИИ с доступом к интернету и проверить, какие ссылки реальные.
Промпт:
Проверь список литературы ниже на достоверность, используя доступный тебе поиск в интернете.
Правила вердикта:
1. Помечай ссылку как [ФЕЙК] только если она отсутствует ВО ВСЕХ источниках,
которые ты проверила (Google Scholar, DOI.org, CrossRef, arXiv, Semantic Scholar).
2. Если хотя бы один источник подтверждает существование ссылки — считай её
[ПОДТВЕРЖДЕНО], даже если другие источники её не нашли. У баз данных
неполное покрытие, это нормально.
3. Если название или авторы почти совпадают с реальной статьёй, но есть
небольшие отличия — ставь [ТРЕБУЕТ ПРОВЕРКИ], не окончательный фейк.
4. Не считай ссылку фейком только потому, что статья вышла позже твоей даты
обучения. Если у неё есть корректный DOI, авторы и место публикации —
доверяй этим данным.
Список литературы:
{список_ссылок}
Для каждой ссылки дай вердикт [ПОДТВЕРЖДЕНО] / [ТРЕБУЕТ ПРОВЕРКИ] / [ФЕЙК]
и короткое объяснение.
Результат: Модель пройдёт по каждой ссылке, попробует найти её через доступные инструменты поиска и вместо резкого "это фейк" после первой неудачи выдаст взвешенный вердикт с тремя категориями. Число ложных обвинений реальных, но малоизвестных или свежих статей заметно упадёт.
Почему это работает
Модель, которую просят "проверь и реши", склонна принимать решение по первому же отрицательному сигналу — это похоже на то, как человек делает вывод после одного "нет", не дойдя до второго мнения. Это не баг конкретной модели, а поведение, которое возникает из самой формулировки задачи "cross-reference and decide" — искать и сразу выносить вердикт.
Зато модель отлично исполняет явные условные правила, если их сформулировать как чёткий критерий, а не как общую просьбу "быть внимательнее". Замена implicit-логики ("проверь и решай") на explicit-правило консенсуса убирает пространство для поспешных выводов.
Рычаги управления: - Требование консенсуса можно ослабить до "минимум 2 из 3 источников не находят" — баланс между скоростью и строгостью. - Явное упоминание даты обучения модели в промпте — обязательно, если проверяете свежие материалы. - Категория "требует проверки человеком" вместо жёсткого да/нет — снижает риск ложных обвинений, но добавляет ручной труд.
Шаблон промпта
Проверь список литературы на достоверность, используя доступный тебе поиск.
Правила:
1. [ФЕЙК] — только если запись отсутствует ВО ВСЕХ источниках одновременно.
2. [ПОДТВЕРЖДЕНО] — если хотя бы один надёжный источник её нашёл.
3. [ТРЕБУЕТ ПРОВЕРКИ] — если название/авторы почти совпадают с реальной
работой, но есть отличия.
4. Не помечай статью как фейк только из-за того, что она опубликована
позже твоей даты обучения — если метаданные (DOI, авторы, место
публикации) выглядят корректно, доверяй им.
Список: {список_ссылок}
Формат ответа: для каждой ссылки — вердикт и короткое обоснование.
Подставь свой список ссылок в {список_ссылок}.
Ограничения
⚠️ Требует реального доступа к поиску: правило консенсуса работает только если модель может реально искать в интернете (веб-поиск, инструменты). В обычном чате без поиска модель просто угадывает по своим знаниям — эффект слабее.
⚠️ Не спасает от хитрых подделок: название, отличающееся на 1-2 слова от настоящей статьи, или реальные авторы с выдуманным заголовком — такие случаи требуют смысловой проверки, а не просто поиска по базе. Правило консенсуса снижает ложные обвинения, но не увеличивает точность распознавания тонких фальсификаций.
⚠️ Ограничение поиска ≠ несуществование: если у модели реально плохой доступ к интернету, консенсус по недоступным источникам не поможет — она просто не найдёт ничего ни в одном из них.
Как исследовали
Исследователи собрали 2526 записей библиографии — часть настоящие, часть искусственно "испорченные" 14 разными способами: от нерабочих DOI до почти неотличимых от настоящих подделок. Прогнали через 13 разных инструментов: простой DOI-резолвер, топовые LLM (GPT-5, Claude, Gemini, DeepSeek) в обычном режиме и в агентном — с доступом к поиску по базам данных.
Выяснилось, что доступ к поиску повышает долю найденных фейков, но резко увеличивает число ложных обвинений реальных статей — потому что модель настроена флагать запись при первом же "источник не нашёл", хотя у CrossRef, OpenAlex и arXiv неполное покрытие, и это нормально. Отдельно проверили, как модели реагируют на статьи, вышедшие после даты их обучения: почти все резко переоценивают такие статьи как подозрительные, кроме двух моделей с самой свежей датой обучения — что подтверждает: проблема именно в путанице "не знаю" и "не существует".
Ресурсы
HALLMARK benchmark, GitHub: rpatrik96/hallmark, rpatrik96/bibtexupdater. Авторы: Patrik Reizinger, Wieland Brendel — Max Planck Institute for Intelligent Systems, ELLIS Institute Tübingen.