Retrieved but Not Read: модели с поиском отвечают по сниппетам и не открывают страницы

Это не единый метод. Исследование даёт набор проверенных правил, вот что из них следует:

ПРАВИЛО 1: Дай модели текущую дату в запросе
ПРАВИЛО 2: Положи текст источника в сам запрос (вставь страницу) → почти нет устаревших ответов
ПРАВИЛО 3: Если страницу ищет модель → требуй открыть её и дословно процитировать строку со значением
ПРАВИЛО 4: В цикле поиска повторяй исходный вопрос после каждой открытой страницы → возвращает ~четверть провалов
ПРАВИЛО 5: Задай финальную строку ответа с вариантом «НЕ МОГУ ПОДТВЕРДИТЬ»

Всё это можно сделать в одном чате или в инструкции агенту. Правила 1 и 5 были частью промптов в самом исследовании. Правила 2 и 4 проверены отдельными экспериментами. Правило 3 («открой и процитируй») авторы напрямую не проверяли. Оно следует из связи между чтением страницы и качеством ответа, но это вывод по корреляции.

Задача: Маркетолог финтех-стартапа готовит питч для инвесторов. В слайде стоит фраза «Ключевая ставка ЦБ — 21%». Нужно быстро проверить, не устарела ли она, и не получить уверенное «да» по сниппету.

Промпт:

Сегодня {дата}. Проверь утверждение:
«Ключевая ставка Банка России — 21%».

Правила проверки:
1. Найди первичный источник (сайт cbr.ru или официальное решение Совета директоров).
2. ОБЯЗАТЕЛЬНО открой страницу источника, не отвечай по фрагментам из выдачи.
3. Процитируй дословно строку со значением и датой решения.
4. Если страницу открыть не удалось или дата решения старше последнего заседания — не подтверждай утверждение.
5. Перед выводом вернись к исходному вопросу: «верно ли утверждение на {дата}?» и сверь с цитатой.

Последняя строка ответа строго одна из трёх:
FINAL: ВЕРНО
FINAL: НЕВЕРНО (актуальное значение: ...)
FINAL: НЕ МОГУ ПОДТВЕРДИТЬ

Результат: Модель сначала запустит поиск и откроет страницу источника (если у неё есть такой инструмент). Затем приведёт дословную цитату со значением и датой и сверит её с датой «сегодня». В конце будет одна из трёх строк FINAL. Если страницу открыть не получилось, должен прийти честный отказ «НЕ МОГУ ПОДТВЕРДИТЬ», а не уверенное «верно». Цитату нужно проверить глазами: открыть ссылку и убедиться, что строка там есть.

Слабость. Модель экономит шаги. Сниппет выглядит как готовый ответ, и модель останавливается. Если в сниппете или в её памяти лежит старое значение, она подтверждает его. Исследователи заглянули внутрь моделей и увидели странную вещь. Даже когда страница в запросе, правильный ответ в середине вычислений получает преимущество, но на последних слоях старый ответ его обгоняет. Новое значение «замечено», но старое не вытеснено.

Сильная сторона. Если текст источника находится прямо перед глазами, в самом запросе, модель использует его намного надёжнее. Она не тратит усилие на поиск и открытие страницы. В эксперименте две модели подтверждали устаревшее утверждение 14 из 50 и 11 из 47 раз, когда страницу нужно было найти самим. Когда та же страница лежала в запросе, ошибок стало 0 из 50 и 1 из 50.

Как это использует практик. Вы убираете те шаги, на которых модель ленится: сами кладёте страницу в запрос или заставляете открыть её и процитировать. Повтор вопроса после страницы решает другую проблему. В агентном цикле вопрос стоит в самом начале, а после него идёт много текста страниц, и вопрос «забывается». Повтор возвращает его в конец.

Рычаги управления: - Дата в запросе → модель понимает, что значение могло измениться после обучения. - Вариант «НЕ МОГУ ПОДТВЕРДИТЬ» → даёт модели законный выход вместо угадывания. В проверке авторов формат с фиксированной строкой ответа снизил ложное согласие у проприетарной модели на 17.5 пункта. - Требование дословной цитаты → вы быстро проверяете её вручную. Неверные цитаты почти всегда сопровождали устаревшие ответы (81.8% против 0.9%). - Вставка страницы вручную → самый сильный рычаг, когда факт критичен.

Сегодня {дата}. {Вопрос или утверждение для проверки}.

Источник (если он у меня есть):

{текст страницы или вставка из документа}


Правила:
1. Опирайся на источник выше. Если источника нет, найди первичный источник ({тип источника}) и ОБЯЗАТЕЛЬНО открой страницу. Не отвечай только по фрагментам из выдачи.
2. Процитируй дословно строку, на которой основан ответ, и дату публикации страницы.
3. Если дата источника старше {порог_свежести}, предупреди, что данные могут быть устаревшими.
4. Перед финальным ответом вернись к исходному вопросу: «{короткая формулировка вопроса}» — и сверь ответ с цитатой.
5. Если проверить не удалось, не угадывай.

Последняя строка ответа строго:
FINAL: {вариант_1} / {вариант_2} / НЕ МОГУ ПОДТВЕРДИТЬ

Что подставлять: - {дата} — сегодняшняя дата. - {тип источника} — например, «сайт ЦБ», «официальный сайт компании», «реестр ФНС». - {порог_свежести} — например, «3 месяца». - {вариант_1}/{вариант_2} — например, ВЕРНО / НЕВЕРНО.

Если источника у вас нет, удалите блок . Если он есть, вставляйте текст в запрос.

⚠️ Правило «открой страницу» напрямую не проверено: авторы показали, что ответы без открытия страницы чаще ошибочны, но это связь, а не эксперимент с вмешательством. Требование открыть и процитировать — логичный вывод, но не измеренный результат. Проверьте его на своих задачах.

⚠️ Вставка страницы не лечит всё: ошибки снижаются, но не исчезают. В механистической части даже при странице в запросе часть моделей продолжала выбирать старое значение. Критичные факты всё равно перепроверяйте глазами.

⚠️ Повтор вопроса — частичное средство: он вернул примерно четверть провальных проверок, разброс по моделям огромный (от единиц процентов до больше половины). Это добавка, а не решение.

⚠️ Узкий класс фактов: проверяли факты вида «значение изменилось после обучения модели» (клуб игрока, должность, ставка, нормы). Самые тяжёлые провалы были в спорте, где ответ лежит в первой строке страницы. Для длинных документов вроде инструкций к лекарствам вывод может быть другим.

⚠️ Одна проприетарная модель: в живом поиске тестировали одну лёгкую модель, остальные модели открытые и работали в контролируемом поиске. У флагманских моделей поведение может отличаться.

⚠️ Часть статьи для практика бесполезна: анализ слоёв (logit lens, J-lens) требует доступа к внутренностям модели. Он объясняет, почему так происходит, но не даёт инструмента.

Идея была простой: найти факты, которые изменились после даты обучения модели, чтобы модель не могла знать их из памяти. Авторы собрали 225 таких фактов из спорта, финансов, медицины (FDA), SEC и других областей. У каждого есть старое и новое значение, поэтому устаревший ответ легко отличить от верного.

Сначала они проверили живой поиск у одной проприетарной модели: в 53.6% эпизодов она отвечала по сниппетам без открытия страницы. Затем всем моделям (одна проприетарная и шесть открытых конфигураций) дали одинаковый замороженный список из десяти результатов, где нужная страница всегда была доступна. Так провалы нельзя списать на плохую выдачу. Доля ответов без открытия страницы сильно различалась: от 2.6% у gpt-oss-120b до 76% у qwen3-8b.

Главное сравнение: ответ по сниппету против ответа с открытой и процитированной страницей. Устаревших ответов 6.4% против 1.3%, а неверных цитат 6.4% против 2.3%. В спорте у открытых моделей разрыв составлял 20.2% против 2.1%. Неверные цитаты почти всегда сопровождали устаревший ответ: 81.8% против 0.9%.

Затем проверили вмешательства. Когда страницу положили прямо в запрос, ошибки почти исчезли (у gemma-4-31b с 14/50 до 0/50). Повтор вопроса после каждой страницы вернул 41 из 157 проваленных проверок. Анализ слоёв показал, что модель «узнаёт» новое значение, но старое побеждает на последнем шаге. Удивило именно это: чтение доказательства не гарантирует его использование.

🔧 Техника: убрать вариант «НЕ МОГУ ПОДТВЕРДИТЬ» → увидеть, где модель угадывает

Если вы тестируете модель на своих фактах (а не доверяете ей), попросите дать ответ без права отказа. Сравните его с ответом, где отказ разрешён. Расхождения покажут факты, где модель уверена без оснований.

🔧 Техника: дословная цитата → второй чат проверяет только цитату

Откройте новый чат и дайте ему только страницу и цитату из первого ответа с вопросом: «Есть ли эта строка на странице и подтверждает ли она значение {X}?» Исследователи показали, что неверные цитаты сильно связаны с устаревшими ответами. Это идея экстраполяции, сама перекрёстная проверка в статье не тестировалась.

Для файла инструкций агента (CLAUDE.md, AGENTS.md, системный промпт):

При проверке фактов, которые могут меняться (должности, цены, ставки, версии, нормы):
- Не отвечай по сниппетам из выдачи. Открой страницу источника.
- Процитируй дословно строку со значением и датой.
- После каждой открытой страницы повтори себе исходный вопрос и сверь ответ.
- Если страницу открыть не удалось, пиши «не подтверждено», а не «вероятно, да».

Это адаптация выводов статьи к инструкции агента. Эффект именно такой формулировки авторы не измеряли, но она строится на тех же двух проверенных механизмах: чтении страницы и повторе вопроса.

• Работа: Retrieved but Not Read: Understanding Why Search-Augmented LLMs Fail to Use Available Evidence
• Авторы: Owen Walters, Lihu Chen, Francesca Toni, Department of Computing, Imperial College London
• Код и данные: github.com/ojwwalters/retrieved-but-not-read
• Связанные работы: Wallat et al. 2025 (корректность цитат и верность источнику), Kale 2026 (внутренний веб-поиск современных LLM), Xie et al. 2024 (конфликт между памятью модели и внешними данными)