TL;DR
Когда LLM-агент получает ответ от внешнего инструмента (поиска, модели, калькулятора), он практически перестаёт думать самостоятельно: в 97–99% случаев просто повторяет то, что выдал инструмент. Исследователи назвали это явление GNN-Parrot («попугай») — агент не взвешивает инструментальный ответ как одну из улик, а слепо принимает его как истину. При этом самостоятельные рассуждения агента совпадают с финальным ответом лишь в 17–37% случаев: инструмент буквально затыкает собственное мышление модели.
Главный контринтуитивный инсайт: более способные модели слепее, а не критичнее. Ожидаешь, что умная модель будет проверять инструмент — она делает ровно наоборот. Слабая модель (1.5B) соглашалась с инструментом в 60% случаев, сильная (7B) — в 98%. При этом сильная модель теряет больше, потому что у неё было больше хороших альтернатив — и она ни одну не использовала.
Проблема не в самом инструменте — инструмент может ошибаться. Проблема в том, что агент не проверяет даже сигналы, специально созданные для обнаружения ошибок: при наличии шести возможных вызовов инструмента 83% агентов делали ровно один — читали ответ и останавливались. Простой шлюз, который должен был отфильтровывать плохие случаи, отыгрывал лишь половину потерь в хороших условиях и ухудшал результат в плохих.
Схема явления
ВХОДНЫЕ ДАННЫЕ: вопрос → агент вызывает инструмент
ОЖИДАЕМОЕ ПОВЕДЕНИЕ:
инструмент → ответ → агент взвешивает → собственный вывод
РЕАЛЬНОЕ ПОВЕДЕНИЕ (GNN-Parrot):
инструмент → ответ → агент копирует → финал = ответ инструмента
(собственные рассуждения: отключены)
ЦЕНА: агент упускает лучшие альтернативы,
которые сам же умеет использовать
Один запрос. Один вызов инструмента. Собственное мышление — выключено.
Пример применения
Задача: Ты готовишь питч для инвестора и просишь Claude проанализировать твой рынок. Вставляешь данные из отчёта «Яндекс Маркет Аналитика» о том, что рынок вырастет на 40% — и просишь сделать вывод.
Что происходит (без осознания проблемы):
Промпт:
"Вот данные из отчёта Яндекс Маркет Аналитика: [вставил отчёт].
Сделай вывод — стоит ли входить в этот рынок?"
Модель видит авторитетный источник → принимает данные как истину → даёт вывод на основе отчёта, не проверяя его логику, методологию или альтернативные интерпретации.
Что делать вместо этого:
Промпт:
"Вот данные из отчёта Яндекс Маркет Аналитика: [вставил отчёт].
Я хочу проверить эти данные критически, а не просто принять.
Сделай три вещи:
1. СКЕПТИК: Найди 3 причины, почему этим данным не стоит доверять.
Что может искажать прогнозы? Какие допущения скрыты?
2. АЛЬТЕРНАТИВНЫЙ СЦЕНАРИЙ: Что произойдёт, если реальный рост
окажется в 2 раза ниже прогнозного? Как это меняет решение?
3. ЧТО ПРОВЕРИТЬ ДОПОЛНИТЕЛЬНО: Какие данные опровергли бы
или подтвердили прогноз? Где их искать?
Свой вывод о рынке дай только после этого анализа."
Результат: Модель пройдёт три шага и в каждом будет вынуждена рассуждать самостоятельно, а не повторять источник. Финальный вывод не будет просто эхом отчёта. Ты получишь реальный анализ, а не красиво оформленный пересказ.
Почему это работает (и почему дефолтное поведение — попугай)
Слабость LLM: Модель не умеет хорошо калибровать доверие к источникам в контексте. Когда в тексте появляется что-то, структурно похожее на «ответ» — конкретная цифра, вывод от системы, метка с уверенностью — модель воспринимает это как разрешение не думать дальше. Авторитетно выглядящий фрагмент затыкает рассуждения.
Сильная сторона LLM: Модель отлично рассуждает, когда её явно просят не соглашаться, искать противоречия, считать источник «одной из версий» а не «ответом». Она может критиковать, строить альтернативы, находить слабые места — но только если это запрошено явно.
Как обойти слепое доверие: Переформатировать роль источника в промпте. Вместо «вот данные → сделай вывод» — «вот данные как сырьё для критики → сначала найди слабые места → потом вывод». Явный шаг скептицизма разрывает рефлекс попугая.
Рычаги управления: - Роль «скептика» в промпте → модель генерирует критику, а не подтверждение - Явный запрет на прямое цитирование («не пересказывай, а оцени») - Сценарий ошибки («что если источник ошибается?») → вынуждает альтернативное мышление - Разделение на шаги — сначала критика, потом вывод → нельзя проскочить мимо анализа
Шаблон промпта
Вот {источник данных / результат / рекомендация}:
[{вставь данные}]
Прежде чем делать выводы — проведи критический разбор в три шага:
ШАГ 1 — СКЕПТИК:
Найди {число} причин, почему этим данным не стоит полностью доверять.
Какие допущения скрыты? Где возможна ошибка или искажение?
ШАГ 2 — АЛЬТЕРНАТИВА:
Предложи {число} альтернативных интерпретаций тех же данных.
Что изменится, если реальность окажется на {X}% хуже прогноза?
ШАГ 3 — ПРОВЕРКА:
Какие дополнительные данные подтвердили бы или опровергли этот источник?
ВЫВОД:
Только после трёх шагов выше — дай свой вывод по вопросу: {твой вопрос}.
Вывод должен учитывать найденные риски, а не просто повторять источник.
Плейсхолдеры:
- {источник данных} — что именно вставляешь (отчёт, статью, результат расчёта, рекомендацию)
- {число} — сколько пунктов хочешь (3–5 для обычных задач, 5–7 для критичных решений)
- {X} — процент отклонения для стресс-теста (20–50% в зависимости от риска)
- {твой вопрос} — конкретный вопрос, на который хочешь ответ
🚀 Быстрый старт — вставь в чат:
Вот шаблон для критического анализа источников без слепого доверия.
Адаптируй под мою задачу: [опиши свою ситуацию].
Задай уточняющие вопросы, если нужно.
[вставить шаблон выше]
LLM уточнит что за источник, какой вопрос ты решаешь и насколько критично решение — потому что от этого зависит глубина скептического анализа.
Почему важно знать об этом
Один из самых распространённых сценариев в работе с LLM — вставить документ, отчёт, результат поиска и попросить сделать вывод. Большинство пользователей думают, что получают «анализ». На самом деле — чаще всего красиво оформленный пересказ источника.
Это не баг только слабых моделей. Это становится хуже с ростом способностей модели — потому что более сильная модель точнее «слышит» авторитет источника и точнее его воспроизводит.
Практическое следствие: если ты хочешь, чтобы модель согласилась с источником — просто вставь и попроси вывод. Но если ты хочешь настоящей проверки — явно запроси скептицизм, иначе его не будет.
Ограничения
⚠️ Не серебряная пуля: Шаблон заставляет модель симулировать скептицизм, но не гарантирует, что она найдёт реальные ошибки в источнике. Если у неё нет знания для критики — она может генерировать формальные возражения без содержания.
⚠️ Зависимость от модели: Эффект попугая максимален в моделях семейства Qwen. В Mistral и OLMo частичное доверие инструменту (53–60%), не полное. Конкретные цифры не переносятся — но направление эффекта воспроизводится везде.
⚠️ Нет надёжного автоматического решения: Исследователи пробовали «умный шлюз», который должен сам решать когда доверять инструменту. Он улучшал результат в одних случаях и ухудшал в других. Глобального выигрыша нет. Это значит: программировать критичность в промпт придётся вручную под свою задачу.
⚠️ Направление, а не рецепт: Исследование — измерение проблемы, не готовый инструмент её решения. Промпт-шаблон выше — экстраполяция принципов на пользовательские задачи, не прямой результат статьи.
Как исследовали
Исследователи взяли заморозили GNN (нейросеть для графов), обернули её как инструмент и передали LLM-агенту на основе ReAct — популярной архитектуры, где агент рассуждает и вызывает инструменты по очереди. Инструмент возвращал три сигнала: предсказанный класс с уверенностью, аномальный счёт (флаг «я, возможно, ошибаюсь»), вероятности связей с соседями. У агента был бюджет на шесть вызовов — но в 83% случаев он делал один.
Проверяли на академической графовой базе ogbn-arxiv (169 тысяч узлов, цитирования статей) и повторили на WikiCS (статьи Википедии). Сравнивали четыре режима: агент с GNN, агент с простым навигационным инструментом, только GNN, агент вообще без инструментов. Главная метрика — насколько часто агент+инструмент даёт тот же ответ, что сырая GNN (без агента). Ответ оказался: в 97–99% случаев.
Самое интересное — эксперимент с несколькими моделями разного размера. При 0.5B модель вообще не умеет пользоваться инструментом. При 1.5B — соглашается с GNN в 60% случаев. При 3B и 7B — в 97–98%. То есть рост способностей усиливает слепое доверие, а не критичность. Это прямо противоречит интуиции о том, что умные модели лучше взвешивают источники. Механизм исследователи не установили — это открытый вопрос — но эффект воспроизвёлся на двух датасетах и трёх семействах моделей.
Адаптации
🔧 Техника: «Прокурор и защитник» → острее выявляет противоречия в источнике
Вместо одной роли скептика — дай две конфликтующие роли. Прокурор ищет где источник ошибается, защитник отвечает на каждый аргумент. Лучше работает для спорных данных или когда ставки высоки.
Вот данные: [{источник}]
Роль 1 — ПРОКУРОР: найди 3 причины почему данным нельзя доверять.
Роль 2 — ЗАЩИТНИК: ответь на каждый аргумент прокурора.
СУДЬЯ (твой финальный вывод): взвесь оба мнения.
Дай вывод по вопросу: {вопрос}.
🔧 Экстраполяция: «Принцип слепого доверия» → применимо к любому контексту с авторитетом
Исследование про GNN-инструменты, но принцип универсален: любой фрагмент в контексте, который структурно выглядит как «ответ» (результат расчёта, цитата эксперта, вывод системы), вызывает тот же рефлекс. Применяй шаблон всегда когда вставляешь «авторитетный» источник и хочешь реальный анализ, а не пересказ.
Ресурсы
Работа: When the Tool Decides: LLM Agents Defer Blindly to Graph Neural Network Tools, and Stronger Backbones Defer More
Авторы: Zhongyuan Wang, Pratyusha Vemuri — raptorX.ai
Датасеты: ogbn-arxiv, WikiCS
Связанные работы из статьи:
- Cheng et al. (2026) — конфликт инструмент vs. собственная память LLM
- Zhang et al. (2026) — «налог на использование инструмента» (tool-use tax)
- Wang et al. (2026) — позиция: инструменты только когда эпистемически необходимо (arxiv.org/abs/2506.00886)