TL;DR
Вместо того чтобы просить LLM оценить спорный аргумент целиком ("хороший он или плохой"), разбей оценку на конкретные измерения: насколько критика бьёт в центральную идею позиции, насколько сильно она её разрушает, содержит ли она фактические ошибки, насколько она понятна, сколько в ней лишнего и держится ли она одной темы. Такую оценку легче делать объективно, чем выносить общий вердикт "аргумент хороший/плохой".
Главная находка исследования пугающая: даже топовые модели (Opus 4.1, GPT-5) на спорных, неоднозначных вопросах — этике, философии сознания, политике — часто выдают вывод без глубокого размышления, хватаясь за первое впечатление. И что особенно удивительно: включение режима "размышления" (thinking/reasoning), которое обычно спасает модели на математике и коде, почти не помогает на таких вопросах — иногда даже вредит. Авторы предполагают: reasoning тренируют на задачах с проверяемым ответом, и этот навык не переносится на вопросы без единственно верного решения.
Метод решает проблему через контекст + разбивку: критику показывают вместе с полным текстом позиции (не в вакууме), а оценку просят дать по шести отдельным осям вместо одной холистической цифры. Такая структура заставляет модель рассуждать по частям, а не выносить интуитивный вердикт.
Схема метода
ШАГ 1: Дай модели позицию (тезис/аргумент) целиком → контекст
ШАГ 2: Дай критику этой позиции → объект оценки
ШАГ 3: Попроси оценить критику по 6 осям (0-1) с рассуждением перед каждой цифрой:
- Центральность
- Сила
- Корректность
- Ясность
- Лишний вес
- Фокус на одной проблеме
ШАГ 4: Попроси итоговую оценку = центральность × сила (с поправкой на остальные оси)
Всё выполняется в одном промпте.
Пример применения
Задача: Основатель стартапа получил на созвоне с инвестором жёсткий фидбек: "Ваш unit-экономика не сходится, а рынок вы описали слишком оптимистично". Хочется понять — это фатальная критика, которую нужно решать первой, или частность, о которой можно не переживать пока.
Промпт:
Вот позиция (питч стартапа):
{текст питча}
Вот критика от инвестора:
{текст фидбека}
Оцени эту критику по шкале 0–1 по каждому пункту, сначала распиши рассуждение,
потом дай цифру:
1. Центральность — насколько критика бьёт в ключевую идею питча,
а не в второстепенную деталь
2. Сила — насколько успешно критика разрушает атакуемую часть питча
3. Корректность — есть ли в критике фактические или логические ошибки
4. Ясность — насколько критика однозначна и понятна
5. Лишний вес — какая доля критики не относится к делу
6. Фокус — критика бьёт в одну проблему или сразу в несколько
В конце дай итоговую оценку веса критики = центральность × сила,
и одно предложение с рекомендацией: чинить это сейчас или можно подождать.
Результат: Модель распишет рассуждение по каждой из шести осей, поставит цифры 0-1 и в конце даст практический вывод — например, "критика центральная и сильная (0.8), исправлять первой" или "критика касается второстепенной детали (0.3), можно отложить".
Почему это работает
Когда модель просят оценить аргумент "в лоб" — просто "хороший или плохой" — она часто хватается за первое впечатление и выдаёт вывод без реального анализа. Особенно на спорных темах, где нет правильного ответа, модели сваливаются в интуитивный, поверхностный вердикт.
Зато модель хорошо умеет разбивать сложную задачу на более узкие, "измеримые" вопросы. Ей легче честно ответить "эта критика бьёт в центральную часть аргумента" или "эта критика содержит логическую ошибку", чем сразу вынести целостный вердикт "аргумент сильный".
Метод использует эту разбивку плюс контекст (полный текст позиции, а не критика в вакууме), чтобы заставить модель рассуждать по частям вместо выдачи интуитивного ответа.
Рычаги управления: - Оси оценки можно менять под свою задачу — вместо "ясность" добавь "релевантность аудитории", вместо "лишний вес" — "экономическая обоснованность" - Явная просьба "распиши рассуждение перед цифрой" работает лучше, чем включение режима "thinking" у модели — для спорных, неформализуемых вопросов reasoning-режим почти не даёт эффекта - Если критик — несколько человек (например, фидбек от разных инвесторов), можно сравнить их критику по одним осям и увидеть, кто указал на более центральную проблему
Шаблон промпта
Вот позиция (тезис/аргумент), который нужно оценить в контексте критики:
{позиция}
Вот критика этой позиции:
{критика}
Оцени критику по каждому пункту от 0 до 1. Сначала распиши короткое рассуждение,
потом поставь цифру:
1. Центральность — критика бьёт в ключевую идею позиции или в второстепенную деталь?
2. Сила — насколько успешно критика разрушает атакуемую часть позиции?
3. Корректность — есть ли в критике фактические или логические ошибки?
4. Ясность — насколько критика однозначна после внимательного чтения?
5. Лишний вес — какая доля критики не относится напрямую к делу?
6. Фокус на одной проблеме — критика атакует одну проблему или сразу несколько?
В конце дай итоговую оценку = центральность × сила, с поправкой на остальные оси,
и одну рекомендацию: что делать с этой критикой.
Подставляй в {позиция} — исходный тезис или план, в {критика} — возражение, фидбек или контраргумент, который нужно оценить.
🚀 Быстрый старт — вставь в чат:
Вот шаблон рубрики для оценки аргументов и критики. Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, какая у тебя позиция и какая критика, а также — нужны ли дополнительные оси оценки под твою тему (например, для юридического спора или маркетингового брифа) — потому что метод работает через контекст конкретной позиции и её критики, а не абстрактно.
Ограничения
⚠️ Субъективность остаётся: даже с разбивкой на оси, оценка спорных вопросов (этика, стратегия без данных) сохраняет элемент личного мнения оценщика — рубрика снижает субъективность, но не убирает её полностью.
⚠️ Режим "размышления" не спасает: если задача концептуальная (без проверяемого ответа), включение thinking-режима у модели почти не улучшает качество оценки. Лучше явно просить рассуждение по каждой оси в самом промпте, а не надеяться на встроенный reasoning.
⚠️ Нужен контекст: метод работает хуже, если критику показывать в изоляции, без полного текста позиции. Модель должна видеть, что именно критикуется.
Как исследовали
Исследователи собрали 951 оценённую критику на 442 философских и около-философских позициях — темы от этики и философии сознания до AI safety и теории голосования. Тексты позиций брали из книг, форумов, курсовых работ и частично писали сами (иногда с помощью LLM). Несколько экспертов вручную оценивали каждую критику по шести осям рубрики вслепую — не зная источника текста, чтобы не поддаваться предвзятости "это написала модель — значит слабое".
Затем прогнали топовые модели (GPT-5, Claude Opus 4.1, o3-pro, Gemini 2.5) с простым промптом без примеров и посчитали, насколько их оценки расходятся с оценками экспертов. Рейтинг моделей совпал с общим ощущением их силы — новые версии лучше старых, топовые тиры лучше младших. Но неожиданно: включение режима "thinking" почти не изменило результат — иногда даже немного ухудшило. Авторы объясняют это тем, что reasoning-тренировка заточена под задачи с проверяемым ответом (математика, код), и этот навык плохо переносится на вопросы без единственно верного решения.