3,583 papers
arXiv:2603.04982 74 5 мар. 2026 г. FREE

«Иметь доступ» ≠ «уметь пользоваться»: три техники, которые делают ChatGPT полезным для сложных задач

КЛЮЧЕВАЯ СУТЬ
Парадокс: студенты с доступом к DeepSeek без обучения сдали юридический экзамен хуже, чем те, кто работал вообще без AI. Десять минут видео с тремя техниками — и отрыв исчез, оценка выросла на треть балла. Метод позволяет использовать LLM для сложного анализа — вместо того чтобы получать гладкий текст ни о чём и либо слепо ему верить, либо разочаровываться. Фишка: вместо одного вопроса в лоб — диалог с итерациями. Повторяешь вопрос с разных сторон, дробишь задачу на шаги, даёшь конкретный фидбэк — модель из автора готовых ответов превращается в партнёра по анализу.
Адаптировать под запрос

TL;DR

Студенты с доступом к DeepSeek без обучения выступили хуже, чем те, кто работал вообще без ИИ. Те же студенты, кто перед экзаменом посмотрел 10-минутное видео с тремя конкретными приёмами, подняли оценку на треть балла. Разрыв — не в качестве модели, а в том, как человек с ней работает.

Главная находка: доступ к ИИ без понимания как им пользоваться создаёт иллюзию инструмента. Человек открывает чат, задаёт вопрос в лоб, получает гладкий текст — и либо слепо верит, либо разочаровывается. В обоих случаях результат хуже, чем без ИИ вообще. Проблема не в модели — в отсутствии рабочей модели взаимодействия.

Три техники из обучающего видео снимают этот эффект: повторять промпт несколько раз для разных углов зрения, разбивать задачу на шаги, давать обратную связь и уточнять. Плюс ключевой сдвиг в голове: воспринимать ИИ как генератор направлений для мышления, а не как генератор готовых ответов.


🔬

Схема метода

Три приёма, которым учило видео — можно применять в любом порядке или сочетать:

ПРИЁМ 1: Повтор промпта с разных сторон
  → Задай один вопрос несколько раз с разными акцентами
  → Получаешь разные углы зрения, не один «уверенный» ответ

ПРИЁМ 2: Разбивка на шаги (Chain-of-Thought)
  → Не спрашивай сразу итог — веди модель через промежуточные шаги
  → Каждый шаг проверяем отдельно, ошибки видны раньше

ПРИЁМ 3: Двусторонняя обратная связь
  → Даёшь и положительный, и отрицательный фидбэк на ответ
  → Модель уточняет, а не просто переформулирует

УСТАНОВКА: ИИ = источник идей, не источник ответов
  → Проси направления и гипотезы, не финальный текст
  → Всё проверяй: факты, выводы, ссылки

Все шаги — в одном диалоге, последовательно.


🚀

Пример применения

Задача: Ты — менеджер продукта в EdTech-стартапе. Нужно решить: запускать ли платную подписку вместо разовых платежей. Задача нетривиальная — зависит от аудитории, юнит-экономики, конкурентов.

Промпт:

Я менеджер продукта в EdTech. Мы продаём курсы разово, думаем перейти на подписку.

Шаг 1: Перечисли 5 главных рисков перехода на подписную модель для EdTech с чеком 3 000–5 000 ₽.

(После ответа):

Шаг 2: Теперь перечисли 5 главных выгод перехода — с противоположной стороны.

(После ответа):

Шаг 3: Что из рисков выше ты считаешь недооценённым? Почему? 
Что из выгод — переоценённым?

(После ответа):

Хорошо. Один из рисков описан неточно — удержание аудитории в подписке 
сложнее, чем ты написал, потому что в EdTech человек «заканчивает учиться» 
после курса. Скорректируй анализ с учётом этого.

Результат:

Первые два шага дадут структурированный список аргументов с обеих сторон — без единого «уверенного» итога. Третий шаг заставит модель проранжировать по важности. Финальный фидбэк покажет, умеет ли модель обновлять позицию или просто соглашается — это важный индикатор качества её рассуждений по твоей теме. Получишь материал для принятия решения, а не готовый ответ «переходи / не переходи».


🧠

Почему это работает

LLM хорошо генерирует правдоподобный текст, но плохо знает, насколько он точен. При вопросе «в лоб» модель выдаёт один уверенный сценарий — тот, что статистически вероятнее в её обучающих данных. Это опасно для сложных задач, где «средний ответ» может быть неверным именно в твоём контексте.

Повтор промпта разрушает иллюзию одного правильного ответа. Разные формулировки дают разные акценты — ты видишь, что модель не «знает» ответ, а подбирает паттерн. Это переключает тебя из режима «читаю вывод» в режим «анализирую материал».

Разбивка на шаги и обратная связь используют то, в чём LLM действительно сильна: она хорошо корректирует и уточняет в диалоге. Вместо монолога получается рабочая сессия с помощником, каждый шаг которой можно остановить и проверить.

Рычаги управления: - Количество повторов → чем сложнее задача, тем больше итераций. Для простых — одна итерация. - Детальность шагов → чем уже шаг, тем легче поймать ошибку. Дроби агрессивнее. - Характер фидбэка → добавь конкретику («ты упустил X») вместо общего «неточно» — ответ будет точнее. - Финальная инструкция → «дай только направления, не вывод» — снижает риск слепого доверия результату.


📋

Шаблон промпта

Я {роль}. Задача: {описание сложной задачи}.

Шаг 1: Перечисли {число} главных {рисков / проблем / аргументов против} с учётом {ключевой контекст}.

Шаг 2: Теперь перечисли {число} {выгод / аргументов за / возможностей} — с противоположной стороны.

Шаг 3: Что из {рисков / проблем} считаешь недооценённым? 
Что из {выгод / возможностей} — переоценённым?

{Сформулируй уточнение по одному из пунктов, который кажется неточным}: 
Скорректируй анализ с учётом этого.

Итог: дай не вывод, а 3 направления для дальнейшего изучения.

Что подставлять: - {роль} — менеджер, юрист, маркетолог, фаундер - {описание сложной задачи} — конкретная ситуация с несколькими факторами - {число} — 3–5, не больше, иначе ответ станет поверхностным - {ключевой контекст} — твои цифры, аудитория, ограничения - {уточнение} — то, что ты по опыту знаешь точнее модели


🚀 Быстрый старт — вставь в чат:

Вот шаблон для анализа сложных задач через итерацию и обратную связь. 
Адаптируй под мою задачу: {твоя задача}. 
Задавай вопросы, чтобы заполнить все поля.

[вставить шаблон выше]

LLM спросит про твою роль, специфику задачи и что ты уже знаешь о ней — потому что без этого контекста шаги будут слишком общими, а фидбэк в конце ты не сможешь дать предметно.


⚠️

Ограничения

⚠️ Задачи с объективной проверкой: Техника помогает с анализом и суждениями. Для задач с точным ответом (расчёты, факты, ссылки) — проверка всё равно обязательна, итерации не снижают риск галлюцинаций.

⚠️ Эффект для уже опытных пользователей: По данным исследования, обучение сильнее влияет на тех, кто раньше избегал ИИ для сложных задач. Если ты уже итерируешь промпты — прирост будет меньше.

⚠️ Самоотчёт об использовании: Исследование измеряло факт использования через опрос, а не через логи. Реальная картина может отличаться.

⚠️ Специфика задачи: Эффект показан на «issue-spotting» — задача на обнаружение проблем и их анализ. Насколько переносится на творческие или однозначные задачи — не тестировалось.


🔍

Как исследовали

164 студента-юриста Университета Гонконга писали mock-экзамен по контрактному праву. Задача классическая для юрфака: прочитай запутанный факт-паттерн и найди все правовые проблемы — от нарушения договора до обмана и эстоппеля.

Три группы: без ИИ вообще, с DeepSeek (без инструктажа), с DeepSeek + 10-минутное видео и тест на его понимание. Работы оценивались анонимно по рубрике с 12 суб-вопросами.

Самый показательный результат: группа с доступом без обучения выступила немного хуже, чем группа вообще без ИИ — три упущенных по сравнению с тремя найденными. Разрыв статистически незначим, но направление говорит о чём-то важном: бесконтрольный доступ к уверенным ответам ИИ может отвлекать, а не помогать. Особенно когда за два дня до экзамена вся Гонконгская пресса писала о преподавателе, чья статья оказалась напичкана галлюцинациями DeepSeek — это был фоновый контекст для студентов.

Интересная деталь дизайна: студентам заранее не говорили, у кого будет ИИ, чтобы не создавать ожидания. Группы сидели в разных аудиториях. Результаты перепроверяли через два канала — количество упущенных проблем и итоговый grade point. Оба показали один и тот же паттерн.


💡

Адаптации и экстраполяции

🔧 Техника: Персональный «момент провала» как фидбэк

В шаблоне фидбэк абстрактный. Сделай его предметным — добавь в промпт один реальный случай из своей практики, где похожий сценарий провалился:

«В прошлом году мы запустили подписку в нашем продукте, и через 3 месяца 70% отказались, потому что «всё изучили». Скорректируй анализ с учётом этого кейса.»

Модель получает конкретное ограничение, а не абстрактное «неточно» — ответ становится значительно острее.

🔧 Техника: Сделай ИИ скептиком по умолчанию

Добавь в начало промпта:

«Я хочу принять решение. Твоя задача — не убедить меня, а найти слабые места в любом варианте, который я рассматриваю. Будь жёстким критиком.»

Это особенно полезно для задач, где ты уже склоняешься к одному варианту и ищешь подтверждения — классическая ловушка, от которой исследование предупреждает.


🔗

Ресурсы

Статья: Training for Technology: Adoption and Productive Use of Generative AI in Legal Analysis (2025, first draft)

Авторы: Benjamin M. Chen (Associate Professor, University of Hong Kong Faculty of Law), Bao Hong (PhD student, University of Hong Kong Faculty of Law)

Контакт: benched@hku.hk

Смежные работы из статьи: - Schwarcz & Choi (2023) — рекомендации по промптингу для юридических задач (источник техник из видео) - Schwarcz et al. (2025) — RAG + reasoning models улучшают качество работ студентов-юристов на 50%+ - Dahl et al. (2024) — уровень галлюцинаций у LLM достигает 58% на задачах по прецедентам


📋 Дайджест исследования

Ключевая суть

Парадокс: студенты с доступом к DeepSeek без обучения сдали юридический экзамен хуже, чем те, кто работал вообще без AI. Десять минут видео с тремя техниками — и отрыв исчез, оценка выросла на треть балла. Метод позволяет использовать LLM для сложного анализа — вместо того чтобы получать гладкий текст ни о чём и либо слепо ему верить, либо разочаровываться. Фишка: вместо одного вопроса в лоб — диалог с итерациями. Повторяешь вопрос с разных сторон, дробишь задачу на шаги, даёшь конкретный фидбэк — модель из автора готовых ответов превращается в партнёра по анализу.

Принцип работы

Стандартный подход выглядит так: задаёшь вопрос — получаешь один уверенный ответ. Проблема в том, что этот ответ — статистически вероятный паттерн из обучающих данных, а не правильный для твоей конкретной ситуации. Три техники разрушают иллюзию единственного верного ответа. Первая: повтори вопрос с другого угла — модель выдаст другой акцент, ты поймёшь что она подбирает паттерн, а не «знает». Вторая: разбивка на шаги — каждый промежуточный шаг можно остановить и проверить, ошибки вылезают раньше. Третья: конкретный фидбэк вместо общего «неточно» — скажи «ты упустил X, потому что Y», и модель обновит позицию, а не просто переформулирует то же самое.

Почему работает

LLM хорошо генерирует правдоподобный текст. Плохо понимает, насколько он точен. При одном вопросе выбирает один сценарий — тот, что чаще встречался при обучении. Для сложных задач «средний ответ» почти всегда промахивается мимо твоего контекста. Итерация переключает режим: ты перестаёшь читать вывод и начинаешь анализировать материал — это принципиально другая позиция. Исследование подтвердило это на реальном экзамене: без техник — результат хуже, чем вообще без AI. С техниками — плюс треть балла к оценке.

Когда применять

Сложные аналитические задачи → конкретно для решений с несколькими факторами (менять ли бизнес-модель, оценивать ли риски запуска, разбирать юридическую или стратегическую ситуацию), особенно когда нет одного правильного ответа. Сильнее помогает тем, кто раньше избегал AI для таких задач — если ты уже итерируешь промпты, прирост будет скромнее. НЕ подходит для задач с точным ответом: расчёты, фактические данные, ссылки — там итерации не снижают риск галлюцинаций, нужна проверка по внешним источникам.

Мини-рецепт

1. Задай с одной стороны: перечисли 5 главных рисков [твоей задачи] с учётом [твой контекст] — получи первый срез
2. Задай с другой стороны: теперь перечисли 5 главных выгод — с противоположной стороны — модель выдаст другой паттерн
3. Заставь расставить приоритеты: что из рисков недооценено? что из выгод переоценено? — это выжимает суждение, а не список
4. Дай конкретный фидбэк: ты недооценил [X], потому что [причина из твоего опыта] — скорректируй анализ — конкретика даёт точный ответ, общее «неточно» даёт переформулировку
5. Попроси направления, не вывод: дай 3 направления для дальнейшего изучения, не финальное решение — снимает риск слепого доверия итогу

Примеры

[ПЛОХО] : Стоит ли нашему EdTech-стартапу перейти с разовых платежей на подписку?
[ХОРОШО] : Я менеджер продукта в EdTech. Шаг 1: перечисли 5 главных рисков перехода на подписку при чеке 3–5 тысяч рублей и аудитории «разовые курсы». Шаг 2: перечисли 5 главных выгод — с противоположной стороны. Шаг 3: что из рисков считаешь недооценённым? что из выгод — переоценённым? (После ответа): Ты недооценил риск оттока — в EdTech человек физически перестаёт учиться после прохождения курса, подписка не удерживает. Скорректируй анализ с учётом этого. Итог: дай не вывод «переходить или нет», а 3 направления для дальнейшего изучения.
Источник: Training for Technology: Adoption and Productive Use of Generative AI in Legal Analysis
ArXiv ID: 2603.04982 | Сгенерировано: 2026-03-06 06:24

Проблемы LLM

ПроблемаСутьКак обойти
Прямой вопрос по сложной задаче = один уверенный сценарийСпрашиваешь в лоб — получаешь гладкий, уверенный ответ. Но это статистически самый частый паттерн из обучающих данных. Не самый точный для твоего контекста. Сложные задачи требуют нескольких углов зрения. Модель их не даёт сама — она выбирает один и уверенно его подаёт.Не проси итог сразу. Раздели запрос: сначала аргументы против, потом за, потом попроси ранжировать. Добавь свою поправку в конце — то, что ты знаешь точнее модели. Итог: несколько версий вместо одной «правильной»

Методы

МетодСуть
Структурированный разбор «за / против / твоя поправка»Задай запрос в три шага подряд в одном диалоге. Шаг 1: Перечисли N главных рисков с учётом {контекст}. Шаг 2: Теперь N выгод — с противоположной стороны. Шаг 3: Что из рисков недооценено, что из выгод переоценено?. Финал: добавь свою поправку по пункту, где ты знаешь точнее, — и попроси скорректировать анализ. Почему работает: Каждый шаг ограничен. Модель не может дать всё сразу — вынуждена разделять и приоритизировать. Твоя поправка в конце проверяет, умеет ли модель обновлять позицию, а не просто соглашаться. Когда да: сложные задачи с несколькими факторами, оценка решений, анализ рисков. Когда нет: задачи с точным ответом — проверка фактов, расчёты
📖 Простыми словами

Training for Technology: Adoption and Productive Use of Generative AI in Legal Analysis

arXiv: 2603.04982

Суть в том, что генеративный ИИ — это не волшебная палочка, а мощный инструмент с кривым интерфейсом. Исследование на юристах показало жесткую правду: если просто дать человеку доступ к топовой модели вроде DeepSeek, он начинает лажать сильнее, чем если бы работал в одиночку. Проблема в галлюцинациях и ложной уверенности: нейронка выдает гладкий, юридически обоснованный текст, который на поверку оказывается полной чушью. Студент верит «умной машине», расслабляется и в итоге получает оценку ниже, чем его коллега с обычной ручкой и бумагой.

Это как дать водителю-новичку гоночный болид: он не приедет к финишу быстрее, он просто эффектнее разобьется. Без понимания того, как работает движок, человек превращается в пассивного пассажира, который поддакивает алгоритму. Формально работа сделана, но по факту это путь в никуда, потому что модель всегда стремится выдать самый вероятный, «средний» ответ, который в сложных кейсах почти всегда оказывается неверным.

Чтобы не сесть в лужу, нужно использовать три конкретных метода: Chain-of-Thought (заставить ИИ рассуждать по шагам), Counterfactual Reasoning (попросить рассмотреть альтернативные, даже бредовые сценарии) и Verification (заставить модель саму проверить свои выводы на ошибки). Всего 10 минут обучения этим приемам поднимают результат на треть балла. Это критическая разница между провалом и успехом, которая зависит не от мощности процессора, а от того, насколько грамотно ты «пинаешь» систему, не давая ей скатиться в банальщину.

Тестировали это на суровых юридических разборах, но принцип универсален. Будь ты продакт-менеджером, считающим юнит-экономику, или маркетологом, ИИ без контроля — это генератор случайного бреда. Если спрашивать «в лоб», получишь галлюцинацию. Если заставить модель сначала построить логическую цепочку, а потом саму себя покритиковать, она внезапно «умнеет». Навык промптинга важнее доступа к модели, и это теперь доказанный факт.

Короче: просто купить подписку на ChatGPT недостаточно, вы скорее всего начнете работать хуже. 10 минут обучения базе дают больше буста, чем переход на более дорогую версию нейронки. Либо ты учишься управлять этой «черной коробкой» через структурные запросы, либо она начинает незаметно подсовывать тебе туфту, за которую придется отвечать головой. Кто освоил методы проверки — тот на коне, остальные просто красиво ошибаются.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с