3,583 papers
arXiv:2607.09146 74 10 июля 2026 г. FREE

Flowchart Prompting: визуальная схема как второй канал информации для мультимодального LLM

КЛЮЧЕВАЯ СУТЬ
Когда задача содержит три и больше условных ветки — LLM неизбежно что-то упрощает или пропускает: текст линейный, а логика разветвлённая. Один дополнительный файл в запросе даёт +10–13% точности. Флоучарт-промптинг позволяет передавать сложные процессы без потери структуры — добавь схему к текстовому промпту в мультимодальную модель. Схема работает как второй канал: текст объясняет смысл элементов, а схема однозначно фиксирует их порядок и связи. Модель получает топологию процесса напрямую и не реконструирует её из слов.
Адаптировать под запрос

TL;DR

Когда задача сложная и в ней есть логика — ветвления, циклы, порядок шагов — добавление схемы или флоучарта к текстовому промпту улучшает результат LLM на 10–13%. Не вместо слов, а вместе с ними: текст объясняет «что», схема показывает «как устроено внутри».

Главная находка: LLM плохо восстанавливает структуру из текста. Когда читаешь описание алгоритма или бизнес-процесса словами — понимаешь примерно. Когда видишь схему — понимаешь точно. Для модели ровно то же самое: текстовое описание сложной логики оставляет пространство для ошибочной интерпретации, а схема однозначно фиксирует порядок и зависимости.

Метод работает в два шага: нарисуй схему процесса (флоучарт, mind-map, дерево решений, любую визуализацию структуры) → загрузи вместе с текстовым промптом в ChatGPT или Claude. Один запрос, никаких итераций. Особенно мощно — на сложных задачах с разветвлённой логикой.


🔬

Схема метода

ШАГ 1: Текстовый промпт → описание задачи словами
ШАГ 2: Схема/флоучарт → изображение структуры процесса

Оба — в одном запросе. LLM получает два канала: текст + визуал.

⚠️ Требуется мультимодальная модель с поддержкой изображений: ChatGPT (GPT-4o), Claude (Sonnet, Opus). Бесплатные версии могут не поддерживать загрузку изображений.


🚀

Пример применения

Задача: Владелец небольшого интернет-магазина хочет, чтобы Claude написал скрипт для менеджера по работе с претензиями. Процесс нетривиальный: разные типы жалоб, условия возврата, эскалация. Текстом это сложно описать так, чтобы не потерять детали.

Промпт:

Я загружаю схему процесса обработки претензий клиентов 
в нашем интернет-магазине.

На схеме: типы жалоб → условия рассмотрения → 
решения (возврат / обмен / отказ) → точки эскалации к старшему менеджеру.

На основе схемы и описания ниже напиши скрипт (инструкцию с репликами) 
для менеджера колл-центра.

Контекст: магазин электроники, средний чек 15 000 ₽, 
доставка по России, гарантия 1 год.

[загружаем изображение схемы]

Результат: Модель получает структуру процесса из схемы и детали контекста из текста. Скрипт будет точно отражать все развилки из схемы — Claude не будет «домысливать» порядок действий или пропускать ветки. Особенно заметна разница, если процесс сложнее трёх шагов.


🧠

Почему это работает

Слабость LLM: Модель читает текст линейно. Когда в описании есть «если условие А — делай одно, если Б — другое», она понимает абстрактно. Чем больше ветвлений — тем выше шанс, что модель упростит, пропустит ветку или перепутает порядок.

Сильная сторона LLM: Мультимодальные модели хорошо соединяют информацию из разных источников. Текст даёт семантику — что значат элементы. Схема даёт топологию — как они связаны. Вместе это точнее, чем каждый источник по отдельности.

Как метод использует это: Флоучарт работает как однозначный контракт на структуру. Модели не нужно реконструировать логику из слов — она видит её напрямую. Чем сложнее задача, тем больше выигрыш: на простых задачах (одна ветка, линейный процесс) разница маленькая, на сложных (много условий, циклы, исключения) — радикальная.

Рычаги управления: - Уровень детализации схемы → даже грубый набросок от руки на бумаге (сфотографированный) лучше отсутствия схемы. Полностью детализированная схема даёт максимум. - Один пример с решением в промпте (one-shot) → стабильное улучшение результата. Два примера дают минимальный прирост сверх одного. - Сложность задачи → чем запутаннее логика, тем сильнее эффект от добавления схемы.


📋

Шаблон промпта

Я загружаю схему {что изображено на схеме: процесс / структура / дерево решений}.

На схеме показано: {краткое описание ключевых элементов схемы}.

Дополнительный контекст: {текстовое описание задачи, детали, ограничения}.

На основе схемы и описания: {конкретное задание — напиши инструкцию / 
найди узкие места / предложи улучшения / разработай скрипт}.

[прикрепить изображение схемы]

Что подставлять: - {что изображено} — тип схемы: процесс обработки заявок, оргструктура, воронка продаж, алгоритм принятия решений - {краткое описание} — помогает модели ориентироваться: «три типа клиентов → две ветки решений → точка эскалации» - {текстовое описание} — контекст, числа, специфика, которую нельзя нарисовать - {конкретное задание} — что именно нужно сделать с этой информацией


🚀 Быстрый старт — вставь в чат:

Вот шаблон для работы со схемами и флоучартами в промптах. 
Адаптируй под мою задачу: {твоя задача}.
Спрашивай, чтобы заполнить поля шаблона.

[вставить шаблон выше]

LLM спросит что за схема и что нужно сделать — потому что без понимания типа схемы и конечной цели она не сможет правильно объединить два канала информации.


⚠️

Ограничения

⚠️ Работает только с мультимодальными моделями: GPT-4o, Claude Sonnet/Opus, Gemini. Текстовые модели без поддержки изображений — неприменимо.

⚠️ Эффект минимален на простых задачах: Если логика линейная (два-три шага без ветвлений) — прирост незначительный. Метод раскрывается на сложных, разветвлённых процессах.

⚠️ Только схемы структуры и логики: Фотографии, иллюстрации, скриншоты интерфейсов работают иначе. Флоучарты и структурные схемы — наиболее изученный случай. Для других типов визуала эффект может отличаться.

⚠️ Исследовали на задачах кодирования: Перенос на нетехнические задачи логичен, но не верифицирован экспериментально. Принцип убедителен, но точных цифр для бизнес-задач нет.


🔍

Как исследовали

Исследователи из Университета Кюсю взяли 289 задач по программированию с японской платформы AtCoder (четыре уровня сложности: A = простые, D = сложные) и написали к ним решения на Python. Из каждого решения автоматически сгенерировали флоучарт через инструмент Visustin. Потом запустили GPT-4o в двух режимах: только текст задачи vs. текст + флоучарт.

Интересный дизайн: флоучарты делали с разным уровнем детализации — убирали вложенные блоки, оставляя только «скелет» логики. Это позволило проверить: нужна ли точная схема или хватает грубого наброска? Ответ оказался неожиданным — даже самый абстрактный флоучарт лучше, чем его отсутствие, и точность растёт по мере добавления деталей.

Самый любопытный результат: разница между «без схемы» и «со схемой» на простых задачах составила 4–10%, а на сложных — 13%. То есть именно там, где LLM чаще всего ошибается из-за запутанной логики, схема помогает больше всего. Каждую задачу прогоняли пять раз — чтобы учесть случайность в ответах модели.


💡

Адаптации и экстраполяции

🔧 Техника: замени флоучарт на фото белой доски → теже принципы, нулевые усилия

Нарисовал схему маркером на доске во время планирования — сфотографировал — отправил в Claude. Инструмент для рисования не нужен. Работает для любых структурных схем: процессы, иерархии, матрицы решений.

🔧 Техника: один показательный пример (one-shot) → стабильный прирост без затрат

Если добавляешь схему — добавь один пример «схема → правильный результат». Исследование показало: один пример стабильно улучшает качество, два — дают минимальный прирост сверх одного. Не трать время на подготовку нескольких примеров.

Экстраполяция — принцип за пределами кодирования:

Флоучарт — это способ однозначно передать структуру и зависимости. Тот же принцип работает везде, где важна структура:

Ситуация: нужно объяснить Claude сложную систему скидок в магазине.

Промпт:
На схеме — дерево решений нашей системы лояльности:
входящий клиент → сегмент (новый / вернувшийся / VIP) → 
тип покупки → применимая скидка → исключения.

[загружаем схему]

Напиши FAQ для сотрудников: как объяснить клиенту его скидку в 
каждом сценарии. Тон — дружелюбный, без корпоратива.

Это уже не про код — про передачу сложной раздвоенной логики в одном запросе.


🔗

Ресурсы

Название работы: Exploring the Potential of Program Flowcharts on Code Generation Using Multimodal LLMs

Авторы: Yuki Toi, Tao Xiao, Kazushi Tomoto, Masanari Kondo, Yasutaka Kamei

Организация: Kyushu University, Fukuoka, Japan

Инструмент генерации флоучартов: Visustin — https://www.aivosto.com/visustin.html

Датасет: AtCoder Beginner Contest — https://atcoder.jp


📋 Дайджест исследования

Ключевая суть

Когда задача содержит три и больше условных ветки — LLM неизбежно что-то упрощает или пропускает: текст линейный, а логика разветвлённая. Один дополнительный файл в запросе даёт +10–13% точности. Флоучарт-промптинг позволяет передавать сложные процессы без потери структуры — добавь схему к текстовому промпту в мультимодальную модель. Схема работает как второй канал: текст объясняет смысл элементов, а схема однозначно фиксирует их порядок и связи. Модель получает топологию процесса напрямую и не реконструирует её из слов.

Принцип работы

Текст идёт линейно. Сложная логика — нет. Когда читаешь «если А — делай одно, если Б — другое, если В — третье», понимаешь приблизительно. Для модели ровно то же: чем больше развилок и условий в описании, тем выше шанс, что она упростит ветку или перепутает порядок. Схема — это однозначный контракт на структуру: никаких «а потом», никакого домысливания. Модель видит узлы и связи, а не реконструирует пространственную логику из цепочки слов.

Почему работает

LLM обучена на тексте, который идёт слева направо. Разветвлённые процессы — это пространство, а не линия. Чем больше условий, тем больше модель теряет при только текстовом описании. Мультимодальные модели хорошо соединяют два источника: текст даёт семантику, схема даёт топологию. Вместе точнее, чем каждый по отдельности. Даже грубый набросок от руки, сфотографированный телефоном, работает лучше чем идеальный текст для той же задачи — порог входа минимальный, а полностью детализированная схема даёт максимум. На простых линейных задачах прирост незначительный — метод раскрывается там, где много развилок.

Когда применять

Задачи с алгоритмами и процессами → конкретно для написания кода с разветвлённой логикой, разработки инструкций с условными ветками, создания скриптов обработки заявок — особенно когда в задаче три и больше условий. Хорошо работает на: деревьях решений, процессах с исключениями, многошаговых алгоритмах. НЕ подходит: линейные задачи без развилок (прирост минимальный), текстовые модели без поддержки изображений.

Мини-рецепт

1. Нарисуй схему процесса: флоучарт, дерево решений, любая структурная визуализация — даже от руки на бумаге. Главное, чтобы были видны узлы и связи между ними.
2. Опиши схему коротко в тексте: «На схеме — три типа жалоб, две ветки решений, точка эскалации». Это помогает модели ориентироваться в изображении.
3. Добавь контекст отдельно: числа, ограничения, специфику — всё что нельзя нарисовать. Текст и схема дополняют друг друга, а не дублируют.
4. Загрузи оба в один запрос в GPT-4o, Claude Sonnet/Opus или Gemini. Не два запроса — один. Модель объединит каналы сама.

Примеры

[ПЛОХО] : Напиши скрипт для менеджера: клиент звонит, проверяем тип претензии, если гарантийный — возврат, если нет — отказ или скидка, если повторное обращение — старший менеджер
[ХОРОШО] : Загружаю схему процесса обработки претензий [изображение флоучарта с тремя типами жалоб, условиями рассмотрения и точкой эскалации]. Контекст: магазин электроники, средний чек 15 000 рублей, гарантия 1 год, доставка по России. На основе схемы и контекста напиши скрипт с репликами для менеджера колл-центра — по каждой ветке из схемы
Источник: Exploring the Potential of Program Flowcharts on Code Generation Using Multimodal LLMs
ArXiv ID: 2607.09146 | Сгенерировано: 2026-07-13 04:25

Проблемы LLM

ПроблемаСутьКак обойти
Модель теряет ветки логики при чтении сложного текстаОписываешь процесс с условиями словами: «если А — делай одно, если Б — другое». Модель читает линейно. Чем больше развилок и исключений — тем выше шанс, что она упростит, пропустит ветку или перепутает порядок. Проблема нарастает с ростом сложности процесса.Нарисуй схему процесса и загрузи вместе с текстовым запросом. Схема фиксирует структуру однозначно. Модели не нужно восстанавливать логику из слов — она видит её напрямую. Требуется мультимодальная модель: GPT-4o, Claude Sonnet/Opus.

Методы

МетодСуть
Схема + текст — два канала в одном запросеЗагружай изображение схемы и текстовое описание вместе. Текст даёт смысл элементов. Схема даёт порядок и связи между ними. Я загружаю схему {что изображено}. На схеме: {ключевые элементы}. На основе схемы и описания: {задание}. [изображение]. Почему работает: текст и схема дополняют друг друга. Числа, контекст, детали — в текст. Порядок, ветки, зависимости — в схему. Вместе точнее чем каждый по отдельности. Когда применять: сложная логика с ветвлениями, циклами, исключениями. Процессы сложнее трёх шагов. Когда не даёт эффекта: линейный процесс без развилок. Важно: только мультимодальные модели. Улучшение проверено на задачах кодирования — для бизнес-задач принцип логичен, но цифр нет.
📖 Простыми словами

Exploring the Potential of Program Flowcharts on Code GenerationUsingMultimodalLLMs

arXiv: 2607.09146

Суть в том, что современные нейронки, несмотря на всю свою мощь, до сих пор читают текст как первоклассники — линейно, слово за словом. Когда ты вываливаешь на модель сложную логику с кучей условий «если-то», циклов и переходов, у неё в «мозгах» начинается каша. Она понимает слова, но теряет структуру процесса. Исследование 2607.09146 доказывает: чтобы LLM не тупила в коде или сложных инструкциях, ей нужно буквально рисовать картинки. Добавление визуального флоучарта к обычному тексту дает буст в 10–13% к качеству результата, потому что схема фиксирует логические связи, которые в тексте размываются.

Это как пытаться объяснить дорогу в глухой деревне по телефону: «повернешь у кривой березы, потом через три дома налево, если там не перекопано». Собеседник точно пропустит поворот. Но если ты скинешь ему скриншот карты с нарисованной стрелочкой, шансы доехать возрастают кратно. Текст дает модели контекст и «мясо», а блок-схема становится тем самым скелетом, который не дает логике развалиться. Формально модель и так всё знает, но без визуальной опоры она просто ленится или путается в трех соснах.

В работе использовали связку текста и графики, где текст объясняет «что» мы делаем, а схема — «как» это устроено внутри. Например, если нужно написать скрипт для обработки претензий в магазине, где условия возврата зависят от типа товара, срока чека и настроения менеджера, обычный промпт превращается в нечитаемую простыню. Но стоит добавить флоучарт с ветвлениями, как модель тут же перестает игнорировать редкие сценарии. Мультимодальные LLM (вроде GPT-4o или Claude 3.5) наконец-то начали использовать свои «глаза» по назначению, считывая структуру алгоритма напрямую из геометрии блоков.

Тестировали это дело на генерации кода, но принцип универсален. Это сработает везде, где есть алгоритм: от настройки автоматизаций в Zapier до прописывания сложных бизнес-процессов для сотрудников. Если задача сложнее, чем «напиши пост про котиков», и в ней есть хотя бы пара развилок, отсутствие схемы — это гарантированный облом и баги на ровном месте. SEO для логики теперь выглядит так: не пиши больше букв, просто нарисуй квадратики и стрелочки.

Короче, хватит надеяться, что нейронка сама «догадается», как правильно связать твои условия. Главный вывод исследования: текст + схема = рабочий код, а просто текст — это лотерея, где ты проигрываешь в каждом десятом случае. Если хочешь, чтобы AI выдал результат с первого раза без галлюцинаций в логике, прикладывай визуальный алгоритм. Кто научится скармливать моделям графические инструкции, тот и получит самый чистый профит, пока остальные будут десять раз переписывать промпты.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с