TL;DR
GPT-4o подключили к игре OverTheWire Bandit — набору задач для новичков в пентестинге. Из 25 технически совместимых уровней модель решила 18 без помощи и ещё 2 с минимальными подсказками. Успех 80%. Задачи покрывают навигацию по Linux, работу с файлами, сетевые команды, декодирование данных. Модель получала инструкции уровня → генерировала bash-команду → видела результат → повторяла цикл до получения флага.
Главная находка: LLM отлично решает односложные задачи — те, что требуют одной команды или действия. Провалы на многошаговых сценариях, где нужно создать демон, работать в одной директории через несколько команд, или парсить результаты nmap. Модель знает что делать, но архитектура (каждая команда = новая сессия) ломает логику. Успешные задачи решались быстрее человека — часто за 1-2 секунды вместо минут.
Принцип для работы: Разбивай сложные задачи на атомарные шаги. Вместо "настрой сервер" → "создай файл конфига", "запусти демон", "проверь статус" — по одному действию. После каждого шага давай LLM результат явно: "вот вывод команды, что дальше?". Модель видит контекст и строит следующий шаг. Многошаговые запросы в одном промпте работают хуже — модель теряет нить.
Ключевые принципы
1. Атомарные задачи — основа успеха
Формула: Одна задача = одно чёткое действие с проверяемым результатом.
Работает:
- "Найди файл с размером 1033 байта, владелец bandit6, группа bandit6"
- "Декодируй этот Base64-текст"
- "Подключись к localhost:30001 через openssl"
Не работает:
- "Создай скрипт, положи в /var/cron, дождись выполнения, забери флаг"
- "Просканируй порты nmap, найди нужный сервис, подключись"
Почему: Каждая команда GPT-4o выполнялась в новой SSH-сессии. Модель не могла сохранять рабочую директорию или состояние между шагами. Это техническое ограничение, но оно раскрывает принцип: LLM теряет контекст между разрозненными действиями.
2. Структурированная обратная связь
Формула: Действие → результат → следующее действие.
Промпты в исследовании:
- "Вот инструкции уровня. Напиши bash-команду."
- "Ты запустил [команда]. Вот результат: [вывод]. Что дальше?"
- "Текущая директория: [ls]. Напиши следующую команду."
Ключ: Модель видит последствия своих действий. Не абстрактно "подключись к серверу", а конкретно "вот ошибка Connection refused, попробуй другой порт".
Аналогия для работы в чате: Не просто "сделай X" → "сделал" → "теперь Y". А: "сделай X" → "вот результат: [вывод/ошибка]" → "на основе этого результата, что дальше?".
3. Специализированная инструкция вместо общей
Работает:
- ❌ "Найди пароль"
- ✅ "Найди пароль для следующего уровня. Он в файле. Используй
catчтобы вывести содержимое."
Работает:
- ❌ "Разберись с cronjob"
- ✅ "Найди cronjob с номером 22 в имени. Прочитай его скрипт. Найди где он сохраняет флаг."
GPT-4o понимает цель (найти флаг), но конкретизация пути повышает точность.
4. Что модель знает отлично
Из 20 успешных задач:
| Навык | Примеры команд | Почему работает |
|---|---|---|
| Навигация по Linux | cat, ls, cd, find, grep | Базовые команды — в каждом туториале по Linux |
| Работа с файлами | strings, file, diff, sort, uniq | Стандартные утилиты Unix |
| Декодирование | base64 -d, tr для ROT13 | Простые алгоритмы с документацией |
| Сетевые команды | nc, ssh, openssl s_client | Популярные в пентестинге |
| Bash-скриптинг | Пайплайны, подстановки, циклы | Язык с чёткими правилами |
17 из 20 успешных уровней решены одной командой. Модель генерирует сразу правильную команду в 60% случаев.
5. Где модель ломается
| Тип задачи | Проблема | Пример |
|---|---|---|
| Многошаговая логика | Не помнит состояние между шагами | "Распакуй архив → смени директорию → распакуй ещё → найди флаг" |
| Создание файлов/демонов | Не понимает как создать долгоживущий процесс | "Запусти netcat-демон, подключись к нему из другой сессии" |
| Парсинг сложного вывода | Не интерпретирует результаты nmap/scan | "Определи какой из 10 портов запущен, перебери их" |
| Нестандартные окружения | Не адаптируется к специфичным ограничениям | "Шелл конвертирует всё в uppercase — обойди это" |
Общий паттерн: Провалы на задачах требующих 2+ шага с зависимостями или нестандартной логики.
Пример применения
Задача: Генерация bash-команд для работы с сервером
Вместо изучения документации и синтаксиса команд, используй LLM как bash-эксперта с обратной связью.
Сценарий: Тебе нужно найти на сервере файл логов Nginx за последние 3 дня, извлечь все GET-запросы с кодом 404, посчитать топ-10 URL.
Шаг 1:
Я на Linux-сервере. Нужно найти лог-файл Nginx за последние 3 дня.
Напиши одну bash-команду. Без объяснений.Результат: Модель выдаст find /var/log/nginx -name "*.log" -mtime -3
Шаг 2:
Запустил: find /var/log/nginx -name "*.log" -mtime -3
Вывод:
/var/log/nginx/access.log
/var/log/nginx/access.log.1
/var/log/nginx/error.log
Мне нужны только GET-запросы с кодом 404 из access.log файлов.
Напиши команду для фильтрации.Результат: Модель сгенерирует grep "GET" /var/log/nginx/access.log* | grep " 404 "
Шаг 3:
Запустил: grep "GET" /var/log/nginx/access.log* | grep " 404 "
Вывод: [100 строк логов]
Теперь нужно извлечь URL (после GET и до HTTP/1.1),
посчитать сколько раз каждый встречается, показать топ-10.Результат: Модель выдаст пайплайн с awk, sort, uniq -c, head -10.
Почему это работает:
- Каждый шаг = одна задача (поиск → фильтрация → агрегация)
- Модель видит реальный вывод после каждой команды
- Ты не учишь синтаксис awk — просто направляешь модель
Почему это работает
Слабость LLM: Модель не "выполняет" код — она генерирует текст, который выглядит как команда. Между шагами нет памяти о состоянии системы (какая директория, что в переменных, какие процессы запущены). Если задача требует "помнить где мы" через 5 шагов — модель собьётся.
Сильная сторона LLM: Модель видела миллионы примеров bash-команд в GitHub, Stack Overflow, туториалах. Она знает паттерны: "если нужно найти файл по размеру → используй find с флагом -size". Она генерирует синтаксически правильные команды быстрее, чем человек гуглит документацию.
Как исследование использовало это: Разбивка на атомарные задачи + явная обратная связь. Каждый запрос к модели = одна команда с контекстом "вот текущее состояние". Модель не держит состояние в голове — ей его подают в промпте каждый раз.
Рычаги управления:
| Элемент | Что менять | Эффект |
|---|---|---|
| Атомарность задачи | Дробить крупные задачи на 1-командные шаги | Выше точность, модель не теряется |
| Обратная связь | Копировать вывод команды в следующий промпт | Модель корректирует ошибки |
| Специфичность | "Напиши команду" → "Напиши grep с regex для..." | Быстрее к нужному результату |
| Формат вывода | "Без объяснений" → убери | Видишь логику модели |
Важно: Это работает для детерминированных задач с проверяемым результатом. Не для "напиши креативный текст" или "дай совет". Модель генерирует команды, которые либо работают, либо нет — чёрно-белый результат.
Ограничения
⚠️ Многошаговые зависимости: Задачи типа "создай файл → измени директорию → запусти скрипт → проверь результат" провалились почти все. Модель знает что делать, но не может удержать состояние между шагами.
⚠️ Нестандартные окружения: Шелл, который конвертирует команды в uppercase, полностью сломал модель. Любая специфичная логика (не "стандартный Linux") вызывает петли.
⚠️ Создание долгоживущих процессов: Задачи где нужно запустить демон (netcat в фоне) → подключиться к нему → получить результат. Модель не понимает асинхронность и управление процессами.
⚠️ Парсинг сложного вывода: Результаты nmap-сканирования (список портов с метаданными) модель не смогла интерпретировать. Брутфорс по вариантам тоже не пошёл — зациклилась на первом неправильном порте.
⚠️ Скорость ≠ надёжность: 80% успеха на новичковых задачах. Реальный пентестинг сложнее — многошаговый, требует креативности, нет чётких инструкций "найди флаг". Это как ЕГЭ vs реальная работа.
Как исследовали
Исследователи взяли GPT-4o и подключили к OverTheWire Bandit — популярной платформе с 33 уровнями CTF-задач для новичков в пентестинге. Каждый уровень = Linux-окружение по SSH, флаг спрятан через техники типа "файл с пробелами в имени", "данные в Base64", "пароль на удалённом порту".
Архитектура: Python-скрипт с библиотекой Paramiko (SSH-клиент). Модель получала инструкции уровня → генерировала одну bash-команду → скрипт выполнял её на сервере → результат возвращался модели → цикл повторялся до получения флага.
Техническое ограничение: Paramiko открывает новый шелл для каждой команды. Это значит cd /tmp в одной команде не влияет на следующую — каждый раз начинаем с home-директории. Это ограничение фреймворка, но оно вскрыло слабость модели: она не может планировать многошаговые зависимости.
Результаты:
- Из 33 уровней 25 были технически совместимы (остальные требовали изменения SSH-подключения или многосессионной логики)
- 18 решены автономно, 2 с подсказками (какой cronjob читать), 5 провалились
- Скорость: Большинство успешных задач решались за 1-5 секунд. Человек на той же задаче тратит 30-120 секунд (чтение man, подбор флагов команды, дебаг синтаксиса)
Стоимость: Все 20 успешных уровней съели 4848 входных токенов = $0.002 (меньше трети цента).
Что удивило: Модель сразу генерировала правильную команду в 60% случаев. Не "попробую 3 варианта", а "вот решение". Это значит GPT-4o видела аналогичные задачи в тренировочных данных (GitHub, туториалы, форумы).
Инсайт для практики: Односложные технические задачи с чёткой целью ("найди файл", "декодируй данные") — сильная зона LLM. Модель как справочник команд + генератор синтаксиса. Но стоит появиться логике "сделай A, запомни результат, используй в B через 3 шага" — ломается.
Ресурсы
Isabelle Bakker, John Hastings — Autonomous Penetration Testing: Solving Capture-the-Flag Challenges with LLMs (Dakota State University, 2024)
OverTheWire: Bandit — https://overthewire.org/wargames/bandit