ITT-GEN: Instruction-туninг для генерации табличных данных — принцип качественных метаданных

7 тысяч инструкций с метаданными дают результат на уровне GPT-4o, тогда как 2 миллиона без структуры проигрывают. Базовая Llama 3.1-8B в 80% случаев вообще не может сгенерировать таблицу – начинает писать нерелевантный текст или обрывается на 3-5 строках. Метод ITT-GEN позволяет генерировать реалистичные табличные данные для тестирования дашбордов, обучения ML-моделей, заполнения пустых баз. Фишка: трёхуровневый контекст – сначала даёшь общее описание таблицы (тема, применение), потом описание каждой колонки (тип данных, диапазон значений), затем показываешь 15-20 реальных строк. Модель улавливает паттерны и генерирует новые строки – 95% точность против 20% у базовой модели.