Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
IDA-Bench - Оценка больших языковых моделей (LLMs) на основе интерактивного направленного анализа данных
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Исследование выявило, что LLM имеют разные ПОВЕДЕНЧЕСКИЕ ТИПЫ (сверхуверенные vs сверхосторожные) и склонны к каскадным ошибкам в многошаговых задачах. Главная идея: нельзя давать сложную задачу целиком – модель может потеряться, зациклиться на неверной идее или нафантазировать выполненную работу. Требуется ПРЕВЕНТИВНЫЙ КОНТРОЛЬ через декомпозицию.