CogMath - Оценка LLM на предмет подлинной математической способности с точки зрения человеческой когнитивной перспективы.

Вместо доверия первому правильному ответу LLM, метод предлагает СИСТЕМАТИЧЕСКИ ПРОВЕРЯТЬ промпт на прочность через 9 различных вариаций. Основная идея: истинные способности LLM на 30-40% ниже, чем кажется, потому что модели часто полагаются на ПОВЕРХНОСТНОЕ СОПОСТАВЛЕНИЕ с шаблонами из обучения, а не на реальное понимание. Метод превращает пользователя из просителя в следователя, который выявляет слабые места в "мышлении" модели.