Multi-Evaluator Framework: как модели врут сами себе при оценке качества

Обнаружено: LLM имеют характер при оценке текстов — одни модели самокритичны (занижают себе оценки на −0.33), другие снисходительны (завышают на +0.77). Visa Research дала 5 моделям задачу написать тексты и оценить работы друг друга по структурированной rubric из 5 критериев. Каждую оценку повторили 10 раз чтобы поймать стабильность суждений. Framework позволяет: выбрать LLM-судью с нужным уровнем строгости для оценки качества контента — питчей, стратегий, аналитики. Фишка: запускаешь cross-evaluation (каждая модель оценивает все тексты включая свой) → видишь кто из судей строже, кто мягче, кто стабильнее. GPT-5.1 и Claude 4.5 Sonnet оказались самокритичными и при этом ближе к человеческим стандартам качества чем снисходительные Gemini и Grok.