Совет моделей и ИИ-экзаменатор: надёжная оценка работы и самопроверка через многоагентное совещание

Одна и та же работа. Claude ставит 13 из 20, Gemini — 16.3 из 20. Разница в 3.3 балла — не баг, а структурный факт: у каждой LLM встроенная строгость, которую ты не видишь и не контролируешь. Метод «совет моделей» позволяет оценить любую работу с разбросом в 1.3 балла вместо 3.3 — без людей-экспертов. Три модели оценивают независимо, потом видят аргументы друг друга с цитатами из текста и пересматривают позиции. Не усредняют числа — спорят через доказательства. Согласованность вырастает до α = 0.86 — уровень опытных экзаменаторов.