Консенсус моделей ≠ правильность: почему согласие трёх LLM не доказывает, что разметка верна

Три LLM от разных компаний согласны друг с другом заметно сильнее, чем с экспертом-человеком. Голосование трёх моделей к человеческой разметке не приблизило. Метод позволяет проверить, можно ли доверять разметке LLM (причины отказа клиентов, мотивы, тон обращений), и увидеть, в какую сторону модель врёт. Фишка: сравнивай модель не с другими моделями, а с небольшой ручной разметкой. Модели ошибаются в одну и ту же сторону: видят глубокую причину там, где её нет. Ручная сверка на ~100 примерах показывает этот общий уклон — и его можно поправить текстом промпта.