LLM-as-Judge: как использовать один LLM для оценки ответов другого через «промпт-судью»

CoT-рассуждения («думай шаг за шагом») повышают точность у GPT-4o — и роняют её у GPT-4o-mini. Одна строка, противоположный эффект. LLM-as-Judge даёт возможность прогонять десятки текстов через стабильного «проверяющего» — без усталости, без разброса и без ручного разбора каждого ответа. Ключевое: выбор структуры промпта влияет на результат сильнее, чем выбор модели. Сильная модель + CoT → стабильность выше 95%. Слабая модель + CoT → модель путается и теряет структуру. Слабая модель + детальные критерии без рассуждений → работает нормально.