Entity Bias Audit: как имена, страны и компании влияют на оценки LLM

Парадокс: Модель GPT-4 (70B) предвзятее чем маленькая Llama (7B). Большие модели умнее, но сильнее подтягивают оценки к стереотипам. Метод Entity Bias Audit позволяет выявить скрытую предвзятость в оценках — когда LLM меняет результат в зависимости от того, КТО или ЧТО упомянуто, даже если факты идентичны. Фишка: подставь разные имена/компании/страны в один промпт. Если оценки скачут при одинаковом контексте — модель работает со встроенными предубеждениями. На 1.9 миллиарда примеров обнаружили устойчивые паттерны: западные компании оцениваются выше азиатских, правые политики ниже левых, оборонка получает минус независимо от страны.