CoVe, DoLa и RAG: как методы против галлюцинаций влияют на креативность LLM

Парадокс: методы борьбы с галлюцинациями влияют на креативность противоположно. CoVe (самопроверка через вопросы) повышает разнообразие идей на 5-12%, DoLa (контрастирование слоёв) снижает на 2-8%, RAG (подтягивание документов) почти не влияет. При этом правильность решений остаётся на том же уровне. CoVe позволяет получать более оригинальные и разнообразные варианты при генерации идей, не жертвуя точностью решения. Фишка: принудительная рефлексия через четыре шага — черновик → вопросы к себе → ответы → финал. Модель не зацикливается на первой мысли, исследует альтернативы. Эффект устойчив на всех протестированных моделях от LLaMA-1B до 70B.