BenchDrift: как одна и та же фраза меняет правильность ответа модели в обе стороны

93% точности на бенчмарке — и это могло быть просто удачным набором формулировок. Ту же модель на тех же задачах, но переформулированных, прогнали ещё раз: 38% в худшем случае, 99% в лучшем. BenchDrift позволяет проверить, держится ответ модели на реальном знании или на удачной фразе. Метод генерирует 10-20 перефразировок задачи с тем же правильным ответом, прогоняет через модель и ищет, где ответ перевернулся — разброс между худшим и лучшим случаем и есть настоящий диапазон способностей модели, а не одна точка на бенчмарке.