Методы пилотирования моделей AI/ML и проверки бизнес-гипотез

Когда в банке тысячи моделей, всегда встает вопрос: как правильно оценивать результат применения той или иной модели и как приоритизировать проекты? При этом если раньше скорость производства была небольшой и, соответственно, отдачу легко можно было замерить, то сейчас скорость внедрения увеличивается и вариативность AI-инструментов сильно растет, а с учетом скорости развития генеративных моделей проблема усугубилась. Чтобы ее решить, Сбер развивает инструментарий и методы оценки А/В-тестирования и мэтчинга и разработал Python-библиотеку с открытым исходным кодом HypEx (Hypotheses and Experiments).