MPP-challenge: моделирование прогноза качества модели
Размещено на сайте 23.12.2020
На весенней конференции Scoring Day команда из ВТБ рассказала про MPP-подход, с помощью которого можно строить модели предсказания качества других моделей. В своем докладе Денис Суржко, возглавляющий Data Science подразделение ВТБ, предложил банкам начать использовать МРР-подход и исследовать ряд важных вопросов о его применимости. Мы в «Ренессанс Кредите» принимаем этот челлендж и в этой статье расскажем о нашем опыте внедрения MPP-подхода, а также постараемся ответить на озвученные командой ВТБ вопросы.
Сергей АФАНАСЬЕВ, КБ «Ренессанс Кредит», исполнительный директор, начальник управления статистического анализа
Диана КОТЕРЕВА, КБ «Ренессанс Кредит», руководитель направления моделирования и оперативного анализа
Константин СТАРОДУБ, КБ «Ренессанс Кредит», ведущий аналитик направления моделирования и оперативного анализа
Приводятся извлечения из статьи.
Полную версию материала читайте в журнале.
Подписаться
MPP-модель позволяет строить прогнозы по выбранной метрике качества исходной модели в момент ее работы, то есть не дожидаясь вызревания оцениваемой метрики.
|
Задача построения MPP-модели сводится к построению многоклассового классификатора, целевой переменной которого являются классы матрицы ошибок.
|
MPP-модели способны угадывать изменения качества исходных моделей в периоды стрессов, однако качество MPP-прогнозов в периоды стрессов снижается.
|