Как валидировать механизмы AutoML и настроить процессы альтернативного моделирования с использованием AutoML
Размещено на сайте 24.06.2024
AutoML (Automated Machine Learning) автоматизирует множество процессов, включая подгонку модели, отбор переменных, подбор гиперпараметров и подготовку данных. За счет автоматизации достаточно сложный и долгий процесс разработки модели превращается в более понятный, недорогой и доступный инструмент, в том числе для самостоятельной работы бизнес-пользователей, не имеющих глубоких знаний в моделировании и математической статистике. В статье приведен алгоритм, по которому банк может разработать свою методику и провести валидацию механизмов AutoML.
Вера ПЕРЕВИЦКАЯ, Альфа-Банк, начальник управления валидации
Анастасия ФЕДОСЕЕВА, Альфа-Банк, риск-менеджер отдела валидации моделей юридических лиц
Илья ХАНЬКОВ, Альфа-Банк, начальник отдела валидации моделей физических лиц
Приводятся извлечения из статьи.
Полную версию материала читайте в журнале.
Подписаться
Так как с помощью AutoML планируется обучать большое количество моделей, необходимо убедиться, что в сервисе настроены автоматические контроли качества данных, например контроли заполнения, контроли значений, контроли актуальности данных в источниках.
|
При формировании валидационной выборки учитываются особенности применения модели в процессах организации (например, включаются сегменты, которые не использовались при разработке модели, но на которые планируется распространить использование модели).
|
Анализ времени и ресурсов для построения моделей Auto ML проводится экспертно с учетом типа решаемой задачи и информации о затрачиваемых человеко-часах в среднем по этапам создания и вывода в промышленную среду исполнения модели данного типа.
|
Сервис должен позволять хранить параметры последних запусков, чтобы при необходимости можно было перезагрузить выборку и запустить повторное обучение, не устанавливая заново все пользовательские параметры.
|