Как автоматизировать переобучение моделей машинного обучения: кейс Газпромбанка

Размещено на сайте 25.03.2024

Перед командой ML-инженеров Газпромбанка стояла задача организовать переобучение моделей таким образом, чтобы можно было вести несколько процессов параллельно, а также оптимизировать трудозатраты и время на валидацию и поддержку моделей машинного обучения. Нетривиальность задачи заключалась в том, что автоматизировать переобучение моделей нужно было с соблюдением регуляторных требований. Что позволило сократить время переобучения моделей и сделать процесс валидации более быстрым и удобным?

Денис ЗАНКОВ, Газпромбанк, управляющий директор Департамента анализа данных и моделирования

Приводятся извлечения из статьи. Полную версию материала читайте в журнале. Подписаться

Процессы сканирования и выпуска кода в рамках CI/CD-процесса банка были разделены благодаря архитектурному разграничению весов модели и самого кода как разных сущностей сборки.

При автоматическом переобучении моделей имеет смысл выносить параметры работы модели вовне и вести их через настроечную таблицу (например, Postgres).

Собственная разработка процесса переобучения с пересмотром архитектуры развертывания моделей позволила согласовать с подразделениями информационной безопасности и DevOps весь жизненный цикл моделей.

Для контейнеризации недостаточно одних контейнеров: нужно правильно распределять ресурсы и следить за их доступностью, иметь возможность быстро вносить исправления и изменения. Поэтому необходим оркестратор (например, Kubernetes).

Kubernetes дает возможность создавать единую централизованную платформу с удобными инструментами для управления и оркестрации моделей.

Выбрать	Риски	Бухучет и налоги	Кредитный департамент	Управление банком
направление:	Розница	Внутренний контроль	Операционный департамент	Юридическая работа

О компании	Контакты	Авторам		Для клиентов (Как скачать закрывающие документы)
Помощь	Реклама	Подписным агентствам