Подбор гиперпараметров для градиентного бустинга: какой алгоритм выбрать

Размещено на сайте 22.09.2023

Поскольку градиентный бустинг склонен к переобучению, качество моделей сильно зависит от подбора гиперпараметров. Автор представляет разработанный им алгоритм подбора гиперпараметров и сравнивает его с наиболее популярными алгоритмами: RandomSearch, HyperOpt и Optuna. В приложении к статье приведен код алгоритма.

Роман ВИШНЕВСКИЙ, ПАО РОСБАНК, Департамент розничных рисков, моделирования и верификации, главный эксперт

Приводятся извлечения из статьи. Полную версию материала читайте в журнале. Подписаться

Алгоритм Helena.2.0 представляет собой развитие алгоритма RandomSearch. С определенного момента алгоритм начинает сокращать пространство гиперпараметров, отбрасывая те области, в которых минимальна вероятность нахождения глобального максимума.

Каждой итерации работы алгоритма соответствуют набор гиперпараметров и значение максимизируемой функции на этом наборе гиперпараметров. После того как алгоритм проработал определенное количество итераций, мы сокращаем пространство гиперпараметров, на котором ищем максимум.

После того как алгоритм проработал заданное количество итераций, находим временный максимум по всем итерациям и объявляем его оценкой глобального максимума на данном пространстве гиперпараметров, а соответствующий набор гиперпараметров — гиперпараметрами, при которых функция достигает максимального значения.

Алгоритм Helena.2.0 успешно прошел испытания по поиску минимумов таких стандартных функций, как «Подставка для яиц» (Eggholder function) и функция Химмельблау.

Выбрать	Риски	Бухучет и налоги	Кредитный департамент	Управление банком
направление:	Розница	Внутренний контроль	Операционный департамент	Юридическая работа

О компании	Контакты	Авторам		Для клиентов (Как скачать закрывающие документы)
Помощь	Реклама	Подписным агентствам