Внутренние данные: ищем новые варианты использования
Размещено на сайте 24.09.2024
Внутренние данные могут приносить бизнесу пользу, если применить их в новых задачах. Подключение таких источников позволяет обогащать базы, улучшать качество моделей машинного обучения и создавать новые. Как их искать, зачем и куда подключать, как они могут быть полезны и какую подготовительную работу проводит команда Альфа-Банка, прежде чем их подключить?
Иван МЕТЕЛКИН, Альфа-Банк, Департамент продвинутой аналитики, руководитель
направления развития внутренних источников данных
Полина КОТОВА, Альфа-Банк, Департамент продвинутой аналитики, старший эксперт
направления развития внутренних источников данных
Приводятся извлечения из статьи.
Полную версию материала читайте в журнале.
Подписаться
Анкета не только помогает структурировать процесс интервьюирования заказчика, но и закладывает основу для успешного выполнения проекта. Точно сформулированные бизнес-требования напрямую влияют на успешность интеграции данных, ее сроки и качество.
|
Для поиска используется набор инструментов: (1) архитектурный комплекс документации; (2) внутренние инструменты, в которых хранится описание баз данных, например Open Meta Data.
|
Если степень соответствия данных требованиям заказчика выше определенного порога (например, 85%), можно приступать к промышленной интеграции данных. Если данные соответствуют только частично, обсуждаются дополнительные меры.
|
Еще до начала работ рассматриваются различные методы интеграции данных с Hadoop. Например, часто используются такие инструменты, как ETL (Extract, Transform, Load), фреймворки для обработки данных (Apache Spark) и прямой доступ к данным с использованием API.
|