Внедрение Lakehouse-платформы Data Ocean Nova в Альфа-Банк
- Заказчик:
- Альфа-Банк
- Руководитель проекта со стороны заказчика
-
- Поставщик
- Data Sapience
- Год завершения проекта
- 2025
- Сроки выполнения проекта
- апрель, 2024 — ноябрь, 2025
- Масштаб проекта
- 10000 человеко-часов
- Цели
Импортозамещение старой big data на базе сборки Clouder-a
В среднем поток изменений данных, загружаемых в Lakehouse, после внедрения Data Ocean Nova составляет 7 000 RPS Upsert операций с продолжительными пиковыми значениями до 15 000 RPS. Больше 200 таблиц загружаются онлайн в режиме Upsert. На данный момент в системе суммарно ~600 Тб сжатых полезных данных в S3. Текущие мощности решения рассчитаны на хранение 2,4 Пб данных в сжатом виде, и с учетом планов 2025-2026 года по миграции Hadoop кластеров и Oracle Exadata в Data Ocean Nova планируется расширение до 6 Пб в течение полутора лет. Производительность объектного хранилища S3 в настоящий момент составляет 45/70 (Put/Get) гигабайт/с, что позволяет обеспечить все бизнес требования большого количества пользователей и сервисов. Объектное хранилище развернуто в отказоустойчивой геораспределенной конфигурации.
Уникальность проекта
Внедрение Data Ocean Nova в IT-инфраструктуру Альфа-Банка позволило решить задачи Real-time Data Hub. Благодаря интеграции Lakehouse-платформы стало возможным получать оперативные изменения из 200+ систем, сократился зоопарк технологий и понизилась стоимость IT-инфраструктуры банка. Данные из разных источников теперь агрегируются в одном хранилище и в едином формате. Пользователи могут обращаться к оперативным данным хаба для проверки гипотез (ad-hoc анализ над real-time ODS) и строить онлайн-отчетность над ODS. Были обеспечены предоставление data-сервисов, обучение моделей и проверка их функциональности.
- Использованное ПО
Решение Data Ocean Nova – первая российская Lakehouse-платформа данных нового поколения, представленная отечественным вендором Data Sapience, доказав свою высокую эффективность, было внедрено в инфраструктуру Альфа-Банка на промышленной основе.
Data Ocean Nova – универсальная Lakehouse-платформа данных нового поколения, представленная вендором Data Sapience. Продукт решает комплексные задачи массивно-параллельной обработки данных. В том числе позволяет создавать и масштабировать оперативные слои данных в реальном времени, бесшовно работать с CRM- и ML-платформами, предоставлять федеративный доступ к базам данных и выступает в качестве виртуального хранилища. Поддерживает on-premise инсталляцию, частное облако и гибридный сценарий использования, а также Multi-tenant развертывание для создания изолированных сред на базе общей инфраструктуры.
- Сложность реализации
При выборе платформы данных Альфа-Банк руководствовался определенными требованиями. Решение должно поддерживать масштабирование оперативного слоя данных и предоставлять возможность изолирования ресурсов на регламентные процессы и аналитические задачи с поддержкой мультитенантности в одном кластере. Также платформа должна обладать инструментами разработки собственных приложений для работы с данными, иметь высокопроизводительный и высококонкурентный MPP-движок для SQL ELT, решать задачи DWH и Data Lake одновременно. Обновление всех компонент должны быть независимым. Решение должно разворачиваться в окружении Kubernetes, обладать высокой отказоустойчивостью и возможностью гетерогенной работы из коробки. Важным также являлось следование современной архитектурной парадигме разделения compute и storage слоев. Lakehouse-платформа Data Ocean Nova обладает всеми перечисленными требованиями, поэтому выбор банка остановился на ней.
- Описание проекта
Начиная с 2023 года Альфа Банк пилотировал и искал платформу больших данных для импортозамещения старой big data на базе сборки Clouder-a. В 2025 г. решение Data Ocean Nova – первая российская Lakehouse-платформа данных нового поколения, представленная отечественным вендором Data Sapience, доказав свою высокую эффективность, было внедрено в инфраструктуру Альфа-Банка на промышленной основе. Среди предпосылок для интеграции можно выделить: потребность в загрузке данных и формирование отчетов в режиме NRT, а также накапливать историю изменений состояния источников при условии, что источники данных нельзя нагружать.
- География проекта
Только РФ