Отечественная платформа логической репликации данных

Решение следующих задач:

• Миграция данных

• Реализация Stand-In, Active-Active

• Репликация данных в корпоративное хранилище данных с учетом фильтрации и преобразования форматов

• Передача данных в системы отчетности

• Публикация данных из БД в Kafka для событийной обработки

• Публикация данных из БД в Kafka для множества подсистем

• Сбор логов, перекладка сообщений между брокерами сообщений

• Репликация событий

• Репликация данных в S3

• Замена Oracle Golden Gate

2000+ инсталляций в контуре:

• 70% инсталляций используется для репликации данных в корпоративную аналитическую платформу

• 10% инсталляций для организации StandIn и репликации данных с Т-1 задержкой

• 10 % инсталляций для репликации данных в S3

• 10% - для других точечных задач репликации

Экономия стоимости владения продуктом (для конечного клиента) в 2,5 раза на 1cPU по сравнению с Oracle Golden Gate (42 р в сутки против 107 рублей в сутки за cPU)

Платформа логической репликации – интеллектуальная собственность ПАО «Сбербанк» (зарегистрирована в Роспатент и РРПО)

Connector MySQL

Connector Pangolin

Connector Oracle

Kafka Cluster

Cluster Платформы

Проблема 1. В Банке многие Клиенты разрабатывают свои решения для репликации DB -> Kafka и Kafka -> DB.

Это приводит к:

• дублированию решений;

• нерациональному использованию ресурсов разработки;

• снижению безопасности из-за отсутствия единого подхода к разработке и обновлению.

Проблема 2. Использование opensource-решений (Debezium, Kafka Connect) «as is» невозможно без доработок в части кибербезопасности (например, в части авторизации, аутентификации, аудита, интеграции с SecMan (внешнее хранилище секретов) и др.)

Проблема 3. Необходимость быстрого вендорозамещения Oracle Golden Gate без потери качества, при этом решением не дороже Oracle Golden Gate.

Платформа логической репликации – это инструмент для масштабируемой и надежной потоковой передачи данных между разными типами систем хранения данных посредством Kafka. Платформа работает на ОС SberLinux. Может использоваться в ЗОКИИ, т.к. зарегистрирована в ЕРРП.

Платформа логической репликации может использовать базы данных или собирать показатели с серверов приложений с записью в топики Kafka, делая данные доступными для потоковой обработки с низкой задержкой. Соединитель (коннектор) экспорта данных  может вычитывать данные из топиков Kafka во вторичные индексы, такие как Elasticsearch, или в пакетные системы, такие как Hadoop, для автономного анализа.

Содержит собственные доработки, позволяющие обеспечить повышенные требования к безопасности и целостности передаваемых данных.

Открывает возможность разработки новой функциональности по требованиям Банка.

Россия