АйТи Про: BI.Qube

Основные статьи:

• Управление данными (Data management)
• Определение Business Intelligence
• Управление качеством данных
• OLAP-системы
• ETL (Extract Transform Load)
• PaaS - Platform As A Service

2023

Решаемые задачи. Стек технологий

Решаемые задачи, в том числе технологические:

• Построение хранилищ данных, озер данных, оперативных складов данных
• Построение систем Business Intelligence
• Проектирование систем нормативно-справочной информации с формированием золотой записи
• Гибкие механизмы правил трансформации данных из учётных систем в аналитические метрики
• Аллокация по сложным условиям
• Консолидация данных
• Обеспечение и контроль качества, рассылка уведомлений
• Декларативная разработка эффективных процессов извлечения, трансформации и загрузки данных
• Оптимизация хранилищ данных, дашбордов, аналитических витрин, BI-моделей
• Система налогового мониторинга
• Визуализация данных
• Взаимосвязанные дашборды и отчеты, в том числе и для мобильных устройств

Быстрая миграция на российское ПО или open source за счет компетенций и разработанных инструментов:

• Формирование метаданных
• Подключение источников
• Построение масштабируемого КХД по методологии Data Vault
• Внедрение системы MDM
• Автоматизированная миграция КХД с дата-платформ Microsoft, Oracle, Qlik

Стек технологий:

• для хранилищ и озер: HDFS, PostgreSQL, PostgresPro, Greenplum, Arenadata
• для ETL: Apache AirFlow, Apache Kafka, Apache NiFi
• для витрин данных: ClickHouse, Arenadata
• для визуального слоя: Yandex DataLens, Apache Superset, Grafana

Заказчики:

• промышленность – Евраз, Татнефть, Русал.
• финансы – Альфа-банк, группа Меткомбанка, Энерготрансбанк, СЭБ Банк.

Включение в Реестр российского ПО. Состав и функции BI.Qube

BI.Qube включен в Реестр российского ПО, представляет собой комплекс из отдельных продуктов - инструментов автоматизации разработки корпоративных хранилищ данных (КХД / DWH) в концепции Low-code/No-code, включая компоненты для эффективной работы с данными на проприетарных и open source платформах: MetaStaging для подключения источников, MetaVault для автогенерации модели данных DWH, Meta Control для гибкого управления качеством данных, MetaMasterData для управления основными данными и реализации внесистемного учета, MetaOrchestrator для последовательно-параллельного и многопоточного запуска ETL-процессов.

Состав ПО BI.Qube Станислав Обухов, Т1 Иннотех: Автоматизация меняет функцию закупок 2.2 т

1. BI.Qube MetaStaging включен в Реестр российского ПО, запись в реестре от 24.03.2023 №17067 - извлекает данные из имеющегося DWH. Meta Staging может забирать данные порциями, накладывая условия, инкрементно, дельтами. Имеет собственный механизм настраиваемой в визуальном интерфейсе загрузки, с поддержкой параллелизма и отказоустойчивости. Автоматически формируются пакеты загрузки данных в новую СУБД.

2. BI.Qube MetaVault включен в Реестр российского ПО, запись в реестре от 13.02.2023 №16579 - без программирования укладывает данные в модель по методологии Data Vault. На вход подаются данные из BI.Qube MetaStaging, настройка выполняется через визуальный интерфейс, на выходе получается набор объектов, которые представляют собой модель данных. Построенной моделью можно управлять с использованием системы Master Data Management (MDM) в визуальном интерфейсе метакомпонента BI.Qube MetaMasterData.

3. Данные, подготовленные BI.Qube MetaVault, можно использовать путем прямого подключения любым BI-инструментом (например, Yandex DataLens) или загружать полученные данные в OLAP-систему (например, управляемый экземпляр ClickHouse).

ПО BI.Qube от компании IT Pro позволяет заместить любую дата-платформу, будь то Microsoft, Oracle или SAP BW, создавая безопасные условия для размещения данных на облачной инфраструктуре в РФ или в ЦОД заказчика. Снижение сроков и стоимости таких проектов достигается за счёт того, что большая часть работ производится в автоматизированном виде.

BI.Qube имеет функции:

1. Сканирование баз данных в автоматическом режиме
2. Сбор сведений о метаданных каждой таблицы, в том числе с учётом всех особенностей пользовательских типов данных (длина поля, описание)
3. Отправка данных в импортозамещающую СУБД в автоматическом режиме, с использованием средств секционирования при необходимости.
4. Перенастройка имеющихся ETL-процессов в процессы ELT в полуавтоматическом режиме
5. Обеспечение надёжности перемещаемых данных с помощью инструмента автоматического контроля качества и оповещения об ошибках

Ценность для заказчиков

На полученную импортозамещенную платформу можно нацелить имеющиеся у заказчика аналитические инструменты. Это могут быть как импортные развитые инструменты с бесплатной или ранее приобретенной бессрочной лицензией (Microsoft Excel, Power BI), так и развивающиеся продукты open source (Apache Superset, Grafana), либо российское бесплатное ПО (Yandex DataLens).

Решение получается безопасное, не зависящее от иностранных поставщиков, более дешёвое за счёт отсутствия лицензионных платежей зарубежным вендорам в случае open source.

2021: Регистрация в Роспатенте

Программное обеспечение BI.Qube зарегистрировано в Федеральной службе по интеллектуальной собственности, номер регистрации (свидетельства) - 2021617087.

Текущей версией программы обеспечивается автоматизация многопоточной загрузки данных из различных информационных источников, построение реляционного хранилища данных в концепции Data Vault, автоматизированная обработка OLAP-кубов с динамическим количеством секций, анализ журналов запросов к OLAP-кубам, постконтроль качества данных и оповещение об артефактах в данных, автоматизированная загрузка таблиц-фактов.

2020: Получение свойств платформы для управления корпоративными данными

В 2020 году командой IT Pro была проведена серия масштабных усовершенствований. В результате BI.Qube приобрел свойства платформы для управления корпоративными данными (data governanve), позволяющего в небольшие сроки строить сложные хранилища по методике Data Vault на платформе Microsoft.

Благодаря автоматизации наиболее трудоёмких задач и визуальному интерфейсу, реализованному в концепции low-code/no-code, инструменты BI.Qube минимизируют проблемы, связанные с отсутствием на стороне заказчика экспертизы в построении BI-решений. Метакомпоненты обеспечивают автогенерацию ETL-процессов, сокращают время реализации изменений (новых атрибутов) в хранилище, не допускают к обработке данные плохого качества, ускоряют процесс формирования метаданных и оптимизируют обработку кубов данных.

Пример типовых ситуаций на стадии разработки, в которых метакомпоненты BI.Qube упрощают работу при изменении BI-решения:

• Подключение нового источника данных
• Добавление нового справочника/измерения в источнике
• Добавление вспомогательного поля в справочнике
• Изменение типа поля в источнике
• Появление нового расчетного показателя
• Изменение существующего расчетного показателя
• Добавление нового журнала транзакций в источнике
• Перенос базы на новый сервер
• Улучшение/Внедрение пользовательского интерфейса
• Объединение файловых и безфайловых источников
• Повышение производительности работы дашборда

Замеры на реальных проектах показали существенное сокращение времени выполнения операций. При внесении изменений в слой Staging техническое время составило не более 20 минут. В слой Vault – 15 минут. В DWH – 15 минут. В многомерном кубе техническое время выполнения действий – не более 15 минут на типовую задачу.

Четыре метакомпонента BI.Qube предоставляют инструменты для значительного упрощения работы со всем стеком технологий по работе с данными – трансформации и агрегации, контроля качества, поддержки модели, управления производительностью.

2017: BI.Qube СоцАналитика

BI.Qube СоцАналитика - дальнейшее развитие аналитического DWH BI.Qube для работы с данными из социальных медиа. BI.Qube СоцАналитика демонстрирует как заставить Большие Данные из социальных медиа (соцсетей, блогов, форумов) по-настоящему работать, как с помощью их анализа повышать прибыль, становиться более конкурентоспособными, формировать новые эффективные модели коммуникации с розничными клиентами.

Уже не вызывает сомнения тот факт, что большие объемы данных самой разной природы и из самых разных внутренних и внешних систем стали источником новых знаний для организаций из многих областей экономики. Менеджеры различных направлений, опираясь на центры управления данными, объединяющие экспертов по Data Science, добиваются более ясного и детального видения своего бизнеса, новых количественных и качественных прорывов.

2014: BI.Qube - аналитическое хранилище данных

В 2014 году компания «IT Pro» представила полностью обновленный аналитический продукт BI.Qube. Преимущества продукта усиливаются через оригинальную собственную методику работы с заказчиком, включающую формирование Единого Центра Правды, поддержку изменений в хранилище данных на глубину до года, раннее прототипирование и итерационный подход, максимальное использование данных из учетных систем во избежание двойного ввода.

Технология BI.Qube («БиАй.Куб») создана на полнофункциональной платформе хранилища данных (AnalyticalDataWarehouse) и помогает оперативно консолидировать и представлять данные, накопленные за время работы финансовой организации в учетных системах – АБС, ДБО, CRM, фронт-офисе.

В BI.Qube заложена единая модель данных, адаптированная под стандарты российского банковского учета и при этом открытая для расширения и подключения других источников данных. Поэтому уже на этапе внедрения банк получает возможность формировать базовые отчеты на основе баланса, а затем постепенно расширять возможности построения регламентированной отчетности для ЦБ, управленческого и финансового анализа.

Архитектура системы, (2016)

BI.Qube имеет структуру для сбора, хранения и представления данных. Консолидируя сведения из разных систем, продукт служит единым источником данных по всем основным бизнес-объектам – срочным договорам, операциям, клиентам, подразделениям, продуктам. Модель данных BI.Qube разработана с учетом российской специфики учета, потребностей средних кредитных организаций. Базовой платформой BI.Qube выступал Microsoft SQL Server.

Информация содержит несколько уровней детализации, например:

• банк – филиал – подразделение – менеджер,
• бизнес-направление – продукт – договор,
• холдинг – группа клиентов – клиент и т.п.

За счет такого иерархического подхода достигается максимальная прозрачность данных, и всегда есть возможность оценить вклад определенного договора, счета, операции, проводки, клиента, подразделения, менеджера в агрегированный показатель.

Консолидация данных, (2016)

BI.Qube обогащает накопленные собственные данные информацией из внешних источников. Например, данные по клиентам - сведениями, загруженными из более чем 300 млн профилей пользователей социальных сетей. BI.Qube может служить источником данных для сторонних систем, например, предоставлять консолидированную информацию по клиентам в CRM или фронт-офис.

BI.Qube учитывает специфику российских банков, в его основе лежит план счетов РСБУ и баланс, формируемый из счетов и проводок, поддерживается обновление данных на любую глубину в архиве. Такой подход обеспечивает качество данных в хранилище и доверие к данным. Наличие полноценной банковской модели (план счетов, реквизиты операций и платежей, модель срочных сделок) позволяет решать задачи, связанные с регламентированной отчетностью – такие как расчет нормативов, формирование приложений 1-6 к ФОРу, подготовка данных для кредитных форм (ф.117, 118), формирование реестра вкладчиков и т.п.

Особенности использования

• Скорость инсталляции и ориентация на бизнес-задачи российских банков. Первые результаты передаются в эксплуатацию через 2-3 месяца от начала проекта.
• Качество данных, сверка с балансом с точностью до копеек.
• Гибкость системы за счет применения правил и ассоциаторов.
• Готовые методики и практическая реализация для решения бизнес-задач банков - плана счетов управленческого баланса и ОПУ, методики сегментации клиентов, платежного календаря, отдельных регламентированных отчетных форм и моделей данных для их формирования, и т.п.
• Использование специализированных технологий и платформ обработки данных для быстрой трансформации исходных данных в понятную и удобную бизнес-заказчикам структуру.
• Устранение "несвойственной" нагрузки на АБС и другие учетные системы за счет снижения нагрузки на БД, упрощение интеграции приложений в ИТ-ландшафт банка.

2010: iB Analytics

Компанией «IT Pro» в 2010 году было представлено решение iB Analytics, предназначенное для формирования управленческой отчетности, включая оценку эффективности подразделений и прогнозирование. Оно было создано специально для банков сегмента SME, что предполагает сжатые сроки внедрения и фиксированные бюджеты. В партнерстве с компанией «Инверсия», специализирующейся на комплексной автоматизации кредитно-финансовых организаций, решение iB Analytics было локализовано для связки с АБС «Банк 21 Век», комплексное решение получило имя "Интеллектуальный банк".