30 июня 2020 года состоялась онлайн-конференция TAdviser «Управление данными в новых условиях». На мероприятии участники рассмотрели вопросы, для каких предприятий и на какой стадии ИТ-зрелости актуально внедрение процессов и технологий Data Governance, методологии и решения для управления данными, а также практический опыт в этой области.

В конференции приняли участие 110 человек, представляющих организации госсектора, ритейла, банковской, авиационной и других отраслей экономики. В их числе – Аналитический Центр при правительстве РФ, Счетная Палата РФ, Центр информационных технологий Тюменской области ГКУ ТО, Национальный медико-хирургический центр, Комитет финансов Волгоградской области, ВТБ, Россельхозбанк, «Юникредит Банк», «Сбербанк - АСТ», S7 Airlines, «Газпромнефть - Цифровые Решения», «Трансмашхолдинг», X5 Retail Group, «Дикси», «Швабе», «Объединенная металлургическая компания», «Лукойл» и многие другие.

Вел мероприятие Сергей Федечкин, ведущий архитектор по данным, «Банк ВТБ».

Заказчики – о власти качества данных

Иван Черницын, руководитель центра аналитических решений дирекции региональных продаж «Газпром нефть», остановился на ряде аспектов по работе с аналитикой и управлению данными в период пандемии и удаленной работы. В компании внедрена комплексная платформа для аналитики и управления данными, рассказал спикер. Она включает озеро данных на основе Arena Data Hadoop, BI-платформу, аналитическую «песочницу» и систему Data Governance, которая базируется на стеке продуктов Informatica. Сюда входят бизнес-глоссарий, корпоративный каталог данных, система управления качеством, пользовательский портал, а также выделенный инструмент для интеграции данных.

Иван Черницын, руководитель центра аналитических решений дирекции региональных продаж «Газпром нефть»

Портал является вершиной этой системы, поскольку интегрирует данные всех систем и показывает их конечным пользователям – не специалистам ИТ. При этом пользователь имеет возможность здесь как в поисковике искать различные объекты данных: технические, бизнес-объекты, может видеть иерархию данных, их происхождение, даш-борды и многое другое. Это инструмент, нацеленный на демократизацию данных, популяризацию платформы управления ими среди пользователей как доверенного источника данных для всех подразделений.

Во-первых, мы сфокусировались на развитии портала управления данными как инструмента демократизации работы с данными, - рассказал Иван Черницын. - У нас есть линии поддержки пользователей по качеству данных, все консультации предоставляются в виде гиперссылок на портал. Пользователи активно заходят на него, это ускорило наполнение портала контентом. Второе – мы сфокусировались на развитии портала по наиболее популярным направлениям, выясненным по результатам опроса. Активировали большое количество уведомлений по разным событиям, которые портал рассылает пользователям, интегрировали портал с базами знаний, разработали обучающий курс. В результате за три месяца мы увеличили количество пользователей портала в 2,5 раза, а изначально планировали к концу года увеличение на 20%.

Иван Чернецов перечислил три ключевых изменения в работе компании в эпоху пандемии:

• изменился клиент, престижное потребление сменилось на режим выживания, когда люди стали больше экономить и минимально тратить;
• изменились приоритеты клиента – выросла потребность в безопасном обслуживании на АЗС, если говорить о розничном клиенте, и появился запрос на отсрочку платежей, если это корпоративный клиент;
• все перешли на удаленный режим работы.

Новая ситуация повлияла на проекты в области управления данными:

• текущие проекты были приостановлены, все силы переброшены на создание оперативных даш-бордов для мониторинга ситуации с целью выработки тактических решений;
• на изменившемся рынке появились новые источники данных;
• детальное погружение в изменение поведения клиентов, новый маркетинг в связи с тем, что эти изменения долгосрочны;
• перестали работать все аналитические модели, построенные на прежних трендах;
• ускоренное развитие инструментов онлайн-продаж, бесконтактной оплаты;
• адаптация внутренних процессов и инструментов компании к удаленной работе.

В заключение спикер рассказал о необходимости постоянно повышать грамотность сотрудников в работе с данными. Сегодня все обучение в компании проводится онлайн, акцент сделан на ознакомительные, вводные курсы, ориентированные на новых сотрудников или тех, кто переведен на новый функционал. Онлайн-курсы пользуются большой популярностью, отметил Иван Черницын. Количество слушателей выросло на порядок: на очных курсах было 15-20 человек, в онлайне 150 – 200.

Руководитель отдела по управлению данными Total Сергей Фокин рассказал о том, как работать с данными в гибридном облаке, поделился опытом и планами развития ИТ нефтегазовой компании в этом контексте. ИТ-платформа, работающая в Total, используется для моделирования и интерпретации всех подземных данных при разведке и добыче, начиная с сейсмографии, данных по скважинам и заканчивая статическим и гидродинамическим моделированием. Все модули платформы связаны с модулями управления данными, подчеркнул спикер.

Руководитель отдела по управлению данными Total Сергей Фокин

На сегодня платформа - это монолитное приложение, которое существует как в стандартной инсталляции на площадке, так и в облаке. Облачной инсталляцией на сегодня пользуется 15% пользователей (до пандемии – 5%), к 2023 году планируется перевести в облако порядка 80% пользователей.

Основная цель при этом, заметил Сергей Фокин, – чтобы озеро данных не превратилось в помойку, поскольку облако ставит новые вызовы касательно и структуры данных, и управления ими. Важное изменение внутренней политики компании – решили больше использовать открытые технологии, в связи с чем, чтобы не разрабатывать все собственными силами, присоединились к сообществу платформы OSDU (Open Subsurface Data Universe).

В заключение спикер поделился планами на будущее – переход на единую облачную платформу Microsoft Azure (сейчас используется также Google СP), микросервисную архитектуру с использованием сторонних решений, при этом уникальные алгоритмы в компании планируется продолжать разрабатывать самостоятельно.

С началом пандемии спрос на облачные решения вырос многократно, потому что не все хорошо работает через классический VPN-канал, - констатировал Сергей Фокин. - Облачное решение позволяет быстро масштабироваться, увеличивать мощности. Но чудес не бывает – миграция в облако поставила вопрос по управлению данными, а это непросто. Есть данные, которые нельзя размещать в облаке, потому что они конфиденциальные. Нельзя размещать и все, что связано с американскими санкциями, а это порядка 15% от общего объема данных компании. У нас есть проекты в Иране. Они заморожены, но данные по ним хранятся. А поскольку мы используем американских облачных провайдеров, данные, касающиеся таких стран как Иран, безусловно, в американском облаке размещать нельзя. Так что всегда будут данные, которые надо хранить локально.

После доклада спикеру был задан вопрос из чата о практике использования Agile. Сергей Фокин ответил, что переход на гибкие методологии разработки был реализован, и это было требованием бизнеса. Раньше создавалась одна новая версия платформы в год или даже в два года, а потом осуществлялось ее долгое и болезненное внедрение. Использование Agile позволило облегчить управление изменениями: сегодня выпускается 4 версии в год, изменения внутри каждой не столь кардинальны, как было раньше.

Директор департамента по работе с данными X5 Retail Group Тигран Саркисов рассказал, что период карантина был непростым, но компания успешно преодолела его и не в последнюю очередь - за счет работы с данными. Уже в самом начале пандемии в компании ожидали роста спроса на социально-значимые товары, отметил спикер. Чтобы как следует подготовиться к этому, были подняты архивные данные по кризису 2014 года, скорректированы прогнозы, товарные запасы. В результате дефицит товара на полках не был допущен.

Директор департамента по работе с данными X5 Retail Group Тигран Саркисов

В числе трудностей было и требование быстрого перевода сотрудников на удаленку. Это было в планах компании, отметил спикер, но предполагалось как постепенный процесс. Перевод был реализован за две недели – в том числе за счет мобильных устройств.

В числе приоритетов с учетом новой ситуации – безопасность сотрудников и покупателей. Для обеспечения безопасности покупателей были запущены онлайн-сервисы доставки из «Перекрестка» и «Пятёрочки». Спикер подчеркнул, что это было реализовано не как временные сервисы, на период пандемии, а промышленные решения, которые можно будет использовать и впоследствии.

Если говорить про долгоиграющие последствия пандемии, то новый приоритет – безопасность сотрудников и покупателей, и в этом направлении у нас реализуется много проектов, - рассказал Тигран Саркисов. - Первое направление – бесперебойная работа складов и магазинов. Болезнь любого сотрудника – риск остановки складов и магазинов, поскольку один человек заболел и вся смена снимается. Задача – улучшить работу с сотрудниками, понимание их профилей, местонахождения, повышение качества защиты. Эту задачу мы успешно решили, в том числе благодаря работе с данными. В целом, мы научились двигаться кратно быстрее, принимать решения и не бояться ошибок.

С точки зрения архитектуры, отметил Тигран Саркисов, все построено на единой микросервисной инфраструктуре, данные доступны в режиме онлайн покупателям, в том числе - с мобильных устройств. Были внедрены инновации и в торговых залах – например, кассы самообслуживания.

На создании платформы управления данными и, в частности, на проблеме определения владельцев данных остановился заместитель генерального директора, директор по управлению данными группы компаний S7 Никита Матвеев. Спикер рассказал, что S7 занимается не только авиаперевозками пассажиров, но и другими операциями: техническим обслуживанием воздушных судов (более 50% всех самолетов на территории РФ), подготовкой пилотов (не только для S7), карго-перевозками.

Заместитель генерального директора, директор по управлению данными группы компаний S7 Никита Матвеев

В холдинге идет работа по созданию платформы для управления данными, включающей MDM-систему, озеро данных, корпоративное хранилище данных, а также большого набора систем с использованием машинного обучения для повышения эффективности подразделений.

Никита Матвеев рассказал, как решаются проблемы определения владельца или, другое название, «стюарда данных». Из двух возможных подходов – сделать офис по управлению данными с нуля, наняв новых владельцев данных со стороны, и выделение стюардов из работающих подразделений – был выбран второй. Поиск владельцев данных начали с того, что разделили данные на домены и под-домены, за каждым из которых и был закреплен ответственный сотрудник. В итоге на роль владельцев были выделены сотрудники управления данными, специалисты других ИТ-подразделений и бизнес-специалисты. Общее количество стюардов данных для нескольких доменов - порядка 40, масштабирование на другие домены продолжается.

Таким образом, резюмировал Никита Матвеев, в компании назначили ответственных за данные, сделав эту ответственность понятной и прозрачной для всех, внедрили процессы управления данными, избежав при этом дополнительных затрат.

Владельцы данных – те, кто фактически исполняет процессы, разработанные в рамках управления данными, - пояснил Никита Матвеев. – Это критичные для компании люди и очень важно, чтобы это они были правильно мотивированы и обладали правильными компетенциями. Спектр их задач широк, в том числе – вести каталог метаданных, улучшать и развивать политики по управлению, следить за качеством данных и обеспечивать их безопасность, предупреждать инциденты. В общем случае проблемы с данными могут привести к двум неприятным вещам – проблемы с корпоративной отчетностью и в бизнес-процессах. И то, и другое критично для компании и когда они возникают, приоритет по их решению один из наивысших.

На вопрос ведущего, как возможно управлять владельцами данных, если они организационно находятся в разных подразделениях, спикер ответил, что управление осуществляется посредством политик. Создается политика централизованного ведения каталога данных, где сказано, каким образом описываются данные. Дальше возможны варианты. В идеале нужно договориться с владельцем данных напрямую, чтобы он этой политике следовал, но можно договориться с руководителем подразделения, где стюард работает, в худшем случае – спускается сверху приказ генерального директора о необходимости следовать политике.

Об управлении изменениями на основе методологии Data Governance на примере внедрения SalesForce CRM рассказал Антон Трефилов, к.т.н., CDO компании RUMEX– американском производителе медицинского оборудования с российскими корнями, поскольку производство находится в России. Антон Трефилов отметил, что разница между управлением данных и Data Governance сродни разнице между управлением и надзором, и сначала нужно создать то, над чем будет осуществляться надзор.

Антон Трефилов, к.т.н., CDO компании Rumex

Спикер коснулся предыстории проекта, рассказав, что решение SalesForce CRM уже внедрялось несколько лет назад. Первое внедрение прошло неудачно, в основном, по оценке Антона Трефилова, в связи с тем, что осуществлялось своими силами, а не внешним интегратором, обладающим набором необходимых компетенций. Перед тем, как перейти к подробностям, спикер напомнил об известном подходе к управлению изменениями Джона Коттера, включающем восемь шагов:

• создать модель безотлагательности действия;
• сформировать команду единомышленников;
• создать видение;
• пропагандировать новое видение;
• создать условия для претворения нового видения в жизнь;
• спланировать и достичь ближайший результат;
• консолидировать достижения и расширить преобразования;
• зафиксировать новые подходы.

Антон Трефилов «вплетал» модель Data Governance в эти шаги с привязкой к внедрению SalesForce CRM. Так, с точки зрения фокуса на качество данных при внедрении, спикер выделил один из этапов проекта, ставший, по его оценке, ключевым – было организовано общее обсуждение всех объектов системы и всех значений полей этих объектов. Это было критически важно, поскольку в результате неправильной и бесконтрольной эксплуатации в прошлом, система обросла большим количеством нестандартных объектов, полей, статусов, типов данных, которые между собой конфликтовали. Кроме того, был пересмотрен подход к интеграции с другими системами, в том числе – с системой электронной коммерции.

Данные – это не что-то абстрактное в табличках и системах, а реальная ценность и актив компании. И это первый постулат, который необходимо внедрять в сознание сотрудников, - заключил Антон Трефилов. - При подготовке проектной документации в части управления рисками качество данных необходимо выделять в отдельный риск. Это позволило нам на протяжении всего проекта внедрения SalesForce фокусироваться на качестве. А изучение опыта других компаний по внедрению продукта позволило привлечь внимание компании к назревшим изменениям.

Наталья Раевская, директор по проектному правлению корпоративного проектного офиса, «Ак Барс Банк», рассказала, что проектное управление в банке с прошлого года мигрирует в стратегическую сферу, причем с добавлением элементов управления данными. В ходе миграции идет тесное взаимодействие с офисом по управлению данными. Спикер назвала три основных домена, которые наиболее интересны в контексте управления стратегическими изменениями с привлечением системы управления данными:

• управление архитектурой данных;
• управление качеством данных;
• хранение данных и управление бизнес-аналитикой.

Наталья Раевская, директор по проектному правлению корпоративного проектного офиса, «Ак Барс Банк»

Наталья Раевская обозначила три принципа, которые необходимо встроить в управление банком:

• управление данными через бизнес-стратегию;
• начинать следует с повышения зрелости управления данными;
• ускорение возможности применения данных.

Мы рассматриваем стратегическое управление как часть управления изменениями. Мы ставим перед собой цель максимально тесно взаимодействовать с офисом по управлению данными, потому что нуждаемся друг в друге, - сообщила Наталья Раевская. - Для того чтобы успешно встроить процессы управления данными в управление стратегией мы выделили ключевые участки, на которых видим максимальную пользу - это проектная или текущая деятельность в части продуктовой команды. В части контроля и мониторинга данные помогут нам сформировать отчеты и аналитику. В части корректировки максимальная польза от данных будет в каналах, продуктах и клиентах.

Вендоры – о технологиях и инструментах

Эксперт по развитию технологий Commvault в России Евгений Пухов рассказал о новых продуктах компании, связанных с аналитикой и структурированным хранением данных в промышленных системах. Традиционный флагманский продукт Commvault обеспечивает резервное копирование и защиту данных, напомнил спикер. Новые продукты - это попытка применить на данных продуктивных систем те методы, которые применялись для вторичного контента, и для Commvault это «выход из зоны комфорта», подчеркнул он.

Эксперт по развитию технологий Commvault в России Евгений Пухов

Структурированные данные, хранимые и обрабатываемые в ERP, CRM и других продуктивных системах занимают всего лишь 10-15% от общего реального объема контента, отметил спикер. Любая корпоративная среда сегодня является унаследованной, имеет множество файловых данных, в том числе в ноутбуках сотрудников, на которые они устанавливают собственные приложения, на личных устройствах с корпоративными приложениями. Множественные копии файлов, результаты резервирования данных и прочий неструктурированный контент, в том числе облачный - их объем может в несколько раз превышать объем данных в продуктиве. Соответственно, система по управлению данными должна воплощать единый подход к работе с этими разнообразными данными, должна уметь работать и с активным, и с неактивным контентом, уметь определять местоположение тех или иных данных, оценивать степень их критичности и многое другое.

Спикер обозначил три новых направления работы компании:

• программно-определяемые системы хранения для продуктивных сред;
• анализ данных в продуктиве, а не только в резервной копии на базе Commvault Activate с графической визуализацией, в плане функционала – файловая оптимизация, тонкое управление данными, аудит на наличие персданных и др.;
• валидация на предмет защиты систем заказчика, построенных на основе свободного кода.

Евгений Пухов отметил, что выход на рынок программно-определяемых СХД связан с тем, что изменились его реалии. Большинство финансовых компаний стараются сегодня уходить от покупки коробочных СХД, переходят к модели покупки однотипных серверов, на которые ставится программная платформа. И второй важный момент – технология контейнеризации требует другого подхода к управлению содержимым. Новые системы должны работать на уровне виртуальных машин, объектов, контейнеров. Эти факторы в совокупности предоставляют новым игрокам возможность выйти и закрепиться на рынке программно-определяемых СХД.

Хорошая система управления данными должна уметь хорошо работать с разными типами контента, - сказал Евгений Пухов. - Как со структурированным - современными СУБД и OLAP-системами, так и с неструктурированным, который представлен в виде файлов, хранимых в облаке, локально или в гибридных конфигурациях. Наши продукты универсальны, позволяют решать задачи в любой сфере – финансовой, ритейле и других, поддерживают работу со всеми реляционными базами данных, к которым можно обратиться по SQL, запросить содержимое.

На проблематике и технологиях управления данными остановился в своем выступлении Олег Гиацинтов, технический директор компании DIS Group – поставщика решений для управления данными, в первую очередь на базе Informatica, но также и ряда других мировых вендоров. Олег Гиацинтов указал, как изменялось понимание ценности данных минувшие 20 лет. Сначала ценными считались данные на рабочих местах, они и автоматизировались. Потом пошла автоматизация сквозных процессов, создание единого информационного пространства и единой версии правды, – те процессы, которые участвовали в этом, и создавали ценность для бизнеса.

Олег Гиацинтов, технический директор компании DIS Group

Затем появилось понятие «данные 3.0» – сами данные и есть самая большая ценность, и, наконец, «данные 4.0»: самое ценное – данные, управляемые на основе искусственного интеллекта, который привносит принципиально новые возможности, подсказывая, как эффективнее работать с данными, ускоряя бизнес-процессы.

Спикер остановился на концептуальной архитектуре управления данными 4.0, которая базируется на следующих компонентах:

• бизнес-глоссарий – каталог терминов;
• каталог метаданных на уровне физической модели данных;
• решение, обеспечивающее доставку и интеграцию данных;
• аудит и оценка качества данных;
• защита данных.

Комплекс таких решений позволяет описать данные на всех уровнях, отметил Олег Гиацинтов, понять, что они представляют в связке со всеми системами, людьми, бизнес-процессами, проектами, рабочими группами.

Ключевые эффекты от внедрения управления данными и технологии больших данных:

• оптимизация сроков разработки отчетности и аналитики на 40%, снижение затрат на проработку аналитических гипотез;
• сокращение времени вывода продуктов на рынок, повышение лояльности клиентов и уровня продаж;
• снижение ТСО инфраструктуры, упорядочивание интеграции;
• повышение качества и достоверности данных, поступающих на анализ и в отчетность.

В заключение спикер упомянул два проекта, в котором участвовала его компания: в «Газпром нефть» было построено умное озеро данных, применен новый, комплексный подход и внедрение новой системы управления данными в ВТБ. Отвечая на вопрос о типовых технических трудностях при создании новой системы управления данными, Олег Гиацинтов отметил, что первая проблема – обеспечение взаимодействия каталога данных с системными источниками – они всегда «разношерстные», вторая – связь физической модели данных с терминологией логической модели. Настройка системы в этом контексте – итерационный процесс, подчеркнул спикер.

Управление данными – очень хорошая поддерживающая технология, - убежден Олег Гиацинтов. – Она помогает ускорить бизнес-процессы, которые сильно зависят от качества и скорости обработки данных. Основным эффектом внедрения управления данными станет сокращение времени вывода новых продуктов на рынок, time-to-market, и существенное ускорение развития бизнеса компании в целом.

Партнер конференции компания Commvault

Компания Commvault — ведущий поставщик платформенных программных решений для управления информацией и защиты корпоративных данных, которые помогают компаниям по всему миру превратить свои данные в стратегический актив и поставить их на службу бизнесу. Commvault поставляет решения напрямую и через развитую партнерскую сеть по всему миру и представляет одну из самых широких на рынке линеек продуктов для защиты, восстановления, архивирования и синхронизации данных, включая возможности работы в облачных и виртуализированных средах.

За свое технологическое видение и постоянное стремление к инновациям компания Commvault завоевала доверие клиентов и партнеров. Фокус Commvault на управление данными позволяет компании предоставлять решения, которые подходят компаниям различных размеров, работающим в различных индустриях, и могут быть развернуты в любой среде, на любой аппаратной базе или предоставляться как сервис. В команде Commvault работает более 2500 высококвалифицированных специалистов. Компания торгуется на NASDAQ (CVLT). Штаб-квартира находится в Тинто Фоллс, Нью Джерси, США.

ПО Commvault или Commvault Data Platform – это комплексное решение для управления информацией, построенное с нуля на единой платформе и использующее унифицированную базу исходных кодов. В основе нашего ПО лежит единый набор ключевых функций, а именно: защита приложений, сбор, перемещение, хранение и мониторинг данных. Все функции используют одни и те же серверные технологии, и этот по-настоящему целостный подход к защите, управлению и организации доступа к данным обеспечивает непревзойденные преимущества.

https://www.commvault.com/ru-ru/