Руководители Polymatica – о том, как передовые BI-технологии становятся продуктом массового спроса

Сергей Куликовский: Мы приняли решение о том, что будем развивать два направления, уже традиционную для нас вендорскую модель, где мы показали отличные результаты в госсекторе, и сервис на базе специальной редакции Polymatica в облаке. Практически все наши заказчики – крупные компании из России и Европы, с большим количеством пользователей и одновременных сессий. Только в ФНС доступ к платформе имеют тысячи сотрудников, которые работают с аналитикой каждый день. Мы убеждены, что тот аналитический инструментарий, который мы производим, отлично подходит массовому потребителю из сегмента SMB, что подразумевает реализацию в формате продаж коробочного продукта или услуги по подписной модели. Помимо роста пользователей в России, это позволит укрепить наши позиции на международном рынке.

Сергей Куликовский: Можно рассмотреть два рынка: западных решений и отечественных продуктов. Так, западные аналитические ИТ-решения четко делятся на два класса, практически не пересекающихся друг с другом. Первый класс – это решения визуальной аналитики: Tableau, Qlik, Power BI и др., - хорошие инструменты для проектирования дэшбордов, которые не стыдно положить на стол руководителю. Однако найти ответ на вопрос, почему данные в том или ином отчете выглядят именно так, они могут и не дать. Чтобы ответить на вопрос «Почему?», нужны другие инструменты – средства исследования данных. К ним относятся, в частности, решения SAS, SAP, Informatica. Они предназначены для обработки больших объемов информации, поддерживают методы статистического и вероятностного анализа данных, а также прогнозирования. Важно, что с этими сложными инструментами работают профессиональные аналитики, которые не только хорошо разбираются в деталях математической статистики и теории вероятности, но и умеют программировать на специфических языках, придуманных для обслуживания конкретных платформ.

Таким образом, получается, что в крупной компании работает две группы пользователей аналитических решений. Во-первых, бизнес-пользователи, которые получают красивые отчеты визуальной аналитики. Во-вторых, корпоративные аналитики, к которым обращаются бизнес-пользователи, чтобы узнать, каким образом формируются те или иные цифры на диаграммах. На самом деле многие задачи, нужные бизнес-пользователям, вовсе не требуют участия профессионального аналитика. Более того цифровая трансформация и data-driven подход требует смены парадигмы. Самостоятельно найти в данных что-то интересное становится частью ежедневных обязанностей каждого амбициозного сотрудника среднего звена. Представляете, как это меняет все процессы, скажем, в маркетинге? Раньше было: один рынок - один сегмент – одна политика. А сейчас: множество сегментов и для каждого сегмента – множество сценариев. Но для того, чтобы получить один сценарий, нужно отработать множество гипотез: в условиях автоматизированной продвинутой бизнес-аналитики пользователь работает с сотнями гипотез и сценариев. Это совсем другой стиль жизни, к которому стремятся все компании, заинтересованные в получении конкурентных преимуществ из данных.Витрина данных НОТА ВИЗОР для налогового мониторинга

Вот эту нишу мы и решили занять.

Мы разработали инструмент, который позволяет самому бизнес-пользователю работать с большими объемами данных, выполнять исследовательские задачи, с помощью понятного интерфейса. В определенной мере нас вдохновлял пример Excel – мы хотели создать такой же простой в использовании продукт, который, тем не менее, позволяет решать весьма сложные задачи.

Сергей Куликовский: Не совсем. Во-первых, наша система, хоть и работает, подобно OLAP-серверу, но только в режиме, близком к реальному времени. Ведь традиционно OLAP-аналитика – это система отложенных вычислений. Обычно задача подготовки данных для аналитики ставится с вечера: ночью идет расчет агрегатов, и на следующий день утром они доступны бизнес-пользователям. Мы же сделали такое решение, которое позволяет все эти процедуры выполнять практически в режиме реального времени.

Сергей Куликовский: Можно привести такой пример: возьмите все магазины, скажем, торговой сети «Ашан» по всей России, и все продажи в этих магазинах за год. Так вот, детализация всех продаж за год по всем магазинам до каждой позиции в чеке – это тот объем, который мы можем обработать на лету. С точки зрения быстродействия аналитических процедур, это можно назвать: OLAP, работающий в режиме реального времени. Но это только один аспект.

Второй аспект – борьба с «грязными» данными. В случае традиционных аналитических систем, если аналитик видит, что в подготовленных данных есть ошибки, то он вначале должен скорректировать их в исходной системе, потом дождаться, пока изменения пройдут по всем информационным системам, заново сформируются обновленные агрегаты, и лишь потом продолжить свою работу. Если провести аналогию с Excel – там нельзя менять данные в сводной таблице. А мы в этой части значительно упростили работу аналитиков – они могут вносить правки буквально на лету.

И аспект, имеющий ключевое значение. В отличие от традиционных OLAP-механизмов, которые дают возможность аналитику работать только с агрегированными данными, то есть уже определенным образом обработанными, наш инструмент позволяет при желании спуститься до уровня исходной детализации. Это означает, что пользователь имеет возможность увидеть те паттерны в исходных данных, которые оказываются скрытыми на уровне агрегатов классических OLAP-кубов. Именно такие задачи чаще всего возникают у бизнес-пользователей: они видят результирующие данные, которые их удивляют, и хотят посмотреть, как «проигрывается» эта ситуация на уровне исходных данных. Например, маркетологу торговой сети нужно увидеть все изменения, связанные с увеличением возвратов, вплоть до продавцов в торговом зале на момент продажи. У интернет-магазинов – свои проблемы: очень широкая номенклатурная база, поскольку зачастую онлайновые торговые площадки работают в качестве товарных агрегаторов. Мы помогаем бизнес-пользователю сфокусироваться на нужном подмножестве исходных данных.

Сергей Куликовский: Именно так. У нас есть традиционное табличное представление с возможностью делать вычисления и большой набор графиков.

Сергей Куликовский: Да. Это еще одно важное свойство нашей аналитической системы – она помогает пользователю фокусировать внимание на подмножествах данных, где могут скрываться те самые «инсайты». С этой целью реализован ряд инструментов: кластеризация, ассоциативные правила и прогнозирование. Кластеризация - разбиение объектов на группы по схожим характеристикам. Данный функционал работает в режиме black box («черный ящик») – система сама предлагает разбиение общего массива на оптимальное количество групп. Мы не стали загружать пользователя математическими параметрами кластеризации – он решает задачи в плоскости бизнеса. Директору по маркетингу не важно, какой алгоритм использовался, ему важно, какие кампании принесли ему наибольшую конверсию, и как масштабировать успех.

Второй инструмент – ассоциативные правила, позволяющие найти взаимосвязи в данных: «С товаром x обычно покупают товар y». В основе лежит анализ транзакций, для которых находятся совпадения по номенклатуре приобретенных товаров в пределах одного чека, которые потом сортируются по их популярности и достоверности. Такой анализ позволяет ритейлеру организовывать комплексные маркетинговые компании, планировать промо-акции и эффективно размещать товары на полках. Выявление реальных паттернов поведения потребителей на большом массиве исторических данных также работает в режиме «черного ящика».

Третий - прогнозирование. Опыт показывает, что для большинства реальных задач достаточно довольно простых регрессионных моделей. По результатам тестирования на 10% данных массива наша система сама выбирает оптимальный алгоритм расчета прогноза, причем делает это с учетом выявленных сезонных колебаний.

Сергей Куликовский: Рынок аналитических enterprise решений России несколько отличается от западного. Чаще всего российские производители стараются охватить все сферы аналитики, придерживаясь при этом некоторой специализации. Например, Visiology дополнительный фокус – на визуализацию данных, у компании «Форсайт» - на комплексные интеграционные решения аналитики.

Григорий Воротынцев: Предлагаю посмотреть на российский рынок с точки зрения платформенных решений, к числу которых относится и наша система Polymatica. Компания «Форсайт» предлагает платформу, а также консалтинговые услуги, и, по сути, нацелена на реализацию крупных комплексных проектов. У нас иное позиционирование: мы предлагаем платформу, на которой партнеры – интеграторы могут создавать комплексные решения в интересах конкретных заказчиков. Это им выгодно: заказчик покупает не заказное решение под ключ, а технологическую платформу с аналитическими настройками поверх нее. Это фактически вендорская модель, по которой отечественные компании никогда не работали.

Несколько лет назад, когда еще не было тренда импортозамещения, по вендорской модели у нас продавались только зарубежные платформы. И они, по сути, лидировали в сегменте крупных федеральных проектов. Сегодня мы видим, что зарубежные вендоры уходят, освобождающуюся нишу должны занять качественные современные технологические платформы российского производства. Мы стараемся эту нишу занять.

Григорий Воротынцев: У нас хороший опыт работы на зарубежных рынках. Мы прочно обосновались в интересной нише клиентской аналитики. Кроме того, на Западе заметен мощный тренд – уход от тяжелых вендорских решений корпоративной аналитики класса SAS, Oracle, IBM.

Григорий Воротынцев: Заказчики там активно переходят на решения open source и другие альтернативные технологии, которые позволяют экономить деньги, как на софте, так и железе. Надо сказать, что немало крупных компаний, например, платежные системы, до сих пор на мейнфреймах. Все, конечно, работает, вот только стоит поддержка таких систем десятки миллионов долларов. Там все крупные корпорации стремятся переводить задачи, связанные с аналитической обработкой больших объемов данных на современные технологии. С этой целью они с интересом смотрят в сторону молодых компаний, обладающих соответствующими технологиями самого передового уровня, постоянно проводят хакатоны и т.д. Мы, кстати, в них регулярно участвуем.

Почему им интересна платформа Polymatica? Она позволяет обрабатывать данные очень эффективно и гораздо менее требовательна к железу, чем технологии, которые закладывались в аналитические проекты несколько лет назад.

Григорий Воротынцев: С open source ситуация везде примерно одинакова: само ПО бесплатное, но поддержка и доработка того, чего там нет (а там много чего нет), стоит денег. Поэтому вокруг СПО формируется новая экосистема коммерческих компаний, которые поддерживают новые технологии. Это направление на Западе подпитывается стремлением крупных заказчиков «слезть с иглы» дорогостоящих вендоров. При этом эти компании - заказчики рассматривают не только СПО, но и другие альтернативные технологии, и оказалось, что Polymatica предлагает очень эффективное нишевое решение многомерной клиентской аналитики.

Там все борются за клиента, потребности в качественной клиентской аналитике постоянно растут. И если компания понимает, что может отказаться от оплаты лицензий в миллионы долларов в год, быстро перейти на более экономичное решение и более эффектно решать задачи клиентской аналитики, он делает это. Это горячий рынок, и мы успешно работаем на нем.

Сергей Куликовский: На Западе очень развита культура пилотных проектов. На российском рынке этого, по сути, нет. Дело в том, что там за пилотный проект всегда платят. Потому что пилот рассматривается как апробирование предлагаемой технологии на ограниченном участке бизнеса, но с гарантированным результатом. Это обязательное требование. Поэтому они смотрят на возможности, предлагаемые на рынке, более широко, и быстрее принимают решения. Но и уровень конкуренции также выше.

Григорий Воротынцев: Да. Там все уже ментально перешли в облако. Даже банки. Поэтому и мы сотрудничаем с самыми популярными облачными сервисами, включая Amazon, Alibaba и Azure. Кстати, какой-то особой паранойи в связи с тем, что мы российская компания, мы там не замечаем.

Сергей Куликовский: В целом, для нас это было некоторым вызовом: научиться работать на разных рынках, у которых, разные бизнес-приоритеты и разные ожидания от продукта. В России заказчики ожидают, что продукт будет размещаться в собственной ИТ-инфраструктуре, что предъявляет особые требования к интеграции с другими бизнес-системами. А на Западе главное ожидание - облако.

В этой связи хочу обратить внимание на тренд из отчета Gartner на 2020 год, - переход на сервера с persistent memory. У нас это уже есть – аналитические вычисления производятся в оперативной памяти, потому что только так можно добиться высокой скорости обработки запросов пользователей. Для крупных заказчиков enterprise-сегмента сервер, поддерживающий обработку больших данных in-memory, - недешевое решение, хотя и гораздо дешевле, чем западные аналитические решения на базе соответствующего «железа». А у небольших клиентов есть два варианта использования аналитического инструмента Polymatica. Он может развернуть решение на своей инфраструктуре, тогда придется купить сервер и лицензию на ПО. Или воспользоваться облачным сервисом – это самый экономически выгодный вариант: в случае облака мы имеем возможность динамически перераспределять вычислительные ресурсы. Тогда тот максимум вычислительных ресурсов, который может потребоваться заказчику, будет ему предоставляться только в нужные моменты времени. А в случае собственной инфраструктуры железо должно приобретаться в расчете на пиковую загрузку.

Сергей Куликовский: Противоречия нет, потому что эти две бизнес-модели дополняют друг друга. Так, если мы говорим о большом комплексном проекте, то крупный заказчик не будет приобретать отдельный инструмент для исследования данных. Там создается комплексное решение, и мы со своим продуктом встраиваемся в референсную ИТ-архитектуру заказчика. В таких проектах критически важны компетенции интегратора. А небольшим компаниям нужны как раз простые коробочные решения, которые помогут им глубже анализировать свой бизнес в стиле: бери и пользуйся.

Иными словами, «Полиматика», будучи платформенным вендором, развивает свою аналитическую платформу Polymatica, имея в виду потребности крупных заказчиков, а то лучшее, что для них наработано, оформляем в виде типового решения для небольших клиентов.

Сергей Куликовский: Мы понимаем: успешное развитие продукта лежит в плоскости отраслевой экспертизы. Такой вектор позволит нам выводить на рынок удачные тиражируемые решения. Сами по себе аналитические технологии не продаются. Без отраслевой экспертизы это всего лишь мощный калькулятор.

Мы решаем эту задачу в двух направлениях: привлекаем партнёров и наращиваем собственные компетенции. Такой открытый подход позволяет нам даже в конкурентах видеть партнёров.

Сергей Куликовский: Да, мы стали более требовательны к компетенциям сотрудников. Нашу команду усилил Сергей Германович, технический директор, обладающий большим опытом в разработке высоконагруженных систем, систем компьютерного зрения и искусственного интеллекта. Для нас нейронные сети – это тот сложный математический аппарат, который должен работать поверх традиционной дескриптивной аналитики. Одна из главных задач продвинутой аналитики – выявление паттернов, имеющих значение для бизнеса. Для автоматизации этих процессов будут задействованы технологии машинного обучения.

Фактически это ответ компании на те глобальные тренды, которые определяют развитие всей отрасли бизнес-аналитики в мире.

Сергей Куликовский: Можно обратиться к уже упомянутому ранее исследованию перспективных технологий аналитики данных компании Gartner. Среди них я выделю как наиболее значительное направление дополненной и расширенной аналитики (Augmented analytics). Это, во-первых, подразумевает возможность встраивания аналитических технологий в существующую экосистему компании, когда инструмент аналитики можно начать использовать поверх существующих ИТ-систем. Это означает, что интеграция с этими ИТ-системами должна быть предельно простой и желательно «из коробки». Для нас это означает, что для успешной работы на массовом рынке для нас критически важна готовность к интеграции с наиболее популярными отраслевыми системами, ну, скажем, R-Keeper, если речь идет о сетях розничной торговли, кафе, кинотеатров.

Во-вторых, инструменты продвинутой аналитики должны помогать бизнес-аналитику проверять гипотезы. Сегодня он фактически решает эту задачу вручную. Но данные накапливаются как снежный ком – огромное количество атрибутов, по которым следовало бы провести анализ. И к тому же срабатывают отраслевые стереотипы: аналитик знает – его так учили, да и опыт подтверждает, что на продажи влияет определенный набор факторов, он эти зависимости и проверяет. Отраслевой опыт незаметно превращается в шоры на глазах, которые не позволяют увидеть новые инсайты (догадки). А вот автоматизированные средства дополненной аналитики, которые мы, в частности, развиваем, позволяют находить подобные паттерны автоматически и привлекать внимание бизнес-пользователя: смотри, есть интересные зависимости.

Сергей Куликовский: Да, это генерирование гипотез. В идеале оно должно происходить на естественном языке (NLP): найденные зависимости в данных необходимо превратить в текстовые сообщения, понятные бизнес-пользователю. Этот тренд еще называют «story telling в аналитике». В этом направлении активно двигается мировой лидер Tableau. Я считаю, что дополненная аналитика и способность объяснить находки в данных человеческим языком, являются основным драйвером развития в нашей нише.

Сергей Куликовский: Да, и в результате работа с данными перейдет на другой уровень и будет доступна любому сотруднику. Наступит эпоха бизнеса, движимого данными.

Сергей Куликовский: Речь идет о коммерческом распространении, дистрибуции готовых моделей или готовых библиотек. Наш рынок тоже двигается в этом направлении. Например, наша стратегическая цель – добавить к облачной платформе маркетплейс, то есть торговую площадку, на которой размещаются готовые решения, хорошо зарекомендовавшие себя в практическом внедрении у конкретного заказчика и имеющие потенциал тиражирования. Такой подход позволяет учесть не только саму потребность массового рынка в готовых решениях, но и специфику требований той или иной отрасли.

Сергей Куликовский: Оно уже началось. В этом месяце мы объявим о выходе новой версии нашей аналитической платформы. Теперь загрузка данных из внешних источников стала для бизнес-пользователей проще и быстрее, расширились возможности по визуализации данных и использованию интеллектуальных модулей, усовершенствовался математический инструментарий. Все эти шаги позволяют нам приблизится к цели – стать универсальным инструментом для анализа больших массивов данных.