EDP - Arenadata Enterprise Data Platform

Основные статьи:

• Определение Business Intelligence
• Управление данными (Data management)
• Система управления базами данных (СУБД)
• Большие данные (Big Data)
• Система хранения данных
• DataLake (озеро данных)
• Data Fabric (ткань данных)
• Потоковая обработка данных (потоковая аналитика)
• In-Memory Computing (Вычисление в оперативной памяти)
• Машинное обучение (Machine Learning)
• OLAP-системы
• Что такое интернет вещей (Internet of Things, IoT)
• IIoT - Industrial Internet of Things (Промышленный интернет вещей)

Arenadata Enterprise Data Platform (EDP) – универсальная платформа данных – это интегрированный набор компонентов корпоративного уровня на базе решений с открытым исходным кодом. Платформа включает в себя все необходимые компоненты для управления данными, доступа к данным, анализа данных, интеграции, безопасности и администрирования.Михаил Садиров, SMART technologies: На тестирование мультивендорных решений есть спрос 4.2 т

Основная идея универсальной платформы заключается в обеспечении возможности работы с любыми типами и форматами данных путем комбинированного использования различных технологических решений и архитектур обработки данных.

2022

Совместимость российской ОС «Альт 8 СП» с платформой Arenadata EDP

Российские компании Arenadata и «Базальт СПО» обеспечили совместимость всех компонентов платформы Arenadata EDP с сертифицированной ФСТЭК операционной системой «Альт СП» («Альт 8 СП»). Результаты тестирования показали, что все продукты Arenadata корректно работают с российской ОС «Альт 8 СП» на платформе х86_64. Совместимость программных продуктов подтверждена двусторонними сертификатами. Об этом 1 декабря 2022 года рассказала компания Arenadata.

Программный комплекс Arenadata и «Базальт СПО» даст возможность государственным и коммерческим организациям перевести на российское ПО процессы сбора, хранения и обработки больших объёмов информации.

«Продукты Arenadata лежат в основе решения множества аналитических задач: от подготовки отчётности до обработки сложных специализированных запросов. Многие из таких задач важны для наших заказчиков, поэтому при составлении Roadmap мы стараемся учитывать их актуальные «боли» и потребности. Одним из острых запросов является возможность строить ИТ-архитектуру заказчика полностью на базе импортонезависимого стека. Интеграция нашей платформы с отечественной операционной системой «Альт 8 СП» — очень важный шаг в этом направлении», — рассказал Александр Большаков, директор департамента управления продуктами Arenadata.

Совместимые с ОС «Альт 8 СП» продукты Arenadata будут актуальны для организаций, которые обязаны использовать только отечественное ПО из Единого реестра или готовятся к аттестации используемых информационных систем во ФСТЭК. Сценарии использования программного обеспечения Arenadata предполагают различные направления работы с данными: построение корпоративных хранилищ, озёр или фабрик данных, обработка данных в режиме реального времени, разработка решений в области IoT, ML, AI и др.

«Корпоративные данные — важный ресурс, поэтому хранить и обрабатывать их необходимо в хорошо защищённой цифровой среде, свободной от санкционных рисков. Решения «Базальт СПО» и Arenadata обеспечивают построение именно такой среды — безопасной и производительной», — отметил Сергей Трандин, генеральный директор «Базальт СПО».

«Альт СП» — операционная система для серверов и рабочих станций со встроенными программными средствами защиты информации, сертифицированная ФСТЭК России. Сертификация ФСТЭК удостоверяет, что продукт соответствует требованиям информационной безопасности и предназначен для работы с данными в защищённой цифровой среде. Дистрибутив «Альт СП» («Альт 8 СП») включён в Единый реестр российских программ для электронных вычислительных машин и баз данных. ОС «Альт СП Сервер» — предназначена для построения корпоративной ИТ-инфраструктуры любого масштаба и сложности, включает набор прикладного ПО для системных администраторов.

Поддержка ОС «Альт СП» доступна в enterprise-лицензиях ПО Arenadata, начиная со следующих версий:

• Arenadata DB — версия 6.22.0_arenadata38 (релиз от 20.10.2022).
• Arenadata Hadoop — версия 2.1.6_b1-1 (релиз от 06.09.2022).
• Arenadata QuickMarts — версия 22.3.2.2_arenadata1_b1 (релиз от 26.05.2022).
• Arenadata Postgres — версия 14.3_arenadata1_b1-1 (релиз от 30.06.2022).
• Arenadata Streaming — версия 1.7.1_b1 (релиз от 17.10.2022).

Arenadata планирует расширять перечень российских и свободных программных продуктов, совместимых с платформой Arenadata EDP. Так в ближайших планах компании значится интеграция с FreeIPA в качестве потенциальной альтернативы Active Directory.

Состав платформы Arenadata EDP

На начало 2022 года в состав платформы Arenadata EDP входят продукты для загрузки и потоковой обработки данных (Arenadata Streaming), хранения данных (Arenadata DB, Arenadata Hadoop, Arenadata Postgres), обработки витрин данных (Arenadata QuickMarts), анализа и полнотекстового поиска в режиме реального времени (Arenadata LogSearch), распределённых вычислений в оперативной памяти (Arenadata Grid), а также набор инструментов и коннекторов для обеспечения нативной интеграции компонентов, мониторинга и управления.

Доступность в облаке VK Cloud Solutions

На начало 2022 года в облаке VK Cloud Solutions доступны community и enterprise-версии Arenadata DB (подробнее здесь); community и enterprise версии Arenadata Hadoop — первое на российском облачном рынке решение на основе обновлённой версии Hadoop (подробнее здесь).

2021

Arenadata выпустила компонент для управления политиками безопасности

18 января 2021 года компания Arenadata сообщила о завершении финального тестирования обновленного компонента для обеспечения централизованного управления политиками безопасности кластера — модуля Arenadata Platform Security. Подробнее здесь.

Решения партнёров Arenadata на базе компонентов Arenadata EDP

На сайте Arenadata появился каталог технологических решений партнёров компании, построенных на базе Arenadata EDP. Технологические решения партнёров являются важным звеном в экосистеме продуктов и сервисов Arenadata. Они помогают комплексно работать с различными специфическими задачами клиентов. Карточка каждого решения содержит краткую, наиболее значимую информацию, включая общее описание, отраслевую специфику, приоритетные задачи и основные преимущества для клиентов.

Arenadata выпустила новый продукт для масштабируемого полнотекстового поиска на базе Elasticsearch

Arenadata LogSearch — это масштабируемая отказоустойчивая система, предназначенная для анализа и полнотекстового поиска. Технология Elasticsearch была разработана для полнотекстового поиска на базе библиотеки Apache Lucene. Основной функциональной особенностью библиотеки является обеспечение масштабируемой и высокоскоростной индексации данных (создание объектов внутри базы данных, соответствующих определённым критериям поиска). Подобные системы особенно актуальны, когда необходим поиск по сложным запросам: поиск фраз, включающих разные части речи или поиск по географическим координатам. Подробнее здесь.

Arenadata приступила к разработке нового продукта на базе PostgreSQL

Компания Arenadata приступила к разработке нового продукта на базе объектно-реляционной Open Source — СУБД PostgreSQL. Новый продукт получил название Arenadata Postgres (ADPG). В составе платформы Arenadata EDP универсальная реляционная СУБД Arenadata Postgres будет рекомендована для работы с нагрузками очень широкого профиля, работы с базами данных разного объёма и, в первую очередь, для нагрузок, генерируемых OLTP-системами, где необходима поддержка большого числа относительно коротких транзакций с сохранением высокой эффективности работы и поддержкой целостности при значительном количестве конкурентных сессий.

2019

Tarantool будет интегрирована в Arenadata EDP

11 ноября 2019 года компания IBS сообщила, что совместно с Mail.ru Group договорились о совместной разработке и внедрении технологий управления большими данными, а также о долговременном сотрудничестве в сфере инновационного развития и создания устойчивых технических решений на российском рынке. IBS интегрирует в экосистему Arenadata Enterprise Data Platform (EDP) разработанную Mail.ru Group платформу Tarantool, которая отвечает за обработку данных в режиме реального времени. Подробнее здесь.

Доступность в облаке MCS

На ноябрь 2019 года платформа Arenadata Enterprise Data Platformдоступна в облаке Mail.Ru Cloud Solutions (MCS).

Состав Arenadata EDP

По состоянию на ноябрь 2019 года экосистема Arenadata Enterprise Data Platform состоит из массивно-параллельной СУБД Arenadata DB на базе Greenplum, брокера сообщений Arenadata Streaming (Kafka) и дистрибутива Arenadata Hadoop.