VK Cloud ML Platform

Основные статьи:

• SaaS - История. Философия. Драйверы развития
• Управление качеством данных

VK Cloud (ранее VK Cloud Solutions) — облачная платформа для бизнеса и разработки, которая предлагает инструменты создания облачной инфраструктуры компаниям любого размера. VK Cloud Solutions входит в портфель решений VK Цифровые технологии и базируется на многолетнем опыте развития интернет-сервисов и технологий на базе открытого кода.

2022

Появление сервиса MLflow для автоматизации работы с моделями машинного обучения

В ML Platform от VK Cloud появился сервис MLflow для автоматизации работы с моделями машинного обучения. MLflow поможет специалистам по данным управлять проведением экспериментов, сравнивать ML-модели и их результаты, а также воспроизводить тесты. Об этом сообщила компания VK 21 октября 2022 года.

Иллюстрация:databricks.com

Облачная платформа Cloud ML Platform объединяет преднастроенные сервисы JupyterHub и MLflow для проведения экспериментов с данными и работы с моделями машинного обучения. Это полностью готовая среда для создания ML-решений, которую можно развернуть в облаке в несколько кликов.

Данный компонент платформы MLflow позволяет компаниям реализовать концепцию MLOps для стандартизации разработки моделей, сокращения времени вывода их в продакшен, эффективного трекинга и контроля версий. С помощью ML Platform дата-инженеры и дата-сайентисты смогут самостоятельно разворачивать среду для экспериментов и построения моделей, а также масштабировать вычислительные мощности под любые нагрузки. Это упрощает процесс проверки гипотез и повышает скорость получения результатов.

Технологии машинного обучения лежат в основе самых передовых продуктов, и необходимо, чтобы как можно больше компаний и специалистов могли пользоваться эффективными средствами ML-разработки. MLflow — один из наиболее простых в работе инструментов на рынке, позволяющий специалистам по Data Science управлять жизненным циклом моделей машинного обучения. При этом решение работает практически с любой ML-библиотекой, прокомментировал Дмитрий Лазаренко, директор по продукту VK Cloud.

На платформе VK Cloud сервис MLflow интегрирован с JupyterHub. В будущем появится интеграция с объектным S3-совместимым хранилищем и Managed-базами данных.

Создание облачной платформы для разработки ML-решений

Компания VK сообщила 2 августа 2022 года об открытии доступа к тестированию облачной платформы для полного цикла ML-разработки. Cloud ML Platform объединит инструменты для экспериментов с данными и работы с моделями машинного обучения: от настройки среды до внедрения решений в сервисы и бизнес-процессы.

Cloud ML Platform от VK позволяет разделить роли и зоны ответственности в команде, настроить процесс решения задач и отслеживать результаты экспериментов участников. Дата-инженеры смогут развернуть среду для работы с данными и построения моделей, самостоятельно и быстро масштабировать вычислительные мощности под любые задачи и нагрузки. Специалистам по Data Science платформа даст возможность гибко и оперативно проводить эксперименты с данными, формулировать и проверять гипотезы.

В Cloud ML Platform будут доступны инструменты для управления доступом к данным и компонентам среды, а также для интеграции платформы с корпоративными системами аутентификации, логирования и аудита пользователей. Благодаря этому администраторы системы и специалисты по безопасности обеспечат контроль за работой с данными и смогут оперативно анализировать изменения в проекте.

При разработке продукта сделали ставку на использование компонентов с открытым исходным кодом в его архитектуре, чтобы гибко развивать функциональность платформы, избежать зависимости от технологий того или иного вендора. Использование Сloud ML Platform от VK поможет Data Science-командам быстрее работать с экспериментами, а бизнесу — получить преимущество от оперативного применения результатов гипотез, рассказал Дмитрий Лазаренко, директор по продукту VK Cloud Solutions.

На первом этапе пользователям доступны возможности сервиса JupyterHub, который позволяет быстро создавать среды для экспериментов и работы с данными. В дальнейшем функциональность Cloud ML Platform расширится, в том числе за счет привычных для дата-специалистов решений на базе открытого кода. Например, пользователи платформы смогут работать с инструментом для управления жизненным циклом моделей MLflow, технологией для оркестрации контейнеров Kubernetes и решением для распределенной обработки данных Spark.Как с помощью EvaProject и EvaWiki построить прозрачную бесшовную среду для успешной работы крупного холдинга 2.2 т

Cloud ML Platform от VK также будет доступна компаниям, которые предпочитают работать с данными на собственных или арендованных серверах. Сервис можно развернуть в частном облаке благодаря технологическому стеку платформы, построенному на свободном программном обеспечении.