Логотип
Баннер в шапке 1
Баннер в шапке 2

Megatron

Продукт
Название базовой системы (платформы): Искусственный интеллект (ИИ, Artificial intelligence, AI)
Разработчики: Nvidia (Нвидиа), Microsoft
Дата премьеры системы: 2021/10/15
Технологии: Речевые технологии

Содержание

Основные статьи:

Megatron — инструмент с открытым исходным кодом команды исследователей Nvidia, на базе которого изучается обучение языковых моделей в любом масштабе.

2021

Выпуск фреймворка Nvidia NeMo Megatron

На конференции GTC в ноябре 2021 года Nvidia представила Nemo Megatron – фреймворк для обучения больших языковых моделей, содержащих триллионы параметров. NeMo Megatron построен на базе Megatron – проекта с открытым исходным кодом команды исследователей NVIDIA, изучающей эффективное обучение языковых моделей в любом масштабе. Фреймворк автоматизирует сложность обучения LLM с помощью библиотек обработки данных, которые собирают, обрабатывают, систематизируют и очищают данные.

Nemo Megatron оптимизирован для масштабирования в инфраструктуре ускоренных вычислений Nvidia DGX SuperPOD.«Группа Астра» разрослась до двух десятков компаний. Ключевые активы экосистемы 8.1 т

На базе этого же проекта была представлена Megatron 530B – кастомизируемая большая языковая модель, которую можно обучать для новых предметных областей и новых языков.

Полный список анонсов ноябрьской GTC 2021 доступен здесь.

Создание модели генерации естественного языка при участии Microsoft

15 октября 2021 года Microsoft и Nvidia объединили свои усилия для создания модели генерации естественного языка Megatron-Turing Natural Language Generation, которая содержит 530 миллиардов параметров.

Тенденция изменения размеров современных NLP-моделей с течением времени

MT-NLG имеет в 3 раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и демонстрирует высокую точность в широком наборе задач естественного языка, таких как:

  • Предсказание завершения текста по смыслу;
  • Понимание прочитанного;
  • Генерация логических выводов;
  • Создание заключений на естественном языке;
  • Различение смысла слов с несколькими значениями.

Обучение столь мощной модели стало возможным благодаря многочисленным инновациям. Например, NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.



СМ. ТАКЖЕ (1)


Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Группа компаний ЦРТ (Центр речевых технологий) (44)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (27)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (25)
  SteadyControl (18)
  Naumen (Наумен консалтинг) (14)
  Другие (167)

  Группа компаний ЦРТ (Центр речевых технологий) (5)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (4)
  SteadyControl (4)
  3iTech (ранее 3i Technologies) (2)
  Naumen (Наумен консалтинг) (2)
  Другие (17)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (12)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (7)
  Naumen (Наумен консалтинг) (3)
  Voice Systems Robotics (VSR, VS Robotics) (3)
  SteadyControl (2)
  Другие (14)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (9)
  Группа компаний ЦРТ (Центр речевых технологий) (8)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (6)
  SteadyControl (6)
  Naumen (Наумен консалтинг) (4)
  Другие (23)

  SteadyControl (5)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (3)
  Яндекс (Yandex) (2)
  SberDevices (СалютДевайсы, ранее СберДевайсы) (2)
  AllSee (АЛЛ СИИ) (1)
  Другие (11)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Группа компаний ЦРТ (Центр речевых технологий) (17, 46)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (3, 28)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (11, 27)
  SteadyControl (1, 23)
  SteadyControl HoReCa (1, 23)
  Другие (317, 179)

  Группа компаний ЦРТ (Центр речевых технологий) (2, 5)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 5)
  SteadyControl (1, 4)
  SteadyControl HoReCa (1, 4)
  SberDevices (СалютДевайсы, ранее СберДевайсы) (2, 2)
  Другие (9, 13)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2, 12)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7)
  Naumen (Наумен консалтинг) (1, 3)
  SteadyControl (1, 3)
  SteadyControl HoReCa (1, 3)
  Другие (12, 16)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 9)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 8)
  Группа компаний ЦРТ (Центр речевых технологий) (4, 7)
  SteadyControl (1, 7)
  SteadyControl HoReCa (1, 7)
  Другие (15, 23)

  SteadyControl (1, 5)
  SteadyControl HoReCa (1, 5)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 4)
  Яндекс (Yandex) (1, 3)
  SberDevices (СалютДевайсы, ранее СберДевайсы) (2, 2)
  Другие (11, 12)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  МТТ VoiceBox - 24
  SteadyControl Система контроля и управления персоналом - 23
  BSS Digital2Speech - 20
  Voice2Med Система распознавания речи в медицине - 14
  SmartLogger II - 12
  Другие 177

  BSS Digital2Speech - 5
  SteadyControl Система контроля и управления персоналом - 4
  Voice2Med Система распознавания речи в медицине - 4
  МТТ VoiceBox - 2
  Neuro.net Голосовой робот - 2
  Другие 11

  МТТ VoiceBox - 11
  BSS Digital2Speech - 6
  SteadyControl Система контроля и управления персоналом - 3
  Naumen Erudite - 3
  VS Robotics: VS Робот-оператор - 3
  Другие 14

  МТТ VoiceBox - 9
  BSS Digital2Speech - 7
  SteadyControl Система контроля и управления персоналом - 7
  EXpress Защищенный корпоративный мессенджер - 6
  SmartLogger II - 4
  Другие 20

  SteadyControl Система контроля и управления персоналом - 5
  YandexGPT (YaLM 2.0) - 3
  BSS: Виртуальный голосовой ассистент - 2
  BSS Digital2Speech - 2
  Сбер Салют Виртуальные ассистенты - 1
  Другие 10