PaLM-E

Продукт
Разработчики: Google
Дата премьеры системы: март 2023 г.
Отрасли: Информационные технологии
Технологии: Робототехника,  Роботы Промышленные,  Роботы Сервисные,  Средства разработки приложений

Содержание

История

2023: Анонс продукта

6 марта 2023 года исследователи из компании Google и Берлинского технического университета представили открытую мультимодальную языковую модель на основе искусственного интеллекта для обучения автономных роботов.

Проект носит название PaLM-E. Модель объединяет язык и компьютерное зрение для управления роботами. В общей сложности, как отмечается, доступны 562 млрд параметров, что обеспечивает максимальную гибкость. Модель, в частности, позволяет роботу выполнять широкий спектр задач на основе голосовых команд человека без необходимости постоянного переобучения. Иными словами, робот воспринимает директивы на естественном языке, анализирует их и немедленно приступает к работе.

PaLM-E будет использоваться для обучения автономных роботов

Например, если роботу приказано «принеси мне рисовые чипсы из ящика стола», PaLM-E оперативно создаст план действий на основе команды и своего поля зрения. Затем мобильная роботизированная платформа с автоматизированной рукой полностью автономно выполнит все необходимые операции.

PaLM-E получает данные от камеры робота и анализирует окружение без необходимости предварительного описания сцены. Это означает, что человеку не нужно аннотировать визуальные данные. Более того, PaLM-E может реагировать на изменения окружающей обстановки во время выполнения задачи.Российский рынок WMS-систем: оценки, тренды и крупнейшие поставщики. Обзор TAdviser 29.6 т

PaLM-E базируется на существующей масштабной языковой модели, известной как PaLM (схожа с технологией ChatGPT). Она интегрирована с сенсорной информацией и роботизированным управлением. Система непрерывно наблюдает за своим окружением и кодирует полученные данные в последовательность «векторов», подобно тому, как слова кодируются в «языковые токены». Таким образом, сенсорная информация воспринимается аналогично обработке голосовых команд. Кроме того, PaLM-E может передавать знания и навыки, полученные от предыдущих задач, к новым, что приводит к повышению эффективности.[1]

Примечания



СМ. ТАКЖЕ (2)


Подрядчики-лидеры по количеству проектов

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Promobot (Промобот) (31)
  Яндекс (Yandex) (18)
  Cognitive Pilot (Когнитив Роботикс) (14)
  Сбербанк (12)
  Intuitive Surgical (11)
  Другие (580)

  Департамент информационных технологий Москвы (ДИТ) (2)
  Яндекс (Yandex) (2)
  Яндекс.Облако (Yandex Cloud) (2)
  Инфосистемы Джет (2)
  Fora Robotics (Фора Роботикс) (2)
  Другие (41)

  Наносемантика (Nanosemantics Lab) (2)
  Сбер Бизнес Софт (2)
  Синимекс (Cinimex) (2)
  Университет Иннополис (2)
  Яндекс (Yandex) (2)
  Другие (52)

  Яндекс (Yandex) (4)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (4)
  Цифровые технологии и платформы (ЦТиП) (3)
  Ростелеком (2)
  Геоскан (Geoscan) (2)
  Другие (85)

  Т1 (1)
  Яндекс Роботикс (1)
  ABB Robotics (1)
  Дабл Ю Экспо (1)
  Ростелеком Центр (ЦентрТелеком) Макрорегиональный филиал (1)
  Другие (4)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Promobot (Промобот) (12, 34)
  ABB Group (8, 23)
  Cognitive Pilot (Когнитив Роботикс) (4, 21)
  Cognitive Technologies (Когнитивные технологии) (1, 21)
  Яндекс (Yandex) (2, 15)
  Другие (653, 157)

  Fora Robotics (Фора Роботикс) (1, 2)
  Intuitive Surgical (1, 1)
  НИТУ МИСиС (Национальный исследовательский технологический университет) (1, 1)
  Яндекс (Yandex) (1, 1)
  Aripix Robotics (Арипикс Роботикс) (1, 1)
  Другие (5, 5)

  Pudu Robotics (Pudu Technology) (1, 2)
  Яндекс (Yandex) (1, 2)
  КиберСклад (1, 1)
  Unitree Robotics (1, 1)
  Intuitive Surgical (1, 1)
  Другие (1, 1)

  Яндекс (Yandex) (1, 4)
  Pudu Robotics (Pudu Technology) (2, 2)
  Геоскан (Geoscan) (1, 2)
  РОББО (ранее ScratchDuino, СкретчДуино) (1, 1)
  Университет Иннополис (1, 1)
  Другие (5, 5)

  Яндекс.Маркет (1, 1)
  Promobot (Промобот) (1, 1)
  Яндекс Роботикс (1, 1)
  ABB Group (1, 1)
  Дабл Ю Экспо (1, 1)
  Другие (0, 0)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Promobot - 26
  Cognitive Agro Pilot Система автоматического вождения - 21
  ABB IRB Промышленные роботы - 19
  Яндекс.Ровер - 14
  Da Vinci (робот-хирург) - 12
  Другие 138

  For-1 Антропоморфный робот - 2
  Dobot CR-серия Коллаборативные роботы - 1
  Aripix A1 Робот-манипулятор - 1
  Robotech: RP-серия Роботы-паллетайзеры - 1
  Яндекс: Складские роботы - 1
  Другие 2

  Яндекс.Ровер - 2
  Pudu CC1 Робот-уборщик - 2
  Da Vinci (робот-хирург) - 1
  Ronavi S-серия Роботы для сортировки товаров - 1
  Unitree H1 Антропоморфные роботы - 1
  Другие 1

  Яндекс.Ровер - 4
  Геоскан БАС (Беспилотные авиационные системы самолетного типа) - 2
  Spectro (робот-инвентаризатор) - 1
  KUKA KR-серия Роботы-манипуляторы - 1
  Университет Иннополис: InnoSpector Беспилотная система для промышленной инспекции и мониторинга - 1
  Другие 5

  ABB IRB Промышленные роботы - 1
  Дабл Ю Экспо: Арди Человекоподобный робот - 1
  Spectro (робот-инвентаризатор) - 1
  Другие 0

Подрядчики-лидеры по количеству проектов

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Солар (Solar) (47)
  Финансовые Информационные Системы (ФИС, FIS, Финсофт) (15)
  Форсайт (13)
  Unlimited Production (Анлимитед Продакшен, eXpress) (12)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (11)
  Другие (433)

  Солар (Solar) (6)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (4)
  Unlimited Production (Анлимитед Продакшен, eXpress) (4)
  РЖД-Технологии (3)
  Robin (Робин) (3)
  Другие (23)

  Unlimited Production (Анлимитед Продакшен, eXpress) (5)
  Солар (Solar) (4)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2)
  Axiom JDK (Аксиом) (2)
  Наносемантика (Nanosemantics Lab) (1)
  Другие (13)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (4)
  Актив (Актив-софт) (2)
  Нота (Холдинг Т1) (2)
  Effective Technologies (Эффектив Технолоджис) (2)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (2)
  Другие (24)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1)
  Уральский центр систем безопасности (УЦСБ) (1)
  Другие (0)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Солар (Solar) (2, 49)
  Microsoft (41, 47)
  Oracle (49, 26)
  Hyperledger (Open Ledger Project) (1, 23)
  IBM (33, 18)
  Другие (666, 359)

  Солар (Solar) (1, 6)
  Unlimited Production (Анлимитед Продакшен, eXpress) (1, 6)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 4)
  Мобильные ТелеСистемы (МТС) (1, 4)
  SL Soft (СЛ Софт) (1, 3)
  Другие (15, 24)

  Unlimited Production (Анлимитед Продакшен, eXpress) (1, 5)
  Солар (Solar) (1, 4)
  Мобильные ТелеСистемы (МТС) (2, 3)
  Axiom JDK (Аксиом) (2, 2)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 2)
  Другие (13, 13)

  Мобильные ТелеСистемы (МТС) (1, 4)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 4)
  Python Software Foundation (1, 3)
  Unlimited Production (Анлимитед Продакшен, eXpress) (1, 3)
  Яндекс (Yandex) (1, 3)
  Другие (19, 25)

  Мобильные ТелеСистемы (МТС) (1, 1)
  Уральский центр систем безопасности (УЦСБ) (1, 1)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 1)
  Другие (0, 0)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Solar appScreener (ранее Solar inCode) - 49
  Hyperledger Fabric - 23
  Windows Azure - 20
  EXpress Защищенный корпоративный мессенджер - 16
  FIS Platform - 16
  Другие 364

  Solar appScreener (ранее Solar inCode) - 6
  EXpress Защищенный корпоративный мессенджер - 6
  МТС Exolve - 4
  Форсайт. Мобильная платформа (ранее HyperHive) - 3
  РЖД и Робин: Облачная фабрика программных роботов - 3
  Другие 14

  EXpress Защищенный корпоративный мессенджер - 5
  Solar appScreener (ранее Solar inCode) - 4
  МТС Exolve - 2
  Axiom JDK (ранее Liberica JDK до 2022) - 2
  МТС: Ocean Облачная платформа - 1
  Другие 13

  МТС Exolve - 4
  Python - 3
  Yandex AI Studio - 3
  EXpress Защищенный корпоративный мессенджер - 3
  Guardant SLK - 2
  Другие 18

  УЦСБ: Apsafe Облачная платформа для непрерывного анализа защищенности приложений - 1
  МТС Exolve - 1
  Другие 0