ВШЭ и Сбер: ИИ-система для распознавания эмоций

2025: Одновременный анализ мимики, голоса и речи

Учёные Центра практического Искусственного интеллекта Сбербанка и Высшей школы экономики разработали систему распознавания эмоций, которая анализирует мимику, голос и речь одновременно.

Данная технология сочетает временные свёрточные сети (TCN) и трансформерные мультимодальные архитектуры, что позволяет точнее учитывать изменения эмоционального состояния во времени. Система демонстрирует рост точности более чем на 10% по сравнению с лучшими моделями, которые анализируют только выражения лиц. Такую разработку можно использовать в бизнесе, безопасности и социальной сфере.

Наша система делает взаимодействие человека и искусственного интеллекта более естественным и осмысленным. Мы научились не просто распознавать базовые эмоции, но и учитывать их динамику в реальных условиях — при разном освещении, фоновом шуме и других помехах. Это особенно важно для тех отраслей бизнеса, где понимание эмоций клиентов помогает повышать качество сервиса. Наша технология уже показывает отличные результаты в тестах, а в перспективе её можно адаптировать для виртуальных ассистентов, систем безопасности и даже телемедицины. Главное качество — гибкость. Аудиовизуальная модель работает даже при недостаточных данных, например, когда не видно лицо или плохо слышно голос, сказал Андрей Савченко, научный директор Центра Практического Искусственного Интеллекта Сбербанка.

Разработка актуальна для колл-центров, чтобы анализировать настроения клиентов, в маркетинговых исследованиях для оценки реакции на продукты, системах безопасности для выявления агрессии или паники, образовательных и медицинских сервисах. Учёные продолжают совершенствовать модель, чтобы сделать распознавание эмоций ещё более точным и адаптивным.

2024: Анонс продукта

В октябре 2024 года российские ученые объявили о разработке инновационной системы, способной наделить искусственный интеллект (ИИ) эмоциональными характеристиками при взаимодействии с людьми. Технология, созданная совместными усилиями исследователей из Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ) и Сбербанка.

Как сообщает пресс-служба Высшей школы экономики, в основе системы лежат эффективные ИИ-модели компьютерного зрения, способные распознавать выражения лиц пользователей в режиме реального времени. Эти модели анализируют эмоциональные реакции собеседника на ответы ИИ, что позволяет формировать специальные наборы данных для обучения и совершенствования системы генерации эмоциональных ответов.

𝓲

Фото: iStock

Доцент НИУ ВШЭ в Нижнем Новгороде Людмила Савченко пояснила, что система использует распознанные эмоции для выбора более эмпатичного ответа ИИ. Этот ответ генерируется одновременно несколькими языковыми моделями, настроенными на базовые эмоции: радость, печаль, страх или гнев. В результате ИИ способен предоставить более подробный анализ своих рекомендаций с учетом эмоциональной реакции пользователей.Александр Калинин – о создании и распаде НКК, картелях на ИТ-рынке и планах сделать две новые большие консолидации 23.1 т

Новая технология найдет применение в различных сферах, где важно учитывать эмоциональное состояние пользователей: в чат-ботах компаний, службах поддержки, образовательных приложениях. Это позволит сделать предложения и рекомендации продуктов и услуг более естественными и эмпатичными, что улучшит взаимодействие между компаниями и клиентами.

Как отмечает пресс-служба ВШЭ, к октябрю 2024 года ученые уже применяют разработанные ИИ-модели в создании медицинского диагностического ассистента GigaPevt, основанного на большой языковой модели GigaChat. Этот ассистент способен анализировать эмоциональное состояние пользователя, что открывает новые возможности в сфере телемедицины и психологической помощи.^[1]