В Общегородском контакт-центре начали тестировать новые языковые модели для улучшения качества консультаций

2024

Использование в пилотном режиме больших языковых моделей

В Общегородском контакт-центре в пилотном режиме начали использование больших языковых моделей (LLM – large language model). Это тип искусственного интеллекта, который позволяет голосовому помощнику быстрее находить нужный ответ в базе знаний, отвечать сразу на несколько вопросов абонентов и самостоятельно обучаться. Это поможет улучшить качество и скорость предоставления консультаций на горячих линиях, а операторы смогут больше времени уделять решению более сложных запросов жителей. Об этом Департамент информационных технологий Москвы (ДИТ) сообщил 5 ноября 2024 года.

Применение языковых моделей пилотируется на линии единой справочной службы Правительства Москвы для двух важных задач: для предоставления консультаций на входящих звонках и для классификации обратной связи по итогам обслуживания. В комплексе такой подход позволяет не только обучать голосового помощника без помощи операторов, но и улучшать качество консультаций: языковая модель классифицирует отзывы жителей по итогам звонков, что в дальнейшем поможет совершенствовать базу знаний и сценарии консультаций, а в случае необходимости – повышать квалификацию операторов, – отметил руководитель общегородского контакт-центра Андрей Савицкий.

Использование языковых моделей на линии единой справочной службы Правительства Москвы незаметно для жителей. Когда человек звонит на линию и задает вопрос, включается система распознавания речи, она записывает сообщение, переводит его из аудио-формата в текст и отправляет его в языковую модель. Она, в свою очередь, используя дополнительные фильтры, находит в базе знаний необходимые статьи с ответами, выделяет в них суть и затем генерирует ответ, который голосовой помощник сообщает абоненту. При этом формируется максимально точный комплексный ответ на все вопросы жителя, без лишней информации.

Большие языковые модели умеют самостоятельно и за доли секунды находить информацию по каждой новой тематике во всей базе знаний контакт-центра и озвучивать ее заявителю. В отличие от стандартного голосового помощника, который зачитывает ответ из базы знаний, ассистент на основе LLM может поддерживать живой диалог, ориентируясь на интонации и манеру общения абонента.

Кроме того, большая языковая модель на основе нейросети обучает голосового помощника. Если раньше операторам необходимо было вручную загружать в виртуального ассистента новые тематики и ответы в различных вариациях, то теперь LLM помогает голосовому помощнику самостоятельно находить нужную информацию в общей базе знаний. Роль человека при этом не исключается: кроме того, что часть звонков по-прежнему обрабатывают операторы, они же следят и за актуальностью информации в базе знаний. Таким образом, нейросеть обучает нейросеть, но под строгим контролем специалистов контакт-центра. Витрина данных НОТА ВИЗОР для налогового мониторинга 2 т

Еще одно важное направление для использования языковых моделей – новый подход в классификации обратной связи по итогам обслуживания. Голосовой помощник уже умеет собирать отзывы жителей на линиях контакт-центра, но обработкой комментариев по-прежнему занимались специалисты контакт-центра.

Теперь благодаря внедрению языковых моделей, получая оценку от жителя или комментарий по завершению консультации, нейросеть ранжирует их на позитивные, негативные и нейтральные, позволяя сотрудникам отдела контроля качества быстрее выявлять недочеты и делать оказываемые консультации еще более быстрыми и точными.

Применение больших языковых моделей на горячих линиях ОКЦ для работы над качеством консультаций дополняет уже внедренные инструменты на основе искусственного интеллекта – цифровой аудит, работающий с 2023 года, и проект по речевой аналитике, запущенный в этом году.

Расширение использования искусственного интеллекта

Департамент информационных технологий города Москвы расширил использование технологий искусственного интеллекта для улучшения качества консультаций в общегородском контакт-центре. Об этом ДИТ сообщил 11 июля 2024 года. «Цифровой аудитор» работает уже на трех горячих линиях, а в сценарий его работы теперь входят несколько новых параметров. За полтора года работы проекта голосовой помощник помог проанализировать более 240 тысяч диалогов: результаты анализа передаются в службу контроля качества контакт-центра, где операторам при необходимости назначают дополнительное обучение.

Цифровой аудит – комплексный проект, который благодаря технологиям искусственного интеллекта уже полтора года помогает операторам городских горячих линий еще быстрее и точнее отвечать на вопросы жителей. Для этого мы используем возможности голосового помощника: он имитирует звонок человека и общается со специалистом по заранее заданному сценарию, анализируя множество параметров диалога. Впервые такое решение заработало на горячей линии единой медицинской справочной службы, а теперь оно применяется еще на двух линиях: единой справочной службы Правительства Москвы и службы технической поддержки портала mos.ru. Также к сценариям работы «цифрового аудитора» добавились некоторые параметры. Например, он проверяет, насколько качественно операторы усваивают информацию по новым тематикам запросов. За полтора года искусственный интеллект проанализировал диалоги 2,3 тысячи сотрудников, — рассказал руководитель общегородского контакт-центра Андрей Савицкий.

Применять искусственный интеллект для цифрового аудита качества консультаций начали в 2023 году на горячей линии единой медицинской справочной службы (122). В процессе диалога со специалистом виртуальный ассистент проверяет доступность линии, скорость и длительность ответа, а также полноту предоставляемой информации.

С 2024 года голосовой помощник начал анализировать качество консультаций еще на двух горячих линиях общегородского контакт-центра: единой справочной службы Правительства Москвы +7 (495) 777-77-77 и службы технической поддержки портала mos.ru +7 (495) 539-55-55. Также расширился перечень сценариев, по которым проводят цифровой анализ. Теперь искусственный интеллект помогает оперативно проверить, насколько качественно предоставляется информация жителям по новым темам. После того, как специалист ознакомился с новыми материалами, виртуальный ассистент проводит проверочный звонок. Это позволяет в сжатые сроки убедиться в том, что все операторы качественно усвоили новую информацию, а жители, которые обращаются на горячие линии, получают актуальные сведения.

Кроме того, с помощью искусственного интеллекта теперь можно анализировать правильность произношения терминов и постановку ударения в словах, что необходимо для повышения качества консультаций общегородского контакт-центра.

Результаты анализа передаются в службу контроля качества. Если аудитор выявил недочеты в консультации, оператору назначают дополнительное обучение.

Кроме того, искусственный интеллект помогает совершенствовать базу знаний, которой пользуются операторы. Благодаря этому специалисты могут быстрее находить необходимую для горожан информацию. Если в процессе проверочного диалога оператору требуется больше времени, чтобы найти нужные сведения, то голосовой помощник не только фиксирует этот факт, но и анализирует схему поиска информации, а полученные результаты также передает в службу контроля качества. Это позволяет упростить систему поиска, а также скорректировать содержание тематик базы знаний для более удобного использования.

2023

Анализ 2,5 тысячи диалогов специалистов горячих линий

С начала года искусственный интеллект проанализировал около 2,5 тысячи диалогов специалистов горячих линий общегородского контакт-центра. Аудит показал, что более 80 процентов консультаций проводится правильно, среднее время ответа оператора составляет менее 45 секунд. Об этом Департамент информационных технологий Москвы (ДИТ) сообщил 3 июля 2023 года.

Использование искусственного интеллекта позволяет провести комплексный анализ качества консультаций на горячих линиях и в кратчайшие сроки принять меры для устранения недостатков, чтобы каждый житель мог всегда быстро получать полную и точную информацию по своему вопросу. Робот общается с операторами по заданному сценарию, проверяет доступность линии, длительность звонка и диалога, а также соответствие ответов операторов базе знаний. За время цифрового аудита не было случая, чтобы специалисты поняли, что общаются не с человеком. Для этого мы постоянно расширяем возможности искусственного интеллекта. С начала года цифровой аудитор проанализировал диалоги около 500 операторов. Результаты анализа используются для обучения и повышения квалификации специалистов. В перспективе планируется расширять тематические кейсы робота и использовать его на всех 70 горячих линиях контакт-центра, — рассказал руководитель общегородского контакт-центра Андрей Савицкий.

Цифровой аудитор ежемесячно проводит около 500 проверочных диалогов на горячих линиях общегородского контакт-центра. Результаты проверки каждого диалога передаются специалистам службы контроля качества, которые используют их для организации обучения и повышения квалификации сотрудников, работающих на горячих линиях.

Использование ИИ для улучшения качества консультаций горожан

В московском общегородском контакт-центре (ОКЦ) начали в тестовом режиме использовать искусственный интеллект для улучшения качества консультаций горожан. Цифровой аудитор имитирует звонок на горячую линию и общается с операторами по заранее заданному сценарию, затем анализирует качество ответов и передает информацию специалистам службы контроля качества. На основе этих данных разрабатываются рекомендации для специалистов. В том числе может быть организовано дополнительное обучение. Об этом 30 марта 2023 года сообщил Департамент информационных технологий Москвы (ДИТ).

Ежемесячно на горячие линии общегородского контакт-центра поступает более пяти миллионов звонков горожан. Важно, чтобы каждый житель максимально быстро получал полную и точную информацию по своему вопросу. Специалисты службы контроля качества регулярно проводят выборочные проверки, анализируя качество ответов операторов и помогая им исправить недочеты. Теперь в этой работе задействован и голосовой помощник. За три месяца в рамках пилотного проекта цифровой аудитор проанализировал 263 диалога операторов контакт-центра, показав свою эффективность. В перспективе его можно будет использовать на всех 70 горячих линиях контакт-центра. Результаты анализа диалогов в дальнейшем могут быть использованы для обучения и повышения квалификации сотрудников центра, — рассказал руководитель общегородского контакт-центра Андрей Савицкий.

При создании цифрового аудитора использовали модель голосового помощника, который с 2014 года успешно обрабатывает более 50 процентов обращений, поступающих на горячие линии. При этом робот обладает важными дополнительными функциями, в частности умеет имитировать человеческое общение. Он говорит с оператором не механическим голосом, а использует самые разнообразные речевые возможности: женские и мужские голоса, различные интонации, а также разговорные обороты.

Перед началом проверочных звонков для цифрового аудитора выбирается ряд статей из базы знаний, по которым он будет общаться со специалистом. Например, подбирается новая тема консультации или вносятся изменения в уже действующую статью базы знаний. Далее для робота разрабатывается сценарий диалога, учитывающий различные возможные уточняющие вопросы оператора. Все составляющие базы знаний собираются на основе проведенного ранее анализа реальных обращений горожан к сотрудникам ОКЦ.

В процессе диалога робот анализирует ведение диалога и ответы по нескольким профессиональным параметрам, таким как корректность приветствия, правильность использования фоновых режимов Hold или Mute во время разговора, общая длительность диалога, соответствие содержания ответа сути заданного вопроса и базе знаний, правильность действий оператора в системе при обработке обращения. Помимо этого, в процессе аудита робот фиксирует и общие данные по работе центра, включая среднее время дозвона, процент потерянных из-за ожидания вызовов и так далее. Результаты проведенного тестирования передаются в службу контроля качества контакт-центра.

2019: Опыт разработки и внедрения виртуального оператора

Выступая на конференции TAdviser «Системы искусственного интеллекта» в октябре 2019 года, руководитель общегородского контакт-центра ДИТ Андрей Савицкий, поделился опытом разработки и внедрения виртуального оператора. Это не только самый крупный правительственный контакт-центр в России, но и в Европе, отметил Савицкий. Он стартовал в 2011 году с обработки 1 млн обращений в год, а в 2019 году прогнозируется достигнуть показателя уже в 41,8 млн за год. Обрабатываются они по всем удаленным каналам связи, включая телефон, социальные сети, онлайн-чаты и формы.

В центре работают порядка 2,5 тыс. операторов, привел данные спикер. Совокупно выходит, что в нем обрабатывается более одного обращения в секунду. Ответы центр дает по всем вопросам жизнедеятельности города, включая образование, госуслуги, ЖКХ, медицину, транспорт и др.

В связи с постоянно растущим числом обращений внедрили виртуального оператора, который теперь обрабатывает порядка 40% запросов от граждан. Предпосылками к его появлению стало понимание, что при каких-то крупных событиях в городе центру не всегда удается масштабироваться и отвечать на вопросы населения.

Андрей Савицкий подробно рассказал об эволюции виртуального оператора контакт-центра от простых голосовых сообщений (IVR - Interactive Voice Response, система предварительно записанных голосовых сообщений) до продвинутого, умного бота, развивающегося на базе технологий ИИ. В 2014 году начали проектировать первое решение с распознаванием и синтезом речи. Сначала был создан бот, умеющий отвечать на наиболее типовые обращения.

Первоначально созданная система не располагала граждан к взаимодействию: часто, когда человек звонит с обращением и слышит металлический голос автоответчика, он пытается соединиться с живым оператором. Основной задачей было заставить гражданина общаться с роботом.

Для этого мы не только придумывали различные ухищрения, но и улучшали самого робота. Например, из предзаписанной речи сделали синтезированную речь, убрали предварительный звуковой сигнал. В итоге мы пришли к комбинированной речи – это предзаписанные человеческие фразы и синтез, когда проговаривается синтезированная информация, например, адреса домов, - пояснил докладчик.

После многочисленных улучшений теперь в контакт-центре работает так называемый Wise-бот. В некоторых случаях он знает, кто к нему обращается и способен на предиктивное обслуживание. При общении он использует большие данные, строит диалог в зависимости от возраста абонента.

Создание виртуального оператора позволило ускорить обработку обращений, сократить ожидание ответа, что повысило лояльность населения, а также экономить средства городского бюджета: поскольку это дешевле живого оператора.

Касательно скорости обработки в контакт-центре провели эксперимент, когда на один и тот же запрос отвечал человек и виртуальный оператор. Он показал, что бот в два раза быстрее обрабатывает обращение и заканчивает разговор. Причина в том, что ИИ быстрее ищет ответы в больших объемах информации. Кроме того, общаясь с виртуальным оператором, граждане обычно более точно формулируют запросы и не задают вопросов на отвлеченные темы.

При этом ни один живой сотрудник не был уволен, заверил Андрей Савицкий, поскольку объем городских задач велик.

Мы не планируем увольнять операторов, а планируем повышать их квалификацию, потому что есть много жизненных ситуаций, когда человек не будет пользоваться мобильным приложением и общаться с роботом. Это какие-то экстренные ситуации, например, - объяснил спикер.

В планах контакт-центра - внедрить Mega-бота. Он узнает абонента, подстраивается под диалог, под жизненную ситуацию и дает подсказки по ее решению, вникает в суть проблемы, может создавать заявки и присваивать им ID. Это ИИ, интегрированный с городской Big Data и многими другими системами, пояснил Савицкий.