Finolab: CarDamageTest

Продукт
Разработчики: Finolab (Финолаб.ру)
Дата премьеры системы: 2022/11/02
Отрасли: Интернет-сервисы

Основная статья: Мобильные приложения

Российская финтех-компания «Финолаб.ру» сообщила об успешной разработке сервиса, способного по видео или нескольким фотографиям автомобиля оценивать его техническое состояние и предоставлять клиенту полный отчет о найденных повреждениях с указанием их принадлежности к той или иной детали корпуса автомобиля. Сервис представляет собой мобильное приложение, с помощью которого клиент снимает автомобиль, загружает данные и уже через пару минут получает полную информацию о найденных повреждениях.

Работа приложения

Изначально сервис задумывался как интеллектуальная система дистанционной оценки состояния автомобиля для задачи страхования, когда на этапе получения полиса автовладельцу необходимо пройти предстраховой осмотр, а с случае ДТП оценить ущерб для получения страховых выплат. Однако уже сейчас компания нацелена на более широкий спектр задач, способных решаться с помощью разработанного сервиса.

Работа сервиса фактически состоит из трех этапов: предобработки входных фото- и видеоизображений, сегментации деталей корпуса автомобиля и поиска повреждений.

Этап предобработки состоит в оценке полноты входных данных (наличие автомобиля на фото или видео в целом и всех частей кузова в частности), а также оценку затемненности и засвеченности изображений. Для выполнения этих задач разработана модель фильтрационной воронки с использованием нескольких типов нейронных сетей глубокого обучения, позволяющая не только качественно выполнить фильтрацию, но и сделать это за минимальное время.

Затемненное изображение автомобиля, отклоненное на этапе предобработки

На этапе сегментации происходит «разделение» корпуса автомобиля на отдельные детали для дальнейшего определения детали, на которой обнаружено повреждение. Для реализации этой задачи разработан ансамбль нейросетевых классификаторов с дополнительной пред- и постобработками. Точность сегментирования автомобиля на сегодняшний день составляет 93%.

Для поиска повреждений в системе реализован уникальный классификатор - это ансамбль трех алгоритмов, обученных как на подмножествах классов повреждений, так и на всех классах вместе. Здесь используются как современные модели нейронных сетей, так и алгоритмы классического машинного обучения. Для обучения классификатора использовалась комбинированная выборка, состоящая из реальных изображений и искуственных изображений, сгенерированных нейронной сетью. Также была разработана собственная аугментация MosCut на базе библиотеки Albumentations, снижающая вариативность классов во время обучения.

Детекция царапины без детекции ложных отражений линий разметки и солнечных бликов

Финальная обработка полученных результатов заключается в сопоставлении найденных повреждений с сегментами автомобиля на каждом изображении и агрегации данных о повреждениях, полученных со всех изображений.

«
На сегодняшний день наш сервис успешно выделяет 24 сегмента на автомобилях и качественно определяет 11 классов повреждений, начиная от мелких сколов краски и ржавчины и заканчивая отсутствующими деталями. Точность определения повреждений составляет 91%, что является одним из самых высоких показателей в мире, и ежемесячно растет за счет разработки новых и усовершенствования используемых ансамблей нейронных сетей, алгоритмов машинного обучения, фильтрации и агрегации данных. Помимо высокой точности определения существующих повреждений, несомненным достоинством нашего сервиса является устойчивость к солнечным бликам, каплям дождя, снегу и грязи, что позволяет избежать определения несуществующих повреждений и соответственно, значительно ухудшить результат, - рассказывает Елена Волченко, к.т.н., руководитель отдела машинного обучения и анализа данных финтех-компании «Финолаб.ру»

»

В ближайших планах компании прогнозирование внутренних повреждений автомобиля на основе внешних, расчет стоимости ремонта и замены поврежденных элементов и много другое.

«
Разработка сервиса CarDamageTest — это только первый, но очень весомый шаг к построению бизнес-экосистемы. Мы разрабатываем полноценную цифровую бизнес-экосистему для автовладельцев и компаний, работающих в автомобильном бизнесе, которая позволит предложить клиентам полный спектр услуг, начиная от оценки автомобиля для получения страховых полисов и расчета его залоговой стоимости при кредитовании под залог автомобиля, до определения перечня поврежденных деталей, расчета стоимости ремонта и помощи в выборе автосервиса, — делится планами основатель компании «Финолаб.ру» Евгений Антохов.
»

Приложение доступно для скачивания во всех магазинах — AppStore, Google Play и их российских аналогах, а также в виде API, которое интегрируется в IT-систему заказчика.