Дипфейки (DeepFake)

Мошенничество с дипфейками

Основная статья: Мошенничество с дипфейками

2024

Телефонные мошенники в России начали использовать дипфейки умерших людей для выманивания денег у родственников

В начале ноября 2024 года стало известно о том, что в России набирает обороты новая киберпреступная схема, основанная на технологиях искусственного интеллекта. Телефонные мошенники используют дипфейки умерших людей, под различными предлогами выманивая деньги у их родственников.

Один из подобных случаев, как сообщает «Комсомольская правда», произошел в Татарстане. Девушке посреди ночи позвонили с неизвестного номера: при этом в трубке раздался голос ее мамы, которая скончалась около полугода назад. Женщина сказала, что на Тибете в подгорном храме «ученые девятого вселенского уровня» изобрели систему, с помощью которой стала возможна связь между мирами мертвых и живых. Однако это «очень дорогая услуга», а поэтому девушке было предложено перевести 20 тыс. рублей на некую банковскую карту для продолжения общения со своей умершей мамой.

Телефонные мошенники в России начали использовать дипфейки умерших для выманивания денег у родственников

Впрочем, муж девушки усомнился в изобретении загробной связи и объяснил своей супруге, что с помощью современных ИИ-технологий киберпреступники могут подделать не только голос, но и изображение практически любого человека. А поскольку умершая женщина записывала кулинарные видеоролики, то у мошенников было достаточно аудиообразцов для генерации дипфейков.Метавселенная ВДНХ 3.6 т

Еще один схожий случай произошел в городе Кургане, где 90-летней женщине позвонил ее «покойный сын» и попросил перевести ему на тот свет 100 тыс. рублей через банкомат в торговом центре. Однако бабушка запуталась в банкоматовской системе и обратилась за помощью к охраннику, который, узнав кому и зачем переводятся деньги, предотвратил мошенничество.

Для защиты от голосовых дипфейков специалисты рекомендуют при поступлении необычного звонка обращать внимание на качество звучания, неестественную монотонность голоса, неразборчивость речи и шумы.^[1]

Как компаниям защититься от дипфейков. 5 стратегий

Дипфейк-технологии, позволяющие подделывать голос и внешность человека, все активнее используются киберпреступниками. С помощью таких инструментах, основанных на искусственном интеллекте, мошенники похищают деньги компаний, компрометируют их руководителей и даже пытаются устроиться на работу, чтобы затем получить несанкционированный доступ к ИТ-инфраструктуре организации. 29 октября 2024 года исследовательская и консалтинговая компания Gartner рассказала о пяти стратегиях для защиты от дипфейков.

Внедрение генеративного ИИ (ГенИИ) связано с многочисленными рисками — от распространения дезинформации до злоупотребления сотрудниками и создания цифровых двойников других людей. Важно, чтобы руководители внедрили эффективные защитные механизмы в своей организации, чтобы сбалансировать беспрецедентные возможности со значительными внешними и внутренними репутационными угрозами, которые открывает ГенИИ, — говорит Эмбер Бойес (Amber Boyes), директор-аналитик Gartner.

Аналитики Gartner дали советы компаниям, как обезопаситься от дипфейков

Расширенный мониторинг социальных сетей

Как показал опрос, проведенный Gartner в период с апреля по май 2024 года, 80% потребителей указывают на то, что ГенИИ усложняет распознавание реального и синтезированного контента в интернете. Создав протокол «человек в контуре», менеджеры могут вооружиться необходимыми инструментами для мониторинга социальных сетей и управления репутационными рисками. Соответствующие процессы должны быть адаптированы для сценариев, специфичных для ГенИИ, включая внедрение новых средств оповещения о ложном и вводящем в заблуждение контенте на социальных платформах.

Укрепление доверия к корпоративным коммуникациям

Дезинформация и подрыв доверия остаются основными проблемами в сформировавшемся медиа-ландшафте. Поэтому крайне важно, чтобы руководители превратили собственную организацию в источник точной и надежной информации. С целью снижения ущерба от информационной атаки эксперты рекомендуют развивать эффективные корпоративные коммуникации. Для этого потребуется тщательно отслеживать публикуемые в интернете сведения и предпринимать необходимые меры в случае появления дезинформации. При этом следует минимизировать количество каналов коммуникаций компании и организовать согласованное распространение информации.

Сценарии действий для наиболее вероятных атак

Специалисты Gartner указывают на необходимость разработки плана реагирования на атаки с применением дипфейков. После определения ключевых рисков для компании руководителям рекомендуется организовать практические учения для эффективного противодействия злоумышленникам и минимизации возможных последствий. При этом особое внимание должно уделяться областям с самыми высокими репутационными рисками.

Прозрачность в отношении использования ГенИИ

Согласно опросам, примерно 75% потребителей считают необходимым, чтобы компании раскрывали информацию о том, когда они используют технологии ГенИИ при создании своего контента. На этом фоне, считают аналитики Gartner, руководителям организаций необходимо обеспечить тщательную проверку генерируемых материалов и фактов. Вместе с тем для сотрудников следует выработать разъяснения и рекомендации по использованию ГенИИ, предоставив соответствующие сценарии применения технологии и реальные примеры.

Расширение возможностей благодаря экспериментам с ГенИИ

Развивая культуру безопасного проведения экспериментов с ГенИИ, руководители могут повысить доверие своих сотрудников к этой технологии. Возможности экспериментирования должны быть сосредоточены на наиболее полезных и наименее рискованных вариантах использования, чтобы свести к минимуму возможные неудачи.^[2]

Британец Хью Нельсон получил 18 лет тюрьмы за создание дипфейк-фотографий с сексуальным насилием детей

28 октября 2024 года стало известно о том, что британский суд приговорил к 18 годам тюремного заключения 27-летнего Хью Нельсона (Hugh Nelson) за создание дипфейк-изображений с сексуальным насилием над детьми. Сгенерированные материалы осужденный продавал в интернете. Подробнее здесь

Как хакеры используют ИИ для взлома ИТ-инфраструктуры российских предприятий

Хакеры все чаще используют возможности искусственного интеллекта (ИИ) для взлома информационно-технологических систем российских предприятий. Согласно данным, представленным в «Лаборатории Касперского», злоумышленники применяют ИИ для создания фейкового контента, который позволяет им обойти защитные системы компаний и получить доступ к конфиденциальной информации. Данные подтверждают рост числа таких атак, что было озвучено 25 октября 2024 года региональным представителем компании в Южном и Северо-Кавказском федеральных округах Игорем Малышевым.

По словам Малышева, хакеры активно используют нейросети для создания поддельных изображений и голосов, применяя их для социальной инженерии и таргетированных атак. Эти технологии могут использоваться не только против предприятий, но и для вымогательства у частных лиц, с целью получения информации, которая может быть использована для будущих атак. Он также отметил, что точной статистики по таким случаям нет, поскольку многие компании не раскрывают детали взломов, однако имеющихся данных достаточно для вывода о нарастающей угрозе.

Хакеры используют ИИ для взлома ИТ-инфраструктуры

Как сообщает ТАСС, на октябрь 2024 года программных средств для автоматического выявления дипфейков и других поддельных материалов на массовом уровне не внедрено. Малышев подчеркнул, что создание таких решений сопряжено с рядом технических трудностей, что делает основным способом защиты повышение киберграмотности пользователей и соблюдение цифровой гигиены. Среди основных рекомендаций он выделил предосторожность при использовании открытых Wi-Fi сетей, внимательное отношение к сообщениям и звонкам от незнакомых лиц, а также к переходам по подозрительным ссылкам.

На сегодняшний день лучшей защитой остается соблюдение базовых правил кибербезопасности. Пользователь должен насторожиться, если его просят срочно выполнить какие-то действия, особенно если это не соответствует обычным процедурам или просьба исходит от человека, не имеющего на это полномочий, — отметил Малышев.[3]

Как мошенники заработали $46 млн, используя красивые видеодипфейки для знакомства на сайтах

В середине октября 2024 года полиция Гонконга арестовала 27 человек по подозрению в совершении мошенничества с использованием технологии подмены лиц (видеодипфейков) с целью знакомства на сайтах в интернете. В результате этой схемы жертвы потеряли около $46 млн. Подробнее здесь

В МВД предупредили о мошенничестве с поддельными приказами ФСБ

В МВД России сообщили о появлении мошеннической схемы, в которой злоумышленники используют поддельные приказы ФСБ. Так, действуя от имени руководителя, они выходят на сотрудников компании и сообщают, что в отношении них ФСБ России начала проверку из-за возможного нарушения действующих норм законодательства. Об этом 8 октября 2024 года сообщила пресс-служба члена комитета ГосДумы РФ по информационной политике, информационным технологиям и связи Антона Немкина. Подробнее здесь.

В Госдуму внесены законопроекты для защиты от дипфейков. Помогут ли они?

В один день – 16 сентября – в Государственную думу внесено сразу два законопроекта, направленных на защиту от дипфейков. Один разработан Ярославом Ниловым, депутатом ГД, совместно с сенатором Алексеем Пушковым. Он вносит изменения в Уголовный кодекс РФ. Второй, который предложили сенаторы Андрей Клишас, Артём Шейкин, Наталья Кувшинова, Руслан Смашнёв и депутат ГД Даниил Бессарабов, предлагает изменения в Гражданский кодекс РФ.

Законопроект № 718538-8^[4] «О внесении изменений в УК РФ» предлагает определить использование дипфейков как отягчающее обстоятельство для таких преступлений как клевета (ст. 128.1), мошенничество (ст. 159), кража (ст. 158) вымогательство (ст. 163) и причинение имущественного ущерба (ст. 165). В пояснительной записке к законопроекту сказано следующее:

Учитывая, что именно голос и изображение гражданина используются чаще всего для обмана, предлагается выделить их в отдельную категорию. В связи с вышеизложенным, законопроект предлагает ввести в ряд статей Уголовного кодекса Российской Федерации (клевета, кража, мошенничество, мошенничество в сфере компьютерной информации, вымогательство, причинение имущественного ущерба путем обмана или злоупотребления доверием) дополнительный квалифицирующий признак – совершение преступления с использованием изображения или голоса (в том числе фальсифицированных или искусственно созданных) и (или) биометрических данных гражданина.

В случае принятия закона использование дипфейка по указанным выше статьям будет квалифицироваться судом как преступление, совершенное с отягчающими обстоятельствами, по которым наказание может быть увеличено. Например, за клевету штраф может быть поднят до 1,5 млн рублей (без отягчающих обстоятельств штраф за клевету ограничен 500 тыс. рублей), а за мошенничество срок лишения свободы может быть ужесточен до 6 лет (без отягчающих обстоятельств лишение свободы ограничено 2 годами).

Существующие технологии создания дипфейков действительно достигли уровня, при котором их можно использовать для нанесения вреда, – подтвердил TAdviser важность защиты от дипфейков Юрий Митин, управляющий партнер юридической компании «Интеллектуальная защита». – Дипфейки могут быть использованы для распространения дезинформации, кибербуллинга, шантажа, а также для создания почвы для недоверия в обществе. С помощью таких технологий возможно создать фальшивые видеоизображения или аудиозаписи, где человеку приписываются слова или поступки, которых он не совершал. Это ставит под угрозу репутацию людей и может иметь серьезные последствия.

Это мнение разделяет и Никита Леокумович, начальник управления киберразведки и цифровой криминалистики Angara Security. Он пояснил TAdviser опасность дипфейков так:

С начала 2024 года в России стали фиксироваться случаи мошеннических схем, в которых применяются в совокупности техники социальной инженерии и дипфейк. Например, мошенники могут создать фейковое сообщение от руководителя компании в мессенджере, используя аудио- или видеодипфейк, чтобы обманом добиться перевода денежных средств. Злоумышленники могут генерировать реалистичные изображения или видео, вызывающие эмоциональный отклик у жертв, что делает их атаки еще более эффективными.

Фактически это означает, что набор уголовных статей, где использование дипфейка можно квалифицировать как отягчающее обстоятельство, можно бы и расширить и на дезинформацию (ст. 207), и на нарушение неприкосновенности частной жизни (ст. 137), и на хулиганство (ст. 213) и даже на терроризм (ст. 205).

В Госдуму внесено два законопроекта для защиты от дипфейков

Второй законопроект, №718834-8^[5] «О внесении изменений в часть первую Гражданского кодекса Российской Федерации», вносит в ГК новую статью 152.3. «Охрана голоса гражданина». Она закрепляет за гражданином право распоряжаться записями своего голоса, в том числе и синтезированного с помощью искусственного интеллекта. Правда, предполагаются три исключения, если:

• использование голоса гражданина осуществляется в государственных, общественных или иных публичных интересах;
• голос гражданина записан при видео- или аудиозаписи, которая проводится в местах, открытых для свободного посещения, или на публичных мероприятиях;
• запись голоса гражданина производилась за плату.

В пояснительной записке к законопроекту сказано следующее:

При недобросовестном использовании технологий синтеза речи возникают неблагоприятные правовые последствия для граждан. В частности, искусственный интеллект, обучившись на аудиозаписях реального голоса, может в дальнейшем его имитировать, и «производные» записи могут быть использованы способом, неприемлемым для человека – обладателя голоса, поскольку получение его согласия прямо не предусмотрено законодательством. Таким образом, нарушается право гражданина самостоятельно решать, как распоряжаться записями собственного голоса, в том числе с целью их использования для создания продуктов на основе технологий синтеза речи.

В соответствии с законопроектом, гражданин вправе потребовать уничтожения носителей с его голосом, в том числе и сгенерированным, а также прекращения распространения его в интернете. Интересно, что сама ML-модель, которая была обучена на соответствующем голосе, пока под требование уничтожения не подпадает, но в дальнейшем она может генерировать аналогичные сообщения в неограниченном объеме.

Технологии создания дипфейков развиваются очень быстро и во многих направлениях: как легальных, так и нелегальных, – заявил TAdviser Валерий Сидоренко, генеральный директор digital-агентства «Интериум». – Например, легальные дипфейки применяются в рекламе или ИИ-помощниках, нелегальные — мошенниками и политическими провокаторами. Отмечу ещё, что голосовые дипфейки намного проще сделать, чем видео, и намного сложнее отследить и регулировать. К сожалению, технологий 100% детекции дипфейков не существует: да, есть программы-сканеры, их патентуют большие ИТ-корпорации и крупные банки (например, в России — Сбер), но абсолютно надежных алгоритмов нет именно в силу скорости развития технологий генерации.

Понятно, что если гражданин не сможет доказать, что записанный или сгенерированный голос действительно его – а технологий для этого нет, то и удалить подобный дипфейк ему вряд ли удастся. Хотя Дмитрий Овчинников, руководитель лаборатории стратегического развития продуктов кибербезопасности Аналитического центра кибербезопасности «Газинформсервис», считает по-другому.

Те же самые технологии нейронных сетей позволяют анализировать фото и видео материалы и посредством использования специальных алгоритмов определять подделку, – пояснил он читателям TAdviser. – Для этого используется анализ множества цифровых данных в подделке, которые недоступны человеческому слуху или зрению. Со временем, подобные алгоритмы и сервисы будут не только доступны на отдельных сайтах или специализированных серверах, но и интегрированы в социальные сети, видеохостинг, файловые хранилища и почтовые сервисы, что позволит автоматически, посредством обученного ИИ отсекать подобный контент и предотвращать его распространение.

То есть для разработчиков сервисов и продуктов информационной безопасности одним из направлений развития может стать интеграция в свои продукты технологий детектирования дипфейков и разметки их для пользователей и клиентов. В то же время принятие подобной поправки в ГК открывает возможности для целой отрасли по легальному использованию дипфейков. Пример этого привел Валерий Сидоренко:

Приведу пример легального дипфейка из российской практики: в прошлом году «МегаФон» купил права на лицо Брюса Уиллиса и снял с ним ИИ-рекламу (в Рунете этот ролик произвел фурор). Сам актер болен, но торгует правами на свою внешность для таких видео, и из-за участившихся случаев нелегального использования внешности актеров губернатор Калифорнии, где расположен Голливуд, недавно даже внес законопроекты об ужесточении наказания за дипфейки без согласия. В США в целом на данный момент регулирование во многом определяется лоббизмом «профсоюза работников шоу-бизнеса», именно они несут там основные репутационные и финансовые потери от дипфейков.

Кадр из рекламы «Мегафона» с дипфейком «Брюса Уиллиса»

Законы, которые ограничивают использование в кинопроизводстве сгенерированных изображений и голосов актеров и которые упоминает Валерий Сидоренко, уже были недавно подписаны губернатором штата Гэвином Ньюсомом. Об этом сообщила^[6] Американская федерация артистов телевидения и радио (SAG-AFTRA). Собственно, и наш законопроект, как следует из пояснительной записки, разработан Альянсом в сфере ИИ и Национальной федерацией музыкальной индустрии, то есть направлен на создание рынка легального использования голосовых дипфейков.

С одной стороны, генеративные технологии, включая дипфейки, обладают огромным потенциалом для творческих индустрий, образования и технологий, – считает Юрий Митин. – Они способны обеспечить новые формы искусства, дублирование нужных медиа-материалов и инновации в области развлечений. С другой стороны, опасения относительно злоупотребления такими технологиями заставляют многих специалистов говорить о необходимости ограничения или контроля их использования, чтобы минимизировать риски, связанные с дезинформацией и нарушением прав человека. Важно найти баланс между развитием технологий и их ответственным использованием в обществе.

По мнению эксперта сервиса аналитики и оценки цифровых угроз ETHIC компании [[ Инфосекьюрити (Infosecurity)|Infosecurity]] Максима Грязева, полностью искоренить дипфейк-мошенничество вряд ли получится. Искусственный интеллект будет продолжать развиваться, и вместе с ним — преступные методы. Однако можно значительно снизить количество таких преступлений, развивая технологии обнаружения дипфейков и повышая экспертность в этой области. Ключевыми направлениями должны стать разработка инструментов для автоматического выявления подделок и регулярное обновление методов защиты.

Грязев уверен, что государство должно активно инвестировать в развитие технологий и подготовку специалистов для борьбы с дипфейк-мошенничеством. Необходимы информационные кампании и повышение осведомленности населения о существовании таких угроз. Граждане также должны быть бдительными, не доверять сомнительным сообщениям и всегда проверять источники информации, добавил собеседник TAdviser.

Опрошенные TAdviser эксперты сошлись во мнении, что главной опорой в борьбе с дипфейками является повышение осведомленности граждан.

Мы сами должны определять подозрительные признаки в кадре, или на аудиодорожке, если гражданин в принципе будет знать о существовании дипфейка - значительно снизится процент попаданий в ловушки злоумышленников. Предупрежден - значит вооружен, - считает исследователь социальной инженерии в компании StopPhish (специализируется на обучении информационной безопасности) Алишер Джураев.

Директор по продукту в ИТ-компании Proscom Антон Прокопчин видит два основных способа борьбы с дипфейками:

• Законодательное регулирование, в том числе ужесточение ответственности за использование этой технологии, а также различные методы маркировки для распознавания информации.
• Технические методы. В этой категории вычислять недостоверные данные помогают те же нейросети. Их обучают на настоящих видео, помогая распознавать характерные детали определённых людей. Например, программу по выявлению поддельного видеоконтента разработали в Донском государственном техническом университете.

По словам управляющего партнера юридической компании "Интеллектуальная защита" Юрия Митина, введение уголовной ответственности за использование дипфейков – это важный шаг в борьбе с мошенничеством и распространением ложной информации. В России уже действуют механизмы противодействия дипфейкам, например, проверка на подлинность видеоматериала и использование специальных программ для их анализа. Новая законодательная инициатива, по сути, ужесточает ответственность, делая использование дипфейков более рискованным, рассуждает юрист.

По его мнению, правовое регулирование дипфейков — это сложная задача,requiring взвешенного подхода. С одной стороны, необходимо защищать людей от злоупотребления этой технологией. С другой стороны, следует учитывать, что дипфейки могут иметь и легитимные применения в сфере искусства, образования и развлечений.

Ключевым моментом для эффективного противодействия дипфейкам Юрий Митин назвал повышение информированности пользователей о существующих угрозах и методах их выявления. Необходимо развивать технологии детектирования дипфейков, а также совершенствовать механизмы мониторинга и контроля за их распространением в интернете.

Юрист Владимир Кутаев отмечает, что на первый взгляд, распространение дипфейков должно крайне жестко регулироваться полноценными нормами, закрепленными в главном источнике уголовного права, а с другой стороны не ясно, имеет ли смысл увеличивать объем Уголовного кодекса, если использование технологии дипфейка можно уместить в стандартные составы преступлений путем выпуска постановлений Пленума ВС РФ, на которых и будет строиться правоприменение.

В любом случае, это положительная инициатива, которая должна расширить возможность граждан защитить свои права и установить соответствующие меры ответственности, - сказал Кутаев.

Мошенники в России атакуют родителей: они начали подделывать видео с образами и голосами их детей

В начале сентября 2024 года стало известно о том, что мошенники в России активно используют новые схемы обмана, реализованные с помощью искусственного интеллекта. Злоумышленники атакуют родителей, подделывая видео с образами и голосами их детей.

Мошенническая схема сводится к тому, что киберпреступники обращаются к жертве посредством голосовой или видеосвязи, выдавая себя за близких родственников. Для этого могут применяться дипфейковые записи, сгенерированные посредством ИИ. Далее злоумышленники сообщают какую-либо неприятную новость. Цель заключается в том, чтобы вывести человека на эмоции и заставить принять необдуманное решение — перевести деньги.

Мошенники в России атакуют родителей, подделывая видео с детьми

Один из подобных случаев в начале сентября 2024 года произошел в Воронеже. Местной жительнице Полине Марковне С. позвонила из Москвы дочка — студентка Вера. По видеосвязи якобы из отделения полиции она сообщила о проблемах и попросила маму срочно перевести 100 тысяч рублей, не задавая никаких вопросов. При этом номер счета получателя был отправлен по SMS.

Мама, у меня проблемы! Срочно переведи мне 100 тысяч рублей! Срочно! И ни о чем не спрашивай. Все объясню тебе позже, когда ты переведешь. Я сейчас в полиции. Телефон будет отключен. Как только деньги переведешь, меня отпустят, и я сразу тебе позвоню. Номер счета я отправила тебе эсэмэской, — сообщила девушка.

По стечению обстоятельств вскоре Полине Марковне поступил настоящий звонок от дочери, которая сообщила, что у нее все в порядке. Это позволило избежать потери денег, которые женщина собиралась перевести мошенникам.

Злоумышленники могут не только выдавать себя за детей жертв, но и представляться сотрудники банков, правоохранительных органов и пр. Специалисты по вопросам информационной безопасности при подозрительных звонках рекомендуют задавать уточняющие вопросы, а затем звонить самостоятельно реальным близким. Это поможет избежать финансовых потерь.^[7]

ЦБ: Мошенники взламывают соцсети россиян, делают дипфейки и выманивают деньги у их друзей и родственников

Банк России в середине августа 2024 года предупредил о новой угрозе со стороны мошенников, активно использующих современные технологии для кражи денег. В сообщении, опубликованном пресс-службой Центрального банка РФ, говорится о том, что злоумышленники все чаще применяют дипфейки – поддельные видеозаписи, созданные с использованием нейросетей – для обмана граждан и вымогательства средств у их друзей и родственников.

Как отмечается в сообщении ЦБ, схема мошенников обычно начинается с взлома аккаунта жертвы в социальных сетях или мессенджерах. Получив доступ к личным данным, таким как фотографии, видеозаписи и аудиозаписи, злоумышленники создают реалистичное видео с использованием технологии дипфейка. В таких видео человек рассказывает о якобы произошедшей с ним проблеме, например, о серьезной болезни или дорожно-транспортном происшествии, и просит срочно перевести деньги на указанный счет.

ЦБ предупредил, что мошенники взламывают соцсети россиян, создают дипфейки и выманивают деньги у их друзей и родственников

Как пишет «РБК», в Банке России подчеркнули, что подобные обращения могут оказаться ловушкой мошенников. Особенно часто злоумышленники делают дипфейки, изображающие работодателей, коллег или даже сотрудников государственных органов, что добавляет дополнительную степень доверия у тех, кто получает такие сообщения.

Центробанк настоятельно рекомендует гражданам быть бдительными и не поддаваться на просьбы о финансовой помощи, полученные через социальные сети или мессенджеры. Специалисты Банка России предлагают несколько методов проверки подлинности таких обращений:

• Позвонить отправителю – прежде чем переводить деньги, необходимо связаться с человеком напрямую и уточнить, действительно ли он нуждается в помощи.
• Задать личный вопрос – если нет возможности позвонить, можно задать вопрос, ответ на который знает только этот человек. Это поможет выявить мошенника.
• Оценить видеосообщение – обратить внимание на возможные дефекты, такие как монотонность речи, неестественная мимика или аномалии в звуке, которые могут свидетельствовать о том, что перед вами дипфейк.

С увеличением числа случаев использования дипфейков, в мае 2024 года в Государственной думе был предложен законопроект, предусматривающий уголовную ответственность за создание и распространение таких поддельных материалов.^[8]

Ученые создали нейросеть для выявления дипфейков

Ученые Санкт-Петербургского Федерального исследовательского центра Российской академии наук (СПб ФИЦ РАН) разработали метод автоматического определения дипфейков через выявление манипуляций по улучшению качества сгенерированного видео для его убедительности (апскейлинга). На основе этого метода была обучена нейросеть, которая анализирует видео и фото и помогает выявить дипфейки. Об этом 2 августа 2024 года сообщила пресс-служба члена комитета ГосДумы РФ по информационной политике, информационным технологиям и связи Антона Немкина. Подробнее здесь.

В России дипфейки могут признать отягчающим обстоятельством

МВД России разрабатывает законопроект, который позволит отнести использование дипфейков к отягчающим обстоятельствам. Об этом 1 июля 2024 года рассказал депутат Госдумы, зампред комитета по информполитике Антон Горелкин, его цитируют РИА Новости.

МВД разрабатывает законопроект, чтобы сделать дипфейки отягчающим обстоятельством и это правильное направление. Я уверен, что в ближайшее время здесь будет какая-то регуляторика, – сказал Антон Горелкин.

По словам депутата, обычный человек уже не может отличить сгенерированный контент от настоящего.

Людям нужен доступный инструмент для быстрой проверки происхождения контента...камеру смартфона навел, получил вердикт...хотелось бы, чтобы было больше таких проектов, – отметил Горелкин.

МВД уже давно ведет работу по ужесточению законодательства в сфере использования ИТ для осуществления противоправных действий, сообщил депутат ГосДумы РФ Антона Немкина.

Напомню, что министр внутренних дел Владимир Колокольцев поручил проработать вопрос отнесения преступлений с использованием ИТ к отягчающим обстоятельствам Уголовного Кодекса России. Соответствующее поручение может распространяться и на дипфейки, – отметил депутат.

По словам Немкина, злоумышленники все чаще начинают использовать как дипфейки, так и дипвойсы.

Как правило, технология используется злоумышленниками в мошеннических целях, чтобы завоевать доверие гражданина. По данным Управления Президента РФ по развитию информационно-коммуникационных технологий, только в январе 2024 года было выявлено около 2 тыс. инцидентов с использованием дипфейков в мошеннических целях. При этом в 70% случаев злоумышленники использовали именно дипвойсы, выдавая себя за родственников жертвы, коллег или знакомых, – рассказал он.

Использование дипвойсов в противоправных целях будет преобладать в ближайшем будущем, считает Немкин.

Это связано с тем, что голосовые дипфейки гораздо легче создавать. Кроме того, именно мессенджеры и социальные сети постепенно становятся ключевым местом для действий злоумышленников, так как люди там часто общаются посредством голосовых сообщений, – пояснил депутат.

Парламентарий отметил, что использование видео-дипфейков может быть связано со сценариями, в которых злоумышленник вымогает финансовые средства у граждан взамен на непубликацию частного контента. Такие инциденты уже есть.

Регулирование дипфейков, конечно, необходимо, отмечает Немкин.

Проблема и в том, что дипфейки потенциально можно использовать в разных противоправных целях. Например, использовать технологию для генерации поддельных документов – паспорта или водительских прав. Напомню, что в рамках подготовки нового нацпроекта «Экономика данных» в России обсуждается и идея создания единой платформы, которая будет выявлять недостоверную информацию, сгенерированную в том числе с использованием технологий искусственного интеллекта. Движение в сторону формирования регуляторной рамки, а также инструментов, призванных защитить граждан, уже есть, – подчеркнул депутат.

Минцифры РФ готовит единую платформу по противодействию мошенничеству. Она будет бороться с дипфейками

5 июня 2024 года стало известно о том, что Минцифры РФ прорабатывает с федеральными органами исполнительной власти (ФОИВ) вопрос создания единой платформы по противодействию различным видам мошенничества с использованием информационных технологий. Речь, в частности, идет о борьбе с дипфейками и другими схемами, основанными на применении искусственного интеллекта. Подробнее здесь.

Мошенники при помощи дипфейков подделывают документы россиян

Мошенники научились подделывать документы граждан при помощи технологий искусственного интеллекта (ИИ). Как и раньше, при создании цифровых поддельных копий, они либо меняют цифры, либо пытаются выдать недействительный документ за действительный, однако теперь в этих целях также используются дипфейки для процесса аутентификации и синтеза данных. Такой информацией 8 мая 2024 года с TAdviser поделились в пресс-службе депутата Государственной Думы РФ Антона Немкина со ссылкой на «Известия». Подробнее здесь.

В Южной Корее мошенник похитил у женщины $50 000, используя дипфейк Илона Маска

В Южной Корее мошенник похитил у женщины 70 млн вон (около $50 000), используя дипфейк основателя Tesla Илона Маска. О случившемся стало известно в конце апреля 2024 года.

Как пишет издание Independent со ссылкой на южнокорейские издания, фальшивый Маск написал женщине, которая была поклонницей бизнесмена. Кореянка сначала не поверила, но злоумышленник убедил ее, прислав фото удостоверения личности и несколько снимков с работы.

Мошенник похитил у женщины 70 млн вон, используя дипфейк основателя Tesla Motors

Маск рассказывал о детях и о том, как он летает на вертолете на работу в Tesla или SpaceX. Он также объяснил, что связывается с фанатами очень редко, — поделилась подробностями переписки обманутая гражданка Южной Корее.

Пара продолжила общение в социальных сетях. В какой-то момент они решили связаться по видео. Тогда мошенник сказал ей, что любит ее. Во время видеозвонка мошенник использовал дипфейк, чтобы притвориться Маском. Дипфейк оказался настолько правдободным, что после этого у девушек не осталось сомнений – с ней действительно связался сам Маск.

После этого мошенник назвал номер счета в корейском банке, сказав: «Я счастлив, когда мои поклонники разбогатели благодаря мне». Он сказал, что счет принадлежит одному из его корейских сотрудников. В итоге она положила на этот счет в общей сложности 70 млн вон, которые фейковый Илон Маск обещал инвестировать в развитие бизнеса и вернуть деньги с большими процентами, чтобы сделать девушку богатой. Но эта схема оказалась мошеннической, и пострадавшая обратилась в полицию.

Это не первый случай использования дипфейка Илона Маска в Южной Корее. Ранее неизвестные взломали принадлежащий правительству Южной Кореи YouTube-канал, переименовали его в SpaceX Invest и транслировали сфабрикованные видео с Илоном Маском, обсуждающим криптовалюты.^[9]

Дипфейк Юрия Никулина сыграет в новом фильме

26 марта 2024 года стало известно о том, что одним из героев семейной комедии «Манюня: Приключения в Москве» станет образ советского актера и артиста цирка Юрия Никулина, сформированный при помощи технологий искусственного интеллекта. Это первый в России успешный опыт воссоздания внешности и голоса покойного актера посредством нейросети. Подробнее здесь.

ЦБ РФ ввел меры по борьбе с дипфейками

В конце марта 2024 года стало известно о том, что Центральный банк России намерен обновить процедуру информирования о мошеннических переводах в онлайн-сервисах для финансовых операций и обмена цифровых финансовых активов. Речь идет, в частности, о борьбе с дипфейками.

Отмечается, что злоумышленники активно используют современные технологии и инструменты искусственного интеллекта для имитации голоса жертвы и других афер. По оценкам Банка России, объем украденных мошенниками средств в 2023 году достиг 15,8 млрд рублей. Это на 11,5% больше, чем в 2022-м. Регулятор сообщает, что всплеск произошел отчасти в связи с ростом объема денежных операций с использованием платежных карт.

ЦБ намерен обновить процедуру информирования о мошеннических переводах в онлайн-сервисах

Банк России совместно с представителями правоохранительных и надзорных органов прорабатывает вопрос о расширении перечня подлежащих регистрации и хранению сведений о действиях клиентов кредитных организаций и операторов по переводу денежных средств. В соответствии с новыми правилами, с июня 2024 года операторы платежных систем и электронных платформ, включая банки, должны будут передавать данные об украденных средствах клиентов финансовому регулятору. Предполагается, что такие меры помогут в предотвращении преступлений и снижении убытков.

В Банке России отмечают, что с целью повышения безопасности операций разработаны и утверждены перечень угроз и методические рекомендации. Кроме того, контролируется использование Единой биометрической системы. Поэтому «при идентификации для совершения платежей риск использования дипфейков сведен к минимуму». Новые правила, как сообщает CNews, также устанавливают порядок запроса и получения финансовым регулятором у банков информации об операциях, в отношении которых от МВД получены сведения о совершенных противоправных действиях.^[10]

Жертвами порнодипфейков стали 4 тыс. мировых знаменитостей

В 2023 году жертвами дипфейков порнографического характера стали приблизительно 4 тыс. известных во всем мире людей. Такие данные в середине марта 2024 года раскрыл ресурс Channel 4 News.

Анализ пяти самых посещаемых дипфейковых веб-сайтов, проведенный Channel 4 News, показал, что злоумышленники фабрикуют материалы с изображением женщин-актеров, телезвезд, музыкантов и блогеров. Из приблизительно 4 тыс. жертв порнодипфейков на британцев приходится 255 человек.

Жертвами дипфейков порнографического характера стали приблизительно 4 тыс. известных во всем мире людей

В 2016 году исследователи обнаружили в интернете одно фейковое порнографическое видео. Вместе с тем за первые три четверти 2023 года на 40 наиболее посещаемых порносайтов было загружено почти 144 тыс. новых дипфейковых материалов — больше, чем за все предыдущие годы вместе взятые. Отмечается, что, например, в Британии 31 января 2024 года вступил в силу Закон о безопасности в интернете (Online Safety Act): он предусматривает, что несанкционированный обмен дипфейковыми материалами в стране запрещен. Вместе с тем создание порнодипфейков не преследуется по закону. О проблеме говорят представители Ofcom (Office of Communications) — британского агентства, регулирующего работу теле- и радио-компаний, а также почтовой службы.

Незаконные дипфейковые материалы наносят значительный ущерб. В соответствии с Законом о безопасности в интернете компании должны будут оценить риск распространения подобного контента в своих сервисах, принять меры, чтобы предотвратить его появление, и оперативно удалять такие материалы, — говорится в заявлении Ofcom.

Дипфейки могут использоваться не только для нанесения ущерба конкретным лицам. Такие материалы дают злоумышленникам возможность распространять фальшивые новости, осуществлять различные мошеннические схемы и пр.^[11]

Премьер-министр РФ Михаил Мишустин поручил Минцифры создать систему для выявления дипфейков

Председатель Правительства РФ Михаил Мишустин поручил Минцифры создать систему для выявления дипфейков. Об этом стало известно в марте 2024 года.

Как пишут «Ведомости» со ссылкой на представителя Минцифры, речь идет о разработке единой платформы, способной выявлять недостоверную информацию, сгенерированную в том числе с помощью технологий искусственного интеллекта. Подробнее об этом читайте здесь.

Россиян заманивают объявлениями о платной озвучке фильмов для кражи образцов их голоса. Потом крадут деньги у их родственников

Россиян заманивают объявлениями о платной озвучке фильмов для кражи образцов их голоса. Потом крадут деньги у их родственников и друзей. О новой схеме мошенничества в начале марта 2024 года рассказали в компании Angara Security, специализирующейся на информационной безопасности.

Как пишут «Ведомости» со ссылкой на материалы Angara Security, в размещаемых в интернете объявлениях их авторы просят предоставить аудиозапись в формате телефонного звонка или записи разговора, которую необходимо отправить личным сообщением или боту. За участие в проекте предлагают гонорар от 300 до 5 тыс. рублей, который действительно может быть выплачен жертве.

Россиян заманивают объявлениями о платной озвучке фильмов для кражи образцов их голоса

По словам экспертов, эти объявления не несут в себе прямой угрозы, однако дата-сеты голосов мошенники применяют в обучении нейросетей, генерируя на их основе аудиосообщения. В дальнейшем используют их для вымогательства денег у жертв, представляясь родственником, коллегой, другом и т. п. Кроме того, аферисты могут обращаться от имени жертвы в банки, где у него открыт счет.

В Angara Security отмечают, что чаще всего такие объявления появляются в Telegram-каналах. Однако злоумышленники могут пользоваться и другими сайтами, а также применять спам-звонки с предложением заработать на «большом проекте». Число таких сообщений без учета спам-звонков в 2021 году составляло 1200, в 2022-м их количество выросло в четыре раза – до 4800, а в 2023 году достигло 7000, подсчитали ИБ-эксперты.

Опрошенные «Ведомостями» эксперты также отмечают еще один потенциальный источник сбора образцов голосов россиян: мошенники могут получать их из видеороликов, опубликованных в социальных сетях. Причем взламывать аккаунты пользователей не нужно, потому что большая часть видеоконтента находится в открытом доступе, указывают специалисты.^[12]

Использование дипфейка для ограбления банка. В каких ситуациях это возможно, и как от этого защититься

В февраля 2024 года российские СМИ распространили информацию о случае якобы использования дипфейков для обхода аутентификации в банке «Тинькофф». В первоисточнике высказывалось предположение, что мошенники якобы с помощью дипфейка смогли вывести со счетов пользователя 200 тыс. руб. TAdviser обсудил с экспертами, насколько велик риск обхода банковской аутентификации и кражи средств с помощью дипфейков. Подробнее

Минцифры РФ занялось регулированием дипфейков

16 февраля 2024 года стало известно о том, что Минцифры РФ приступило к проработке вопросов правового регулирования сферы дипфейков — технологий убедительной подмены личности на основе искусственного интеллекта. В инициативе принимают участие МВД и Роскомнадзор.

Дипфейки могут использоваться злоумышленниками в различных целях. Мошенники могут имитировать голос или изображение определенного человека, например, руководителя компании, для вывода денежных средств или кражи конфиденциальных данных. Технология применяется для распространения дезинформации, создания волнений на политической арене и пр.

Минцифры прорабатывает вопрос правового регулирования дипфейков

Газета «Ведомости» сообщает, что необходимость регулирования сферы дипфейков обсуждалась на заседании правительственной комиссии по профилактике правонарушений под председательством министра внутренних дел Владимира Колокольцева в феврале 2024-го. Минцифры предстоит проработать вопрос выявления фальшивок, созданных с помощью ИИ. Отчет о проделанной работе должен быть представлен в правкомиссию до 1 ноября 2024 года.

В России по состоянию на середину февраля 2024-го использование дипфейков законом не регулируется. Но, как отмечает партнер юридической фирмы «Рустам Курмаев и партнеры» Дмитрий Клеточкин, по факту деяний с применением технологии подмены личности можно возбудить уголовное дело: такие действия могут быть квалифицированы как хищение путем модификации компьютерной информации (ст. 159.6 УК) или как мошенничество (ст. 159 УК). Выявление дипфейков строится прежде всего на ручной работе криминалистов, которые выявляют дрожание голоса, запаздывание речи, склейки и другие особенности аудио- или видеозаписи. В дальнейшем, как ожидается, этот процесс будет автоматизирован, в чем помогут алгоритмы ИИ.^[13]

Компания перевела мошенникам $25 млн после видеоконференции с дипфейками сотрудников

В начале февраля 2024 года стало известно о крупной афере с использованием дипфейков в Гонконге. Крупная местная компания, имеющая международный бизнес, перевела мошенникам $25 млн после сфабрикованной видеоконференции с сотрудников.

Как пишет South China Morning Post, сотрудник финансового отдела получил фишинговое сообщение, в котором утверждалось, что оно от финансового директора (CFO) из Британии. В сообщении было поручено выполнить секретную транзакцию, но сотрудник не был убежден в правдивости письма. Именно тогда ИИ помог в организации мошеннической схемы.

Стало известно о крупной афере с использованием дипфейков в Гонконге

Используя технологию дипфейк, злоумышленник организовал телефонную конференцию с дипфейк-видеозаписями финансового директора и других сотрудников, чтобы убедить жертву перевести деньги. Просмотра коллег на видео было достаточно, чтобы инициировать транзакцию.

По словам сотрудника компании, ставшего жертвой аферы, во время созвона он даже не подумал о подвохе — все участники выглядели естественно, разговаривали и вели себя как его коллеги. Осознание пришло только после того, как работник все же решил связаться с головным офисом компании и уточнить детали банковского перевода. На созвоне скамеры попросили сотрудника представиться, но не взаимодействовали с ним и в основном раздавали приказы. А потом встреча внезапно завершилась.

К началу февраля 2024 года ведется расследование, задержанных пока нет. Название компании и имя жертвы полиция не раскрывает в интересах следствия. Известно, что аудио- и видеозаписи для создания дипфейков участников видеозвонка мошенники брали в открытом доступе.

Как отметили в полиции Гонконга, это было первое дело такого рода, прием касающееся крупной суммы. По словам исполняющего обязанности старшего суперинтенданта Криминального бюро Барона Чана Шунь-цзина (Baron Chan Shun-ching), в предыдущих случаях мошенники обманывали жертв с помощью видеозвонков один на один.^[14]

В России могут ввести ответственность за несанкционированное использование дипфейков

В России может быть введена ответственность за несанкционированное использование голоса и изображения людей, сообщил председатель Комитета Госдумы по информационной политике, информационным технологиям и связи Александр Хинштейн в ходе пленарного заседания. Об этом 25 января 2024 года сообщила пресс-служба депутата ГосДумы РФ Антона Немкина.

В ходе обсуждения поправок, направленных на ужесточение ответственности за допущение утечек персональных данных, первый зампред думского Комитета по науке и высшему образованию Олег Смолин поднял вопрос о распространении дипфейков – подделках как голоса, так и изображения человека с помощью технологий искусственного интеллекта.

Депутат предложил в рамках второго чтения законопроектов о персональных данных рассмотреть поправки, предполагающие ответственность за использование дипфейков в целях мошенничества и дискредитации.

По словам Александра Хинштейна, депутаты занимаются данным вопросом.

Проблема стоит достаточно остро, и вместе с профильными ведомствами мы работаем над подготовкой такой инициативы, отметил он. – Она найдет свое отражение не в рамках этих законопроектов. Нам предстоит внести изменения в базовый закон о персональных данных.

Дипфейки – наверное, самый распространенный пример работы генеративных моделей искусственного интеллекта, отметил Антон Немкин.

Пока что дипфейки скорее приносят обществу больше отрицательного, чем хорошего, создавая новые вызовы. Среди них прежде всего проблема использования дипфейков в мошеннических целях, – сказал депутат.

Так, биометрические данные пользователя могут использоваться в самых разных целях, подчеркнул депутат.

Например, биометрия известного актера может использоваться каким-либо брендом в рекламных целях. Во многом дипфейки используются и в развлекательных целях: интернет «наполнен» различными видео, в которых известные люди говорят фразы, которые на самом деле им никогда не принадлежали. Фактически мы сталкиваемся с ситуацией, в которой лицо человека, а также его голос может использовать кто угодно в своих целях. Подобное положение может привести к унижению чести и достоинства определенных людей, и, вероятно, к повышению социальной напряженности, если дипфейки будут использоваться, например, в политических целях, – отметил депутат.

Проблема использования дипфейков в мошеннических целях постепенно обретает свою актуальность, подчеркнул депутат.

Напомню, не так давно распространилась мошенническая схема, при которой, казалось бы, происходят уже привычные нам действия: взлом аккаунта в мессенджерах, а также рассылка сообщений близкому кругу с просьбой занять в долг. Нововведение мошенников – рассылка таких сообщений с использованием аудиодипфейков, что, конечно, является практически беспроигрышным способом обмана жертвы. Представьте: к вам фактически напрямую обращается близкий вам человек, неужели вы откажете ему в просьбе? В дальнейшем число подобных схем будет только расти, поэтому включение проблемы дипфейков в правовое полое – необходимость, – считает Немкин.

По словам депутата, прежде всего необходимо на законодательном уровне определить понятие дипфейков и возможные концепции их регулирования.

Госдума как раз разрабатывает соответствующую нормативную базу. Не думаю, что включение соответствующих положений в смежные законопроекты приведет к эффективным результатам. Тут нужно работать с основным законодательством в сфере персональных данных, – заключил парламентарий.

Мошенники начали подделывать с помощью ИИ голоса россиян и обманывать их родственников в мессенджерах

Мошенники начали подделывать с помощью ИИ голоса россиян и обманывать их родственников и друзей в мессенджерах. Об этой схеме 11 января 2024 года рассказали в управлении по организации борьбы с противоправным использованием информационно-коммуникационных технологий МВД России.

По информации ведомства, сперва аферисты взламывают аккаунты в Telegram или WhatsApp с помощью поддельных голосов. После этого мошенники скачивают голосовые сообщения и формируют новые с необходимым им контекстом.

Далее, как заявляют в МВД, злоумышленники отправляют сформированные сообщения в личные и групповые чаты с просьбой одолжить некоторую сумму средств, добавляя к голосовому сообщению фото банковской карты с поддельными именами получателей.

Один из пострадавших от этой аферы рассказал РБК, что мошенники рассылают поддельное голосовое сообщение как в личной переписке, так и во все чаты, где состоит владелец аккаунта. По тем же адресам отправляется фотография банковской карты с именем и фамилией. У собеседника издания имя и фамилия отличались в соцсетях от информации в паспорте, но мошенники использовали данные именно паспорта. Сумма, которую хотели в этом случае получить мошенники, — 200 000 рублей. Похожим способом потерял 3000 рублей один из пользователей «ВКонтакте».

В компании F.A.C.C.T. назвал такую схему новой и «довольно продвинутой» для России. По словам экспертов, на первом этапе схемы происходит взлом аккаунта Telegram или WhatsApp, например, через фейковые голосования, волна которых наблюдалась в конце 2023 года. Затем мошенники скачивают сохраненные голосовые сообщения и с помощью сервисов ИИ создают новые, с необходимым контекстом, рассказали изданию в F.A.C.C.T.

Руководитель исследовательской группы Positive Technologies Ирина Зиновкина поставила под сомнение эффективность такого мошенничества, поскольку не все пользователи пользуются голосовыми сообщениями, и не всегда удается склеить нужную фразу из того материала, который уже есть.^[15][16]

2023

Как киберпреступники пополняют базу для создания аудио- и видеодипфейков

По данным исследования Angara Security, в 2023 году в российском онлайн-сегменте на 45% (зафиксировано около 7 000 сообщений) по сравнению с 2022 годом выросло число запросов на озвучивание «рекламы» и «фильмов» в мессенджерах, социальных сетях и на комьюнити-площадках. При этом аналитики делают вывод о том, что тренд на сбор аудиоданных сформировался именно в 2022 году, когда число подобных запросов выросло в четыре раза относительно данных 2021 года. (около 4 800 материалов vs. 1200 в 2021 году). Об этом компания сообщила 1 марта 2024 года.

Большая часть объявлений размещена в Telegram, но используются и другие ресурсы, например, Habr или спам-звонки с предложением заработать на «большом проекте». Авторы таких сообщений просят указывать имена или ставят условие, что записанный аудиофайл должен быть похожим на телефонный звонок. За участие в подобных проектах предлагают гонорар от 300 до 5000 рублей. Аналитики Angara Security делают вывод о том, что в результате сбора голосовых данных киберпреступники получили возможность усовершенствовать тактики фишинговых атак на частных лиц и бизнес, для которых используются аудио- и видеофейки.

Помимо такого способа эксперты отмечают еще один источник данных — это видеоконтент из социальных сетей (например, VK), который находится в свободном доступе.

Если же аккаунты закрыты, то киберпреступники могут использовать «угон» аккаунта или более простой с технической точки зрения способ – социальную инженерию, чтобы завоевать доверие. Поэтому получение исходных данных для видео- и аудиофейков намного доступнее, чем кажется, − сказала Алина Андрух, специалист по реагированию на инциденты Angara Security.

С начала 2024 года в России стали фиксироваться случаи мошеннических схем, в которых применяются в совокупности техники социальной инженерии и deepfake. Цель такой атаки заключается в том, чтобы получить денежные средства от сотрудников компании, которые получают сообщения от фейкового аккаунта руководителя в Telegram.

Например, в январе в адрес одной из компаний применялась подобная техника. Сначала были украдены несколько аккаунтов пользователей Telegram, затем были получены аудиофайлы (голосовые сообщения). Эти данные использовались для генерации поддельных записей, в которых мошенники от имени владельца аккаунта вымогали денежные средства у пользователей, которые состояли вместе с ним в различных чатах и рабочих группах.

Еще один вариант использования дипфейков – это видеоконференц-связь. Например, международный кейс, когда преступники использовали технологии аудио-и видеофейка, чтобы от имени «доверенных» лиц убедить сотрудника перевести крупную сумму денег.

Мы ожидаем, что тренд на такого рода атаки будет только набирать обороты с развитием технологий ИИ. Поэтому крайне важно сформировать методы и способы распознавания фейковых материалов и решать вопрос на уровне законодательства, чтобы снизить риски для кибербезопасности обычных пользователей цифровых сервисов и бизнеса, − продолжила Алина Андрух.

В России был сделан важный шаг относительно регулирования метода deepfake-материалов: правительство РФ поручило разработать способы регулирования применения такой технологии до 19 марта 2024 года . В 2023 году уже был предложен способ разграничения реального контента и созданного с помощью ИИ путем помещения на объект специального штампа-отметки. Стоит отметить, что такой способ является достаточно трудным для реализации и контроля.

Для выявления следов работы ИИ, в том числе аудио- и видеофейков, разрабатываются новые инструменты, например, российский проект «Зефир», представленный летом прошлого года, способный обнаруживать искусственно созданные (аудио-, видеофейки) с высокой вероятностью. Создание новых инструментов и наработок позволит в ближайшем будущем упростить выявление и распространение таких материалов.

Angara Security рекомендует проверять личность человека, задавая дополнительные вопросы: Если получили аудио-, видеозвонок или сообщение с подозрительным содержанием, нужно проверить личность собеседника, задавая уточняющие вопросы с деталями, которые вряд ли могут быть известны кибермошенникам, или просто связаться лично по email или по номеру из базы контактов на SIM-карте телефона.

Нужно обращать внимание на речевые и внешние особенности:

Обращать внимание на руки собеседника на видео, так как чаще всего именно они «страдают» при генерации контента: добавляются, удаляются либо склеиваются пальцы. Стоит отметить, что атакующие учитывают этот момент, чтобы избежать распознавания видеофейка, поэтому при общении выбирают портретную зону.

Стоит обращать внимание на мимику и периодичность изменения выражения лица. Чаще всего сгенерированная модель поддерживает одну скорость смены позиций положения головы, частоту моргания либо повтор одних и тех же движений в определенный промежуток времени.

Стоит также проверить особенности лица. Например, волосы могут быть позаимствованы с «подложного» видео и не соответствовать реальности, либо смазаны в результате наложения одного лица на другое. Если собеседник знаком в реальной жизни, можно сопоставить родинки, шрамы, татуировки, если они свойственны контакту.

Стоит также обращать внимание на голос (насколько он реалистичный), сопоставлять движения губ и звуковой дорожки. Несмотря на развитие технологии, данный пункт остается одним из ключевых в распознавании фейковых материалов.

Компании для возможного предотвращения манипуляций с видеоматериалами публичных лиц, например, с руководителями компаний, могут использовать как коммерческие предложения по распознаванию дипфейков, так и основанные на открытом исходном коде. Например, технологии, которые позволяют наложить невидимый человеческому глазу фильтр на видео в открытом доступе (например, записи выступлений топ-менеджеров, которыми компании делятся в открытых источниках). Этот фильтр искажает итоговый вариант при попытке генерации фейкового контента.

Необходимы регулярные информационные кампании и обучение методам, как выявлять фейки, для распространения которых киберпреступники используют мессенджеры, корпоративную почту и другие каналы коммуникации.

Кибермошенники применяют ИИ и дипфейки, чтобы выманить у пользователей данные или деньги

Кибермошенники активно применяют искусственный интеллект и дипфейки, чтобы выдавать себя за других людей в мессенджерах или социальных сетях. Поэтому к любым сообщениям со странными просьбами, даже полученными от родственников или друзей, следует относиться критично.

«Дипфейки могут использоваться для создания поддельных видео- или аудиозаписей, в которых злоумышленники выдают себя за другого человека: родственника, друга или коллегу. Записав голосом просьбу о перечислении денег в долг, мошенники с большей вероятностью получат финансовую выгоду или убедят пользователя дать доступ к личным данным», — предупредил в беседе с «Лентой.ру» эксперт по сетевым угрозам компании «Код Безопасности» Константин Шуленин.

Также активно используются нейросети - они помогают мошенникам автоматизировать фишинговые кампании и поставить их на поток, затронув большее число «жертв». Да и сами фишинговые письма они делают более реалистичными, сообщили TAdviser 29 декабря 2023 года в пресс-службе депутата ГосДумы РФ Антона Немкина.

Кроме того, мишенью киберпреступников зачастую становятся сотрудники различных компаний и организаций, которым приходят электронные письма от «руководства» и «коллег». При том к концу года и в преддверии праздников бдительность людей снижается, соответственно, вероятность проникнуть в систему для мошенников — растет. Кроме того, многие уходят в длительные отпуска, поэтому не могут вовремя обнаружить подозрительную активность в аккаунте.

Одна из основных причин того, насколько мастерски мошенники выстраивают свои атаки - избыток информации о гражданах в сети, считает член комитета Госдумы по информационной политике, информационным технологиям и связи, депутат фракции «Единая Россия» Антон Немкин.

«Любые сведения легко использовать для того, чтобы персонализировать атаку, сделать ее более убедительной, а значит и более вредоносной. Рекомендую всегда сохранять голову «холодной», не пренебрегать проверкой любой информации, которая поступает вам в сети. Даже если вы уже точно верите полученному сообщению, не будет лишним попытаться выйти на контакт с человеком, от имени которого с вами связались. В праздничное время ловушек в сети становится больше чем обычно примерно на четверть. Не стоит рисковать», - сказал он.

Качество дипфейков за последние несколько лет значительно выросло, однако все равно есть ряд признаков, по которым можно выявить «подделку», уверен Антон Немкин.

«Все мы живем в эпоху активной фазы развития генеративных моделей машинного обучения, и, в частности, технологии deep fake. С помощью человеческого глаза уже не всегда можно отличить реальное от нереального, поэтому для анализа потенциальных визуальных подделок существуют специальные детектирующие технологии. Для пользователей же универсальной инструкцией может стать следующее: обращайте внимание на движение глаз, цвет кожи и волос, контур овала лица – зачастую они могут быть размытыми, странными, - пояснил парламентарий. - В случае голосовых подделок стоит всегда внимательно оценивать интонации и четкость речи. Ну и, конечно, всегда в целом критически относиться к любым просьбам, которые поступают вам в сети, если это касается ваших личных данных или финансовых средств».

Представлена программа, которая создает реалистичные видео из одной фотографии и аудиозаписи

16 ноября 2023 года сингапурские исследователи из Школы компьютерных наук и инженерии в составе Наньянского технологического университета сообщили о разработке программы на основе искусственного интеллекта, которая позволяет генерировать видеоматериалы на основе одной фотографии и аудиозаписи. Система под названием DIRFA способна воспроизводить мимику и движения головы говорящего человека. Подробнее здесь.

Детский психиатр в США получил 40 лет тюрьмы за создание порнографических дипфейков

8 ноября 2023 года Министерство юстиции США сообщило о том, что детский психиатр из Шарлотты (Северная Каролина) Дэвид Татум (David Tatum) приговорен к 40 годам тюремного заключения за производство, хранение и передачу материалов, связанных с сексуальным насилием над детьми. Преступнику, в частности, вменяется создание порнографических дипфейков — изображений, сгенерированных с применением искусственного интеллекта. Подробнее здесь.

Индийские власти приказали соцсетям удалить дипфейки

7 ноября 2023 года Министерство электроники и информационных технологий Индии (MeitY) обнародовало документ, требующий от операторов крупных социальных сетей удалять дипфейки со своих платформ. Делать это необходимо в течение 36 часов после получения уведомления или жалобы о публикации подобного контента.

В ведомстве отмечают, что дипфейки, то есть, фальсифицированные видеоматериалы, фотографии или аудиозаписи, созданные с применением технологий искусственного интеллекта, могут наносить серьезный ущерб гражданам — прежде всего женщинам. В качестве примера приводится нашумевший случай, когда в соцсетях появилось видео, в котором якобы запечатлена индийская актриса Рашмика Манданна. Ролик, созданный с применением ИИ-алгоритмов, быстро набрал огромное количество просмотров, а Манданна была вынуждена сделать публичное заявление о том, что не является его героиней.

Учитывая серьезные проблемы, связанные с дезинформацией и дипфейками, MeitY за полгода (к ноябрю 2023-го) выпустило вторую рекомендацию, призывающую онлайн-платформы принять решительные меры против распространения таких материалов. Министерство подчеркивает, что в соответствии с действующими в стране правилами от 2021 года интернет-ресурсы обязаны предотвращать распространение фальсифицированной информации любыми пользователями. Несоблюдение этого требования дает право пострадавшим лицам обращаться в суд в соответствии с положениями Уголовного кодекса Индии.

Наше правительство очень серьезно относится к обязанности гарантировать безопасность и обеспечивать доверие всех граждан, особенно это касается детей и женщин, против которых используется такой контент. Крайне важно, чтобы онлайновые платформы приняли активные меры по борьбе с этой угрозой, — говорится в сообщении MeitY.[17]

Педофилы с помощью ИИ создают детские фото звезд и придумывают с ними истории

Педофилы активно используют системы генеративного искусственного интеллекта для «омоложения» знаменитостей на фотографиях и создания их детских снимков сексуального характера. Кроме того, в интернете обнаружены тысячи ИИ-изображений, на которых демонстрируется насилие над детьми. Об этом говорится в отчете неправительственной британской организации Internet Watch Foundation (IWF), опубликованном 25 октября 2023 года. Подробнее здесь.

ФБР: Дипфейки используются в мошенничестве с секс-вымогательством

Сетевые злоумышленники начали использовать дипфейки для генерации откровенного контента сексуального характера с целью шантажа. Об этом 5 июня 2023 года предупредил Центр жалоб на интернет-преступления (IC3) в составе Федерального бюро расследований США.

Говорится, что киберпреступники используют технологии и сервисы искусственного интеллекта для изменения фотографий или видеороликов с участием жертвы. Оригинальные материалы могут быть взяты, например, из профилей в социальных сетях или под каким-либо предлогом запрошены у самого пользователя. Полученные секс-дипфейки затем могут быть использованы для вымогательства или нанесения ущерба репутации жертвы. Зачастую поддельные изображения и ролики, в которых человек представлен в неприглядном свете, публикуются на форумах или на порнографических сайтах.

К апрелю 2023 года зафиксирован резкий рост количества случаев сексуального вымогательства с применением дипфейк-фотографий или фальшивых видео. Злоумышленники обычно требуют выкуп, угрожая распространить материалы в интернете или отправить их родственникам/коллегам жертвы. Иногда преступники преследуют иные цели, в частности, требуют какую-либо информацию.

ФБР настоятельно рекомендует проявлять осторожность при размещении личных фотографий, видео и идентифицирующей информации в социальных сетях, приложениях для знакомств и на других онлайн-платформах. Несмотря на то, что такие материалы кажутся безобидными, они могут предоставить злоумышленникам массу возможностей для организации мошеннических схем. Новые системы генеративного ИИ упрощают проведение персонализированных атак с применением поддельных изображений или видеороликов, созданных на основе реального контента. Причём жертвы секс-вымогательств, помимо финансовых потерь, могут оказаться в самом невыгодном положении.^[18]

Количество дипфейков в мире с начала года выросло в несколько раз

Общее число дипфейков по всему миру в течение первых месяцев 2023 года увеличилось в несколько раз по сравнению с аналогичным периодом 2022-го. Об этом говорит исследование компании DeepMedia, результаты которого были раскрыты 30 мая 2023 года.

Отмечается, что взрывной рост количества фальшивок в глобальном масштабе объясняется резко снизившимися затратами на создание таких аудио- и видеоматериалов. Если раньше на точную имитацию голоса с учётом работы серверного оборудования и использования алгоритмов искусственного интеллекта требовалось около $10 тыс., то к началу мая 2023-го расходы снизились всего до нескольких долларов. Связано это с появлением генеративных ИИ-моделей нового поколения и более мощных аппаратных платформ, спроектированных специально с прицелом на нейросети и машинное обучение.

По оценкам DeepMedia, с января по май 2023-го в интернете было размещено в три раза больше фальшивых видеоматериалов всех видов и в восемь раз больше голосовых дипфейков, чем за тот же период в 2022 году. ИИ-технологии могут применяться для распространения ложных заявлений от имени политиков и известных общественных деятелей, что может спровоцировать серьёзные общественные волнения и конфликты. Хотя крупные социальные платформы вроде YouTube и Facebook (признана экстремистской организацией; деятельность на территории Российской Федерации запрещена) внедряют алгоритмы борьбы с дипфейками, эффективность таких инструментов недостаточно высока.

Говорится, что ведущие ИИ-разработчики, такие как OpenAI, встраивают в свои сервисы специальные функции, которые не позволяют генерировать контент с участием публичных лиц. Но небольшие стартапы зачастую пренебрегают такими мерами. Уже обсуждается возможность создания отраслевого решения, позволяющего идентифицировать материалы, созданные искусственным интеллектом: это могут быть, например, специальные цифровые метки.^[19]

В Китае мошенник использовал поддельный видеозвонок для обмана бизнесмена на $610 000

В мае 2023 г стало известно, что в Китае мошенник использовал искусственный интеллект, чтобы выдать себя за друга бизнесмена Гуо и убедить его передать $610 000.

Гуо получил видеозвонок от человека, который выглядел и говорил как близкий друг. Но на самом деле звонивший был мошенником, «использовавшим технологию, чтобы изменить свое лицо» и голос. Гуо уговорили перевести 4,3 миллиона юаней после того, как мошенник заявил, что другому другу нужны деньги с банковского счета компании для оплаты гарантии на тендере.

Представлена deepfake-система, которая заставляет пользователя смотреть прямо в камеру

12 января 2022 года компания Nvidia анонсировала систему Maxine Eye Contact. Это deepfake-технология, которая обеспечивает постоянный зрительный контакт пользователей при проведении сеансов видеоконференцсвязи. Подробнее здесь.

2022

Объем мирового рынка инструментов для выявления дипфейков оценен в $3,86 млрд

Развитие цифровой креативной индустрии, производство и потребление контента в глобальном масштабе все больше зависят от технологий искусственного интеллекта, включая негативное влияние дипфейков. Объем мирового рынка инструментов для выявления таких фальшивок по итогам 2022 года достиг $3,86 млрд. Такие данные приводятся в исследовании Института развития интернета (АНО «ИРИ») и компании «Ростелеком», результаты которого опубликованы 19 июня 2024 года.

По оценкам компании DeepMedia, занимающейся разработкой технологий для обнаружения синтетического медиаконтента, в 2023 году в интернете появилось в три раза больше дипфейк-видео и в восемь раз больше подделок голоса, чем годом ранее. Причем по состоянию на 2022-й около 43% опрошенных пользователей не могли отличить фальсифицированные ролики от настоящих. Это открывает широкие возможности для мошенников и киберпреступников. Например, дипфейки могут использоваться с целью политических манипуляций или для создания фальшивых видеоматериалов с «участием» известных людей.

Объем мирового рынка инструментов для выявления таких фальшивок по итогам 2022 года достиг $3,86 млрд

Одним из основных способов регулирования дипфейков является установление требований о маркировке искусственно сгенерированного контента: это может быть явный (видимый) или неявный (извлекается техническими средствами) водяной знак. В России периодически появлялись сообщения о регуляторных инициативах, которые должны регламентировать использование дипфейков, однако по состоянию на декабрь 2023 года такие законопроекты в Госдуму внесены не были.

Вместе с тем на рынке доступны различные решения для проверки на наличие в публикациях сгенерированного контента, разработанные такими профильными компаниями как Sentinel AI и Sensity, а также продукты крупнейших ИТ-корпораций, например, FakeCatcher от Intel и Video AI Authenticator от Microsoft. Кроме того, собственные инструменты для распознавания дипфейков создают ведущие социальные сети.^[20]

В мире резко выросли инвестиции в дипфейк-стартапы

В 2022 году венчурные фонды в мире вложили в стартапы, специализирующиеся на дипфейк-технологиях, приблизительно $187,7 млн. Для сравнения: в 2017-м инвестиции в соответствующей сфере оценивались только в $1 млн. Такие цифры приводятся в исследовании PitchBook, результаты которого были обнародованы 17 мая 2023 года.

Говорится, что в течение первых месяцев 2023 года финансовые вливания в дипфейк-стартапы достигли $50 млн. Крупнейшим получателем венчурных денег за последние пять лет (к началу 2023-го) стала нью-йоркская компания Runway, которая в числе прочего разрабатывает инструмент на основе искусственного интеллекта, способный генерировать короткие видеоролики по текстовому описанию. Эта фирма привлекла как минимум $100 млн и была оценена в $1,5 млрд.

Вместе с тем лондонская компания Synthesia, которая разрабатывает платформу для создания реалистичных виртуальных персонажей на основе видео- и аудиозаписей, получила на развитие $50 млн от ряда инвесторов, включая Kleiner Perkins. Израильский стартап Deepdub, разработавший технологию аудиовизуального дублирования и языковой локализации на основе ИИ, привлёк $20 млн. Такую же сумму получила дипфейк-студии визуальных эффектов Deep Voodoo.

Вместе с появлением новых и более реалистичных дипфейк-инструментов быстро развивается рынок специализированных средств для выявления фальшивок. Согласно подсчётам исследовательской фирмы HSRC, в 2022 году объём данного сегмента составлял приблизительно $3,86 млрд. В период до 2026-го ожидается среднегодовой темп роста в сложных процентах (CAGR) на уровне 42%. Средства обнаружения дипфейков необходимы для предотвращения появления дезинформации в СМИ, противодействия различным мошенническим схемам в интернете и пр.^[21]

В США мошенники украли $11 млн с помощью дипфейков, имитирующих чужой голос

В 2022 году мошенники, используя модели искусственного интеллекта для точной имитации (deepfake) голоса человека, только в США похитили у своих жертв около $11 млн. Такие данные содержатся в отчёте Федеральной торговой комиссии (FTC), опубликованном 23 февраля 2023 года. Подробнее здесь.

Cloud и «Пятёрочка» создали рекламный ролик с применением технологии deepfake

Компания Cloud (ООО «Облачные технологии») при поддержке Института искусственного интеллекта AIRI совместно с торговой сетью «Пятёрочка» создали рекламный ролик с применением технологии DeepFake. Об этом компания Cloud сообщила 22 декабря 2022 года. Обученная специалистами AIRI на облачной платформе Cloud ML Space модель стала основой цифрового образа актрисы Ольги Медынич, даже не присутствовавшей на съемочной площадке. Подробнее здесь.

Китайский регулятор опубликовал правила защиты граждан от дипфейков

12 декабря 2022 года стало известно о том, что Администрация киберпространства Китая (CAC) вводит новые правила для поставщиков контента, которые изменяют лицевые и голосовые данные пользователей.

10 января 2023 года вступят в силу нормы, регулирующие так называемые «дипфейковые» технологии и услуги. Это методика синтеза изображения, основанная на искусственном интеллекте. Суть заключается в том, что на исходные материалы накладываются синтезированные кадры. В подавляющем большинстве случаев для создания таких видео используют генеративно-состязательные нейросети. Одна часть алгоритма учится на реальных фотографиях определённого объекта и создаёт изображение, буквально «состязаясь» со второй частью программы, пока та не начнёт путать копию с оригиналом. В итоге, полученные изображения практически неотличимы от оригинала: они используются для манипуляций или дезинформации.

Постановление CAC предусматривает защиту людей от возможной мошеннической деятельности с помощью дипфейков. Это может быть, например, выдача пользователей за других лиц. Документ также предполагает, что дипфейки могут использоваться онлайн-издателями, которые должны учитывать множество других правил Китая в отношении приемлемого онлайн-контента.

Вместе с тем Китай ожидает, что синтетические изображения людей будут широко использоваться в таких приложениях, как чат-боты. В подобных сценариях дипфейки должны быть помечены как «цифровые творения». В правилах также прописано, как создатели дипфейков, которых называют «поставщиками услуг глубокого синтеза», должны заботиться о том, чтобы их модели и алгоритмы искусственного интеллекта и машинного обучения были максимально точными. Кроме того, необходимо обеспечивать безопасность собираемых персональных данных. ^[22]

Intel представила технологию распознавания дипфейков

Intel представила технологию распознавания дипфейков. Об этом стало известно 17 ноября 2022 года. Подробнее здесь.

Роскомнадзор создает систему проверки видео на ложь и поиск дипфейков

В начале ноября 2022 года стало известно о создании сервиса Expert, который позволит проверять видеозаписи выступлений на предмет лжи и манипуляций. Эту технологию разрабатывают специалисты Национального центра когнитивных разработок ИТМО для подведомственного Роскомнадзору Главного радиочастотного центра (ГРЧЦ). Подробнее здесь.

В России сняли первый в мире веб-сериал с использованием технологии Deepfake

Как стало известно 10 октября 2022 года, российская компания создала первый в мире веб-сериал с использованием технологии Deepfake, главным героем пародийной комедии стал образ британского актёра Джейсона Стэйтема. Проект создан при поддержке Института развития интернета.


Генеральный директор Agenda Media Group Алексей Парфун сообщил в интервью ТАСС заявил, что использование образов актёров с помощью этой технологии законодательно не запрещено, однако Deepfake не должен задевать честь, достоинство и деловую репутацию человека и раскрывать его персональную информацию.

Это ироничный взгляд иностранца в лице Стэйтема на русский быт, - рассказал Парфун.

По его словам, проект раскрывает попытки персонажа понять и интегрироваться в русский быт. По сюжету, главный герой приехал на съёмки в РФ и остался в ней жить.

События сериала происходят в 2027 году. После пятилетних съемок в России Стэйтем остался жить в русской деревне. На 60-летие к нему приезжают друзья - Ривз, Робби и Паттинсон. Их образы создали при помощи дипфейк-технологии: искусственный интеллект производит синтетический контент, где лицо человека заменяется другим в фото-, видео- или аудиопространстве. В сериале снялись Юлия Башорина, Андрей Дерюгин, Андрей Коротков.

По словам продакшен директора Agenda Media Group Марии Артемовой, весь проект реализовали за три месяца с учетом написания сценария и постпродакшна. Некоторые особенности съемок команде приходилось контролировать каждую минуту, отметила она.

Например, дипфейк-съемки не позволяют использовать крупные планы, есть определенные условия по свету, оптике, камерам, а также положениям актеров в кадре. На это тратится много времени и дублей. Кроме этого, были существенные ограничения по амплитуде движений у актеров, что тоже вызывало некоторые трудности, — добавила она.[23]

В ЕС намерены штрафовать соцсети за неудаление дипфейков

В ЕС намерены штрафовать соцсети за неудаление дипфейков. Об этом стало известно 14 июня 2022 года.

Google, Twitter и другие технологические компании должны будут принять меры по борьбе с дипфейками и поддельными аккаунтами, иначе им будут грозить крупные штрафы, до 6% от их глобального оборота, говорится в обновленном кодексе действий Евросоюза.

Создание дипфейков возможно благодаря нейросетям, которые могут моделировать лица и голоса людей по фото и аудиозаписям.

Еврокомиссия намерена опубликовать регулирующий документ в сфере дезинформации уже до конца июня 2022 года. В нем содержатся примеры манипулятивного поведения, подписавшие документ стороны обяжут бороться с фальшивыми аккаунтами, дезинформирующей рекламой и дипфейками, также они должны будут обеспечить большую прозрачность в политической рекламе. Ожидается, что подписавшие документ компании в течение шести месяцев примут и реализуют «политику в отношении недопустимого манипулятивного поведения и практики в своих сервисах, основанную на последних данных о поведении и тактике, методах и процедурах, используемых злоумышленниками^[24].

С помощью дипфейка можно выдать себя за другого человека в банке

19 мая 2022 года стало известно о том, что с помощью дипфейка можно выдать себя за другого человека в банке.

Технология Deepfake позволяет обойти систему распознавания лиц.

Компания Sensity, которая специализируется на выявлении атак с использованием deepfake технологии, исследовала уязвимость 10 сервисов идентификации . Sensity использовала дипфейки, чтобы наложить лицо пользователя на идентификационную карту для сканирования, а затем скопировать это же лицо в видеопоток злоумышленника для идентификации.

Liveness тест обычно просит пользователя посмотреть в камеру устройства, иногда поворачивая голову или улыбаясь, и сравнивает внешний вид пользователя и его удостоверение личности с помощью технологии распознавания лиц. В финансовом секторе такая проверка называется «знай своего клиента» (Know Your Customer, KYC) и является частью проверки документов и счетов.

Мы протестировали 10 сервисов и обнаружили, что 9 из них уязвимы для дипфейков, - сказал главный операционный директор Sensity Франческо Кавалли. — Существует новое поколение ИИ , которое может представлять серьезную угрозу для компаний. Представьте, что вы можете сделать с поддельной учетной записью, созданную с помощью дипфейка. И никто не сможет обнаружить подделку.

Кавалли разочарован реакцией сервисов, которые посчитали уязвимость незначительной.

Мы сообщили поставщикам, что сервисы уязвимы для deepfake атак. Разработчики проигнорировали опасность. Мы решили опубликовать отчет, так как общественность должна знать об этих угрозах, - добавил исследователь.

Поставщики продают Liveness тесты банкам, приложениям для знакомств и криптовалютным проектам. Один сервис даже использовался для проверки личности избирателей на выборах в Африке. (Хотя в отчете Sensity нет никаких указаний на то, что проверка была скомпрометирована дипфейками)

Deepfake технология представляет большую опасность для банковской системы, в которой дипфейк может использоваться в целях мошенничества.

Я могу создать учетную запись, перевести украденные деньги на банковский счет или оформить ипотеку, потому что компании онлайн-кредитования конкурируют друг с другом в скорости выдачи кредитов, - добавил эксперт.

Злоумышленник может легко перехватить видеопоток с камеры телефона и использовать deepfake технологию в злонамеренных целях. Однако, обойти систему распознавания лиц Face ID таким способом невозможно. Система идентификации Apple использует датчики глубины и проверяет личность не только на основе внешнего вида, но и физической формы лица^[25].

Дипфейки могут легко обмануть многие системы аутентификации Facial Liveness Verification

3 марта 2022 года стало известно, что некоторые модули обнаружения дипфейков настроены на устаревшие техники. Команда исследователей из университета штата Пенсильвания (США) и Чжэцзянского и Шаньдунского университетов (Китай) изучила восприимчивость к дипфейкам некоторых систем аутентификации на основе лица. Как показали результаты исследования, большинство систем уязвимы к развивающимся формам дипфейков.

В ходе исследования были проведены атаки на основе дипфейков с использованием специальной платформы, развернутой в системах Facial Liveness Verification (FLV), которые поставляются крупными поставщиками и продаются в качестве услуги нижестоящим клиентам, таким как авиакомпании и страховые компании.

Facial Liveness предназначен для отражения использования таких методов, как атаки со стороны изображения, использование масок и предварительно записанного видео, так называемые «мастер-лица» и другие формы клонирования визуальной идентификации.

В исследовании делается вывод о том, что ограниченное количество модулей обнаружения дипфейков в подобных системах, возможно, были настроены на устаревшие техники или могут быть слишком специфичными для архитектуры. Специалисты отмечают, что даже если обработанные видеоролики кажутся нереальными для людей, они все равно могут обойти текущий механизм обнаружения дипфейков с очень высокой вероятностью успеха.

Еще один вывод заключался в том, что текущая конфигурация общих систем проверки лиц предвзято относится к белым мужчинам. Лица женщин и цветных меньшинств оказались более эффективны в обходе систем проверки, подвергая клиентов этих категорий большему риску взлома с помощью методов, основанных на дипфейках.

Авторы предлагают ряд рекомендаций по улучшению текущего состояния FLV, включая отказ от аутентификации по одному изображению («FLV на основе изображения»), когда аутентификация основана на одном кадре с камеры клиента; более гибкое и всестороннее обновление систем обнаружения дипфейков в графических и голосовых доменах; навязывание необходимости синхронизировать голосовую аутентификацию в пользовательском видео с движениями губ (чего, как правило, нет); и требование от пользователей выполнять жесты и движения, которые трудно воспроизвести системами дипфейка (например, просмотр профиля и частичное затемнение лица).^[26]

В Китае запретили дипфейки

В конце января 2022 года в Китае бы принят законопроект, запрещающий использование дипфейков. Эта технология заключается в синтезе искусственного интеллекта человеческих изображений: алгоритм объединяет несколько фото, на которых человек изображен с разным выражением лица, и делает из них видео. При этом система анализирует большое количество снимков и учится тому, как может выглядеть и двигаться конкретный человек.

Инициатива, разработанная администрацией киберпространства Китая, объясняет необходимость регулирования в контексте стремления правительства обеспечить, чтобы интернет был инструментом добра. В пояснительной записке к закону сообщается, что преступников и мошенников привлечет использование созданных в цифровом формате голоса, видео, чат-ботов или манипулирование лицами или жестами.

Законопроект исключает использование таких подделок для любых приложений, которые могут нарушить социальный порядок, ущемить права граждан, распространить фальшивые новости или изобразить сексуальную активность. В проекте также предлагается требовать разрешения на использование того, что Китай называет глубоким синтезом, прежде чем использовать его в законных целях. Какие именно законные цели могут быть использованы, не уточняется, но проект содержит обширные положения о том, как цифровые активы должны быть защищены, чтобы не нарушать конфиденциальность пользователей.

В случае использования глубокого синтеза в проекте предлагается требование маркировать его как цифровое творение, чтобы устранить любые сомнения в подлинности и происхождении. В проекте также изложены требования к поставщикам услуг внедрять методы обеспечения безопасности и всегда действовать в национальных интересах Китая.^[27]

2021

Мошенники украли $35 млн у банка ОАЭ с помощью дипфейка голоса его главы

В середине октября 2021 года стало известно, что преступники завладели огромной суммой в $35 млн из банка в ОАЭ, имитируя голос главы банка с помощью продвинутого искусственного интеллекта. Сообщается, что они использовали дипфейк для имитации законной коммерческой операции, связанной с банком.

Forbes сообщил, что deepfake голоса использовался, чтобы обмануть работника банка и заставить его думать, что он переводит деньги в рамках законной операции. История стала обсуждаться после публикации судебных материалов, которые имели место в январе 2021, когда управляющий неназванного банка получил, казалось бы, обычный телефонный звонок.

Человек по ту сторону телефона утверждал, что является директором крупной компании, с которым менеджер ранее уже разговаривал, при этом, согласно судебным материалам, их голоса были идентичными. Всё это подкреплено электронными письмами от банка и его юриста, выглядящими как настоящие, которые смогли убедить менеджера филиала в том, что он говорит с директором, а компания действительно находится в процессе крупной коммерческой сделки на сумму $35 млн.

Впоследствии он следовал указаниям звонящего и сделал несколько крупных денежных переводов от компании на новый счет. К сожалению, всё это была изощренная афера.

Следователи из Дубая выяснил, что мошенники использовали технологию «глубокого голоса», которая позволила им имитировать голос главы крупной компании. Полиция пришла к выводу, что в схеме участвовало до 17 человек и что украденные деньги переводились на несколько различных банковских счетов, разбросанных по всему миру.

Так, два счёта были зарегистрированы с США, в Centennial Bank. На них была получена сумма в $400 тыс. Следователи ОАЭ уже обратились к американским официальным лицам за помощью в расследовании.

Это не первый случай, когда с помощью имитации голоса мошенники смогли провести крупную аферу. В 2019 году некая энергетическая компания в Великобритании потеряла $243 тыс. после того, как с работником компании связался человек, выдавший себя за генерального директора компании.

По словам Джейка Мура, эксперта по кибербезопасности из ESET, злоумышленники всё чаще используют новейшие технологии манипулирования людьми, которые даже не подозревают об их существовании.

По мнению специалистов, наблюдающих за рынком искусственного интеллекта, это будет далеко не в последний раз.^[28]

Дипфейк-голоса могут обмануть IoT-устройства и людей после пяти секунд обучения

Дипфейк-голоса могут обмануть IoT-устройства и людей после пяти секунд обучения. Об этом стало известно 14 октября 2021 года.

Дипфейк мог обмануть Microsoft Azure примерно в 30% случаев и в 63% случаев успешно обманывал WeChat и Amazon Alexa.

Исследователи из лаборатории Security, Algorithms, Networking and Data (SAND) Чикагского университета протестировали программы синтеза дипфейк-голосов, доступные на сайте сообщества разработчиков с открытым исходным кодом GitHub, с целью узнать, могут ли они обойти системы распознавания голоса в Amazon Alexa, WeChat и Microsoft Azure.

По словам разработчиков SV2TTS, программе требуется всего пять секунд для создания приемлемой имитации.

Программа могла обмануть человеческие уши — из 200 добровольцев, которых просили определить настоящие голоса среди дипфейков, примерно в половине случаев ответы были неправильные.

Дипфейк-аудио более успешно использовалось для имитации женских голосов и голосов тех людей, для кого английский язык не является родным.

Мы обнаружили, что и людей, и компьютеры можно легко обмануть синтетической речью, а существующие средства защиты от синтезированной речи не работают, — сообщили исследователи изданию NewScientist.

Эксперты протестировали другую программу синтеза голоса под названием AutoVC, которой требуется пять минут речи для воссоздания голоса человека. AutoVC удавалось обмануть Microsoft Azure только в 15% случаев, поэтому исследователи отказались тестировать его на WeChat и Alexa^[29].

Ernst & Young начала использовать видеодипфейки сотрудников для общения с клиентами вместо личных встреч

В середине августа 2021 года стало известно, что Ernst & Young (EY) начала использовать видеодипфейки сотрудников для общения с клиентами вместо личных встреч. Для этого фирма использует технологию, предоставленную британским стартапом Synthesia. Подробнее здесь.

МВД занялось системой распознавания фейковых видео

В начале мая 2021 года стало известно о контракте, который Министерство внутренних дел (МВД) России заключило с московским АО «Научно-промышленная компания «Высокие технологии и стратегические системы». Речь идет о научной разработке под шифром «Зеркало» («Верблюд»), предназначенной для выявления сфабрикованных видеороликов (дипфейков). Исследование необходимо для экспертно-криминалистических подразделений и проведения видеотехнических экспертиз. Подробнее здесь.

Мошенники в Китае с помощью дипфейков обманули госсистему распознавания лиц на $76,2 млн

Мошенники в Китае с помощью дипфейков обманули госсистему распознавания лиц на $76,2 млн. Для ее обмана мошенники покупали фотографии в высоком качестве и поддельные личные данные на чёрном рынке. Это стоит от $5. Полученные фотографии Ву и Чжоу обрабатывали в дипфейк-приложениях — они могут «оживить» загруженную картинку и сделать из неё видео, создавая впечатление, что лица кивают, моргают, двигаются и открывают рот. Такие приложения можно скачать бесплатно.

Для следующего этапа мошенники покупали специальные перепрошитые смартфоны: во время распознавания лица фронтальная камера такого устройства не включается, вместо этого система получает заранее подготовленное видео, воспринимает его как изображение с камеры. Такие телефоны стоят примерно $250.

С помощью такой схемы мошенники зарегистрировали компанию-пустышку, которая могла выдавать своим клиентам поддельные налоговые декларации. За два года мошенники заработали на этом $76,2 млн.

Биометрия широко распространена в Китае — с её помощью подтверждают платежи и покупки, проверяют личность при оформлении госуслуг и так далее. Но вместе с развитием технологии одной из главных проблем стала защита данных.

2020

Исследователи Facebook назвали алгоритм NtechLab по распознаванию deepfake самым устойчивым к атакам

NtechLab, компания в области решений для видеоаналитики на основе нейронных сетей и технологический партнёр Госкорпорации Ростех, 11 декабря 2020 года сообщила, что алгоритм компании по распознаванию дипфейков был назван самым устойчивым к обману с использованием т.н. состязательных атак. Подробнее здесь.

Появление Telegram-ботов, которые создают поддельные «порноснимки» на основе DeepNude для шантажа

В конце октября 2020 года в Telegram была обнаружена система дипфейк-ботов, которые по запросу генерируют поддельные «порноснимки». Пользователи подставляют на такие снимки лица знакомых женщин, взятые с изображений из социальных сетей, а затем рассылают в общедоступных каналах и чатах или используют для шантажа. Подробнее здесь.

2019

Samsung представила цифровых людей, не отличимых от реальных

В начале января 2020 года компания Samsung представила проект "искусственных людей", получивший название Neon. Он разработан силами подразделения Samsung Technology и Advanced Research Labs (STAR Labs). Подробнее здесь.

Выпуск приложения Zao

В начале сентября 2019 года стало известно о выходе приложения Zao, которое, используя искусственный интеллект, позволяет вставить лицо пользователя в сцену из фильма. Подробнее здесь.

У энергетической компании выманили $243 тыс., используя ИИ для подделки голоса

В начале сентября 2019 года преступники выманили у британской энергетической компании $243 тыс., выдав себя за исполнительного директора с помощью искусственного интеллекта для подделки голоса.

Генеральный менеджер неназванной энергетической компании подумал, что разговаривает по телефону со своим боссом, руководителем немецкой материнской компании. "Босс" попросил его отправить средства венгерскому поставщику. По словам страховой компании Euler Hermes Group SA, преступник заявил, будто запрос был очень срочным, и попросил менеджера перевести деньги в течение часа. Euler Hermes отказался назвать компанию-жертву.

Эксперт по мошенничеству из страховой компании Euler Hermes Рюдигер Кирш (Rüdiger Kirsch) сообщил, что пострадавший менеджер узнал слабовыраженный немецкий акцент своего босса и общий тон голоса по телефону. Сразу после звонка менеджер передал деньги венгерскому поставщику и снова связался с боссом, чтобы сообщить о выполненном задании. Вскоре глава компании и его подчиненный осознали, что стали жертвой мошенничества и обратились в полицию.

Специалист по кибербезопасности ESET Джейк Мур (Jake Moore) в конце августа 2019 года заявил, что в ближайшем будущем мы столкнемся с чудовищным ростом киберпреступлений. DeepFake способен подставить лица знаменитостей и общественных лиц в любое видео, но для создания убедительного изображения требуется не менее 17 часов записей с этим человеком. Чтобы подделать голос, требуется куда меньше материала. По мере увеличения вычислительной мощности компьютеров такие подделки становится создавать все проще.

Чтобы снизить риски, напоминает Мур, необходимо не только информировать людей о том, что подобные имитации возможны, но и включать специальные методы проверки до перевода денег, например, двухфакторную идентификацию.^[30]

В США начинают сажать за распространение порно с подменой лиц

В начале июля 2019 года в Виргинии был принят закон, запрещающий распространение порнографии с подменой лиц. Это первый штат в США, где была подобная инициатива.

В Соединённых Штатах и других странах распространена так называемая порноместь — размещение в интернете материалов открыто сексуального характера без согласия изображённого на них человека. Как правило, такие материалы размещаются бывшими партнёрами в порядке мести или хакерами, получившими несанкционированный доступ к таким материалам. С развитием технологий искусственного интеллекта и простых инструментов для качественного редактирования фото- и видеоконтента порноместь всё чаще начала осуществляться путём наложения лица на порноактёра.

Начиная с 1 июля 2019 года, любой, кто распространяет или продаёт фальшивые фотографии и видеоролики сексуального характера с целью «шантажа, домогательства или запугивания» в Виргинии может быть оштрафован на сумму до $2500. Также предусмотрен тюремный срок до 12 месяцев.

Виргиния стала первым американским штатом, сделавшим так называемый deepfake вне закона. Подобные инициативы к июлю 2019 года готовятся и в других штатах. Например, Нью-Йорк рассматриваемый законопроект, запрещающий создание «цифровых копий» людей без их согласия, а в Техасе 1 сентября 2019 года вступит в силу закон об ответственности за распространение контента сексуального характера с подменой лиц.

Мы должны перестроить наши устаревшие и разрозненные законы, в том числе уголовные, за парализующие и опасные для жизни последствия угроз, и признать значительный вред поддельного порно, — считает профессор Клэр МакГлинн (Clare McGlynn) из Даремского университета.

По словам экспертов, выявить поддержку становится всё сложнее даже в видеороликах.^[31]

Запущен сервис, раздевающий женщин на фотографии за 30 секунд

В конце июня 2019 года стало известно о запуске сервиса DeepNude, который позволяет раздеть девушку на фотографию. Имя разработчика приложения неизвестно, однако в его Twitter-блоге говорится, что продукт развивает «небольшая команда» из Эстонии. Подробнее здесь.

Московский ИИ-центр Samsung создал нейросеть, ожививший портрет Достоевского

В мае 2019 года исследователи из центра искусственного интеллекта компании Samsung в Москве представили нейросеть, способную «оживлять» статичные изображения лиц. Работа системы описана в материалах, опубликованных на портале arXiv.org.

Нейросеть фиксирует движения и мимику человеческого лица на видео, а после переносит полученные данные на статичный портрет. Ученые «показали» искусственному интеллекту большое количество кадров с лицами людей.

На каждое лицо на таком кадре накладывали специальную маску, которая обозначает границы и базовую мимику. То, как такая маска соотносится с исходным кадром, хранится в виде вектора, данные из которого используются для того, чтобы наложить отдельную маску на изображение человека, после чего готовая анимация сопоставляется с эталоном.

В Samsung отмечают, что такая разработка может найти применение в системах телеприсутствия, видеоконференциях, многопользовательских играх и при создании спецэффектов в фильмах.

Как пишет издание ZDNet, сами себе технологии deepfake не являются чем-то новым, но система Samsung интересна тем, что она не использует 3D-моделирование и позволяет создавать «живую» модель лица лишь по одной фотографии. Если в неё загрузить 32 снимка, то можно «добиться идеально реалистичной картинки и персонализации», отметили в компании.

Возможности системы её разработчики продемонстрировали на фотографиях Мэрилин Монро, Сальвадора Дали и Альберта Эйнштейна. Однако она работает и на картинах и портретах. В видеоролике авторы проекта показали «оживлённый» портрет русского писателя Фёдора Достоевского.

На момент демонстрации разработки всё же заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.^[32]

McAfee: подмену лиц в видео уже невозможно определить

В начале марта 2019 года компания McAfee, занимающаяся проблемами кибербезопасности, сообщила, что подмену лиц в видео уже нельзя определить невооруженным глазом. В программной речи на конференции по кибербезопасности RSA в Сан-Франциско Стив Гробман (Steve Grobman), директор по технологиям McAfee, и Селеста Фралик (Celeste Fralick), главный специалист по данным, предупредили, что использование новой технологии хакерами – лишь вопрос времени.

Теперь, когда злоумышленники способны создать индивидуализированный целевой контент, они могут использовать ИИ в различных целях – например, для взлома учетных записей с помощью методик социальной психологии или фишинг-атак. Персонализированный фишинг, то есть мошенничество, направленное на получение банковских конфиденциальных данных с целью хищения денег, является более успешным, однако новые возможности искусственного интеллекта позволяют проводить его в масштабах автоматизированных атак.

Существует целая область кибербезопасности, называемая состязательным машинным обучением, где изучаются возможные кибератаки на классификаторы машинного обучения. Специалисты McAfee считают, что методика подмены изображений представляет серьезную угрозу и может использоваться для искажения работы классификатора изображений.

Один из способов обмануть людей и ИИ - сделать настоящую фотографию и незаметно изменить ее небольшую часть. Так при минимальном изменении фотография пингвинов могла быть интерпретирована ИИ как сковорода. Однако ложные срабатывания в более серьезном масштабе могут иметь катастрофические последствия.

Гробман подчеркнул, что сама по себе технологии DeepFake представляют собой орудие, которое можно использовать в самых различных целях. Запретить злоумышленникам использовать новые методики невозможно, но можно своевременно наладить линию защиты, считает он.^[33]

Подделанное ИИ-порно затерроризировало женщин

К началу 2019 года искусственный интеллект достиг такого уровня развития, который позволяет легко и без особых технических навыков «приставлять» головы звезд и обычных женщин к телам порноактрис для создания реалистичных видеороликов. Эти откровенные фильмы, созданные при помощи метода DeepFake, представляют собой видеоролики, отредактированные настолько хорошо, что неотличимы от настоящих. Их появление опасно тем, что технологию могут также начать использовать для распространения поддельных новостей. Но еще большей опасностью является их использование в качестве инструмента для шантажа и унижения женщин.

В свете распространения ИИ и легкого доступа к фотографиям бывших партнеров, коллег и других людей без их согласия на сайтах социальных сетей, таких как "ВКонтакте" и Facebook, растет спрос на инструменты для создания фейковых роликов. Несмотря на то, что закон может быть на стороне жертв, часто они сталкиваются со значительными препятствиями, связанными со сложностями преследований в интернете.

Фейковые порноролики вызывают такой же стресс, как интимные фото, выкладываемые в сеть, — говорит писатель и бывший политик Шарлотта Лоз (Charlotte Laws). — Фейковые порноролики реалистичны, и их влияние усугубляется ростом количества фальшивых новостей, среди которых мы живем.

Лоз добавляет, что фейковые видео стали обычным способом унижать или шантажировать женщин. В ходе опроса, в котором приняли участие 500 женщин, ставших жертвами порномести, Лоз обнаружила, что 12% стали жертвами фейковых порнороликов.

Одним из способов решения этой проблемы может стать пересмотр и дополнение законов, запрещающих порноместь. Эти законы, которые на начало 2019 года существуют в 41 штате США, появились недавно и свидетельствуют об изменении отношения правительства к «несогласованной» порнографии.

Сфабрикованное порно с "участием" актрисы Поль Гадот

Другой подход заключается в возбуждении гражданских исков против правонарушителей. Как отмечается на сайте независимой некоммерческой организации Electronic Frontier Foundation, лица, ставшие жертвами фейковых порнороликов, в США могут подать в суд за клевету или представление их в «ложном свете». Они также могут подать иск о «праве на публичное использование», указав на то, что создатели видео извлекли выгоду из изображения жертвы без ее разрешения.

Однако все эти возможные решения могут натолкнуться на серьезное препятствие: закон о свободе слова. Любой, на кого подали в суд за создание фейкового ролика, может заявить, что видео является формой культурного или политического выражения и попадает под первую поправку. Лоз считает, что в случае с фейковыми порнороликами большинство судей будут настроены критически по отношению к ссылке на первую поправку, особенно когда потерпевшие не будут известными личностями, а видео будет затрагивать только сексуальную эксплуатацию и не включать политическую сатиру или материалы, представляющую художественную ценность.

У самой жертвы при этом почти не остается возможностей закрыть доступ к оскорбительному видео. Причина кроется в статье 230 закона США, которая защищает провайдера в части того, что пользователи публикуют на своих страницах. В случае сайтов, на которых размещены фейковые порноролики, провайдеры могут претендовать на неприкосновенность, поскольку не они, а их пользователи загружают видео. Исключением в данной ситуации является нарушение интеллектуальной собственности, когда оператор обязан удалять материалы, если получает уведомление от владельца авторских прав.

По словам профессора Loyola Law School и автора книги о неприкосновенности частной жизни и праве на гласность Дженнифер Ротман (Jennifer Rothman), суды не имеют четкого представления о том, распространяется ли данное исключение на государственные законы (например, право на публичность) или только на федеральные (такие как авторское право и товарный знак).

Это поднимает вопрос о том, может ли Конгресс разработать закон, достаточно узкий, чтобы помочь жертвам фейковых порнороликов, но который при этом не будет иметь нежелательных последствий. В качестве предостерегающего примера профессор права в Университете Айдахо Аннемари Брайди (Annemarie Bridy) приводит неправомерное использование закона о защиты авторских прав, когда компании и частные лица действовали недобросовестно, чтобы удалить законную критику и другой законный контент.

Тем не менее, по словам Брайди, учитывая то, что поставлено на карту в случае с поддельными порнографическими видеороликами, новый закон необходим уже сейчас, говорится в публикации Fortune от 15 января 2019 года.^[34]

2018: Искусственный интеллект научили подделывать движения людей в видео

Основная статья Искусственный интеллект в видео

Как стало известно в июне 2018 года, появилась новая разработка в области искусственного интеллекта (ИИ), которая позволит создавать реалистичные поддельные видео сюжеты.

Инструменты, позволяющие имитировать движение губ и мимику человека, уже существуют. Однако, как сообщает портал Futurism, новая система на основе ИИ представляет собой значительное улучшение существующих разработок. Она обеспечивает возможность создавать фотореалистичные видеоролики, в которых все движения и слова, произносимые актером в исходном видео, будут переноситься в изменяемое видео.

Публичная демонстрация разработки состоится в августе 2018 года на конференции по компьютерной графике SIGGRAPH. Создатели новой системы планируют показать возможности разработки с помощью экспериментов по сравнению нового алгоритма с уже существующими средствами создания правдоподобных видео сюжетов и изображений, многие из которых были частично разработаны Facebook и Google. Характеристики решения на основе ИИ превосходят показатели существующих систем. Как сообщается, система ИИ всего за несколько минут работы с исходным сюжетом поможет создать безупречное фальшивое видео. Участникам экспериментов с трудом удалось отличить настоящие видео от поддельных.

Разработчики, получившие финансовую поддержку Google, надеются, что их работа будет использована для улучшения технологий виртуальной реальности и обеспечения ее большей доступности.

2017: Замена лица порноактрисы на лицо кинозвезды Голливуда

В декабре 2017 года в интернете появилось порноролик якобы с участием известный актрисы Галь Гадот. Однако в действительности на видео было тело порноактрисы, лицо которой с помощью искусственного интеллекта заменили на лицо голливудской кинозвезды. Подробнее здесь.

См. также

• FakeApp (программа для подмены лиц в видео)

Робототехника

Примечания