Нейросеть научили поразительно правдоподобно «оживлять» лицо

Созданный специалистами из Южной Кореи MarioNETte выводит технологию на новый уровень. Создателям алгоритма удалось преодолеть главное ограничение: ненатуральность преобразования в случае, когда данные оригинала и цели сильно отличаются.

Нейросети для работы достаточно одной неразмеченной фотографии и любой веб-камеры. Перепечатку работы, итогом которой стало создание MarioNETte, разместили на сайте ArXiv, сообщает VentureBeat.

Почему это может быть опасно

Именно такого алгоритма опасались противники этой технологии, ведь они считают, что теперь манипулировать изображением любого политика, знаменитости или бизнесмена сможет любой желающий.

Отметим, что целью дипфейка – анимировать лицо-оригинал (драйвер), наложив на него мимику человека перед камерой (цель). MarioNETte улучшает технологию «вклеивания» лиц буквально по всем параметрам, утверждают создатели.

Как это работает

Раньше для обучения модели нужны были или технологии захвата движения для лица-цели, или хотя бы несколько минут съемки с разных ракурсов. Альтернатива – размеченное изображение лица-драйвера.

Читайте также:  Приложение для Oculus Rift позволяет стать «3D-художником»

MarioNETte обходится без этого. Просто дайте нейросети фотографию, начните кривляться перед веб-камерой – и готов.

Демонстрация работы алгоритма / venturebeat
Демонстрация работы алгоритма / venturebeat

В то же время алгоритм успешно преодолевает и общую беду конкурентов, вполне правдоподобно превращая изображения, которые сильно отличаются.

Некоторые артефакты, все же заметны, но работа в целом впечатляет / venturebeat
Некоторые артефакты, все же заметны, но работа в целом впечатляет / venturebeat

MarioNETte состоит из трех функциональных частей: распознаватель образа, алгоритм привязки и алгоритм преобразования.

В целом новый алгоритм неплохо справляется с задачей / venturebeat
В целом новый алгоритм неплохо справляется с задачей / venturebeat

Создатели утверждают, что в исследовании с участием 100 волонтеров почти все они назвали созданные MarioNETte образы более правдоподобными и с менее заметными артефактами.

Источник: telegraf.com.ua

Похожие статьи:

Оставить ответ

Ваш e-mail не будет опубликован. Обязательные поля помечены *