Стань героем мемов! Делаем гифки со своим лицом с помощью нейросетей
Друзья, всем привет, сегодня я научу вас как создавать шикарные мемные гифки с вашим лицом с помощью дипфейк нейросети FaceFusion.
Все мы любим гифки, они веселые, эмоциональные, у каждого из нас в телеграме сохранена добрая пачка таких анимаций из любимых фильмов и сериалов.
Но что, если вы сами будете главным героем этих сцен? Я попробовал и мне очень понравилось, уверен, что к концу этой статьи вы тоже захотите пак собственных уникальных гифок. Приступим к магии.
Нам понадобится приложение FaceFusion, вы можете скачать его из официального гита разработчика , но установка мягко говоря геморойная. Есть версия для Google Collab.
Я использую локально портативную версию FaceFusion от моего товарища с канала Neurogen, так же советую поступить и вам, архив достаточно распаковать в любую удобную папку, больше ничего не требуется. Важно: в путях и названиях файлов не должно быть кириллицы!
После распаковки, кликаем start_portable_nvidia.bat
Откроется окно терминала, дождитесь пока в нем появится строка Running on local URL: http://127.0.0.1:7860, выделите адрес, скопируйте нажав ctrl + c, вставьте в адресную строку вашего браузера. Готово
А почему нельзя было сделать, чтобы адрес открывался сам? Ответ вы знаете.
Вот так все это выглядит, но пугаться не стоит, все достаточно просто, сейчас расскажу.
Поскольку мы будем работать с гифками, они как правило имеют низкое разрешение, поэтому ставим все три галочки. Они позволяют отдельно использовать разные компоненты, замену лица, улучшатель лица и улучшатель кадра. Но вы имейте ввиду, что каждый компонент можно запускать отдельно, например, чтобы только улучшить видео, без замены лица.
Дальше у нас идут настройки потребления ресурсов. И они вот вообще не очевидные.
Если у вас видеокарта NVidia, то поздравляю, все пройдет легко и безболезненно. Мои настройки для видеокарты RTX 4090 на скрине выше, если у вас карта по слабее, просто понизьте все настройки в два раза и повышайте понемногу, пока не начнут появляется ошибки Out of memory. Выявить максимальные настройки для лучшего быстродействия можно только экспериментальным путем.
Если у вас слабая видеокарта, можно попробовать режим CPU, но это будет значительно медленное чем на хорошем видеоадаптере.
Дальше идут настройки сохранения временных кадров и видео.
Тут все просто, ползунки ставим на 100, остальное можно не трогать. Галки внизу отвечают за поддержание того же фпс, как в оригинале, следующая за сохранение скорости видео, и последняя позволяет пропустить аудио и не добавлять его в итоговый файл. Идем дальше.
В центре страницы три больших окошка, в первое — Source мы загружаем наше лицо, ну или то лицо, на которое будем менять.
Второе — Target, это видеофайл с которым мы работаем.
Третий — Output появится по завершению работы программы.
В OUTPUT PATH указываем адрес папки сохранения итоговых видео.
Теперь самое интересное, настройка замены лиц, ведь менять можно как все лица в видео на одно и тоже, так и только определенные. Для примера я выбрал отрезок из известного художественного фильма.
В Preview мы уже видим предпросмотр того, что получится, навигация по кадрам осуществляется с помощью ползунка PREVIEW FRAME.
С помощью ползунков TRIM FRAME START и END можно обрезать начала или конец видео. Но это еще не все, дальше будет блок с анализом и заменой лиц.
У нас есть два режима замены лиц, режим many — заменит все лица в кадре, но вы можете указать пол и возраст лиц, которые будут проанализированы с помощью FACE ANALYSER AGE и FACE ANALYSER GENDER, например так можно менять только лица взрослых мужчин. Но работает это не идеально, бывают сбои.
В режиме reference мы мы двигаем ползунок PREVIEW FRAME и кликаем на те лица, которые нужно заменять в REFERENCE FACE. Если в процессе видео лицо которое мы заменяем перемещается в кадре слишком сильно или пропадает — отслеживание может сбиваться, поэтому прокрутите ползунком все кадры и проверьте везде ли лицо определяется правильно.
Единственное что я так и не понял, это как снять выделение у уже выбранного лица, можно только переключить на другое. Поэтому если в кадре несколько лиц и одно потом исчезает из кадра, то самое которое мы заменяли. То, чтобы алгоритм не перепрыгнул на соседние лицо автоматически можно отрегулировать REFERENCE FACE DISTANCE, это расстояние до лица, лица которые ближе или дальше будут игнорироваться. Это легко подобрать опытным путем ориентируясь на превью.
Вроде разобрались. Ура, у нас все готово к работе, но где взять сами гифки?
Мне понравились сайты giphy.com и gifer.com, тут без особых сложностей можно найти любую гифку и зачастую они идеально закольцованы.
Найдите гифку которая нравится, кликайте на неё правой кнопкой мыши и выбирайте сохранить видео, так анимация сохранится в формате mp4, и работать с ней будет немного удобнее чем с gif.
Ну а как действовать дальше вы уже знаете, запускаете и уже буквально через минуту получаете гифку с вашим лицом.
Что будет работать плохо или не будет работать вообще?
- Если лицо в кадре не полностью, или слишком близко, обрезан лоб или подбородок, такие лица чаще всего плохо определяются или не определяются совсем.
- Лица на которых есть очки будут заменяться плохо, особенно если на вашем фото очков нет. Кадры где что-то закрывает лицо, например рука или какие-то объекты, тоже будут давать артефакты.
- Быстрые смены ракурса, плохое освещение, дым, вспышки, могут приводить к артефактам.
- Лицо с бородой заменять на лицо без бороды, тоже плохая идея, касается и лысых.
- Естественно лицо белого гетеросексуального мужчины средних лет плохо ляжет на персонажа другой расы, телосложения, гендера и, возможно, ориентации.
Где еще взять классные гифки для экспериментов? Конечно в телеграм, и они сразу в удобном формате mp4, сохраняйте и экспериментируйте.
К сожалению любимые всеми анимированные гаччи стикеры не подойдут, их придется пере конвертировать из формата webm в mp4. Я для этого использую бесплатный онлайн конвертор загрузите в него скаченный из телеги анимированный стикер и на выходе получите мп4, с которым уже можно работать.
Сконвертировать mp4 в гифки, если они вам по какой-то причине нужны, можно там же на сайте в секции MP4 в GIF. Большинство мессенджеров и социальных сетей сами переводят короткие мп4 без звука в гиф, и проигрывают автоматически.
Друзья, а на этом у меня все, теперь вы знаете как создать классные мемные гифки со своим лицом с помощью DeepFake нейросети FaceFusion и станете грозой всех чатов и комментариев.
Но помните, что только на вас лежит ответственность за использованием таких технологий, не применяйте их во вред, соблюдайте нормы этики и морали и просто будьте людьми.
Скидывайте то что у вас получится в наш чатик и в комментарии, а если что-то осталось непонятно, то приходите на стрим, разберемся, ближайший пройдет уже в пятницу, 13 октября на Бусти в 20:00, вход как и всегда свободный.
А в следующий раз расскажу как можно создавать вот такую уникальную анимацию самому, а не использовать готовые гифки, а потом наложить сверху свое лицо.
Еще я рассказываю про нейросети у себя на YouTube, в телеграм, на Бусти, подписывайтесь, будет интересно.
Замена лица в видео и GIF анимации
REFACE: face swap videos https://play.google.com/store/apps/details?id=video.reface.app Веселись и удивляй своих друзей Поменяйтесь лицом со знаменитостями или персонажами фильмов. Делитесь персонализированными гифками и видеороликами с мессенджерами и социальными сетями НОВЫЕ ВИДЕО КАЖДЫЙ ДЕНЬ!
Показать больше
Войдите , чтобы оставлять комментарии
Дипфейк-приложение заменяет лица в GIF-картинках за считанные секунды
В прошлом году весь мир с интересом наблюдал за стремительным развитием технологии под названием дипфейк (deep fake), позволяющей заменять лица людей в изображениях или видео. Несмотря на то, что очень часто дипфейковые видео или фото используются в злонамеренных целях, это не снижает популярности технологии, и пользователи с удовольствием используют ее в развлекательных приложениях.
Именно такое приложение разработала недавно компания RefaceAI. Новая программа под названием Doublicat позволяет вставлять лица людей в любые GIF-файлы буквально за считанные секунды. При этом приложение очень легко в использовании: пользователю нужно всего лишь сделать несколько снимков и выбрать GIF-анимацию, в которую он хотел бы вставить лицо. Для загрузки лиц приложение использует основанный на машинном обучении алгоритм под названием RefaceAI. Как отмечают представители компании, от других популярных приложений наподобие Zao Doublicat отличает то, что оно не полагается на 3D-модели лиц:
«Большинство дипфейков использует подход, от которого мы отказались более года назад. Речь идет о 3D-масках, моделях лиц и смешении текстур. Это решение может работать только с ранее отобранным и предварительно обработанным материалом».
Учитывая участившиеся в последнее время случаи утечки данных, у многих пользователей вполне естественно возникает вопрос о безопасности использования фотографий в подобного рода приложениях. Однако, по словам представителей компании, Doublicat удаляет все снимки сразу же после завершения обработки:
«Приложение обрабатывает изображения людей и немедленно их удаляет».
В дальнейшем RefaceAI планирует выпустить аналогичное приложение на основе видео.
Стоит отметить, что технология дипфейк является очень противоречивой и к ее использованию необходимо подходить с большой осторожностью. Очень часто она применяется преступниками, создающими фейковые видео или фото с участием известных людей – политиков, бизнесменов, представителей шоу-бизнеса. При этом речь идет не только о компрометирующих видео с целью получения выкупа – в сети распространяются сфабрикованные видео, цель которых – повлиять на наше отношение к тому или иному представителю власти или определенной идее. В связи с этим многие компании и платформы уже запретили использование дипфейков.
Несомненно, сама по себе технология очень интересна и остановить или запретить ее развитие невозможно, тем не менее, разработчикам дипфейковых приложений необходимо очень тщательно следить за материалами, используемыми для подстановки лиц.
Подробнее о Doublicat можно узнать на сайте приложения, где оно доступно для загрузки для Android и iOS.
Trafficcardinal: ТОП-5 программ для замены лиц
Смена лиц с помощью нейросетей появилась относительно недавно, но вы наверняка уже встречались с плодами таких работ. В арбитраже можно применять замену лиц на селеб и медийных личностей для увеличения лояльности со стороны клиентов.
Сегодня мы поговорим о том, какие программы для этого подходят и как их использовать.
FacePlay (Android и iOS)
FacePlay — популярный видеоредактор для обмена лицами, может объединить фотографию человека и нужное вам лицо в одно целое.
Также приложение предоставляет различные шаблоны видео для косплея. Выбрав понравившееся, просто импортируйте свое селфи, после чего FacePlay автоматически объединит два лица. И, наконец, вы станете главным героем видео-шаблона.
Reface (Android и iOS)
Reface — один из лучших видеоредакторов для замены и смены лиц на видео. Это приложение предлагает огромную коллекцию исходных видео, GIF-файлов и фотографий для решения разных задач.
С помощью Face changer от Reface вы можете заменить свое лицо на фото знаменитостью, персонажем из популярных телевизионных и кинофильмов, а также забавными мемами.
FaceMagic (Android и iOS)
FaceMagic, работающий на базе искусственного интеллекта, может менять местами ваше лицо или лицо уже имеющегося актера в любом видео, фотографии или GIF. Также приложение позволяет вам загружать любые видео из вашей галереи, чтобы создавать собственные видеоролики со сменой лиц. Кроме того, вы можете выбрать один из встроенных источников видео, фотографий и GIF-файлов.
С помощью FaceMagic вы можете менять лицо, заменять лицо и менять местами лица с помощью одного селфи, создавать видеоролики и фотографии со сменой лиц.
Faces (Android и iOS)
Faces — это еще один видео-чейнджер для лица, который может поместить ваше лицо в любые видео и GIF-файлы. В нем также есть много заготовленных видео и GIF-исходников.
Вы можете сделать селфи или добавить лица популярных личностей и других людей, затем выбрать исходное видео и выполнить обмен лицами в режиме реального времени, чтобы создать короткие видеоролики.
Add Face To Video (Android)
Это также один из лучших видеоредакторов face swap для добавления лица к видео на Android. Как поменять местами лица в видео с помощью этого приложения? Просто выберите шаблон короткого видео, затем добавьте свое селфи и приложение изменит ваше лицо на лицо персонажа. Кроме того, вы можете сохранить результат в формате GIF.
Вывод
С помощью 5 приложений вы можете легко создавать видеоролики с заменой лица. Теперь выберите одно приложение и попробуйте сделать собственное видео для рекламы. Важно уточнить перед сливом у менеджера, можно ли пользоваться программами с заменой лиц для создания креативов.