Сверхреализм: нейросеть создает отличное видео всего по 1 фото в запросе - видео
Запущен сервис Emote Portrait Alive, который оживляет портреты и дает им эмоции. Работает буквально по одной фотке, но минус в том, что код пока не раскрывают. Вот что пишут авторы на своем сайте:
Мы выявляем ограничения традиционных методов, которые часто не позволяют передать весь спектр человеческих выражений и уникальность индивидуальных черт лица. Для решения этих проблем мы предлагаем EMO, новую платформу, которая использует прямой подход синтеза аудио в видео. Наш метод обеспечивает плавные переходы кадров и последовательное сохранение идентичности на протяжении всего видео, в результате чего получается очень выразительная и реалистичная анимация. Результаты экспериментов демонстрируют, что EMO способна создавать не только убедительные видеоролики с говорением, но и видеоролики с пением в различных стилях, значительно превосходя существующие современные методологии с точки зрения выразительности и реализма.
Действительно, уже имеющиеся образцы творчества этой нейросети оживляют фотографии известных людей и Мону Лизу, чтобы те в созданных видео пели и разговаривали. Убедитесь сами, насколько авторы видео правы, когда заявляют о «плавных переходах кадров» и что их нейросеть превосходит «существующие современные методологии с точки зрения выразительности и реализма»:
