Команда NVIDIA выигрывает Real-Time Live
Лучшее на выставке
NVIDIA I am AI: Digital Avatar Made Easy, управляемый искусственным интеллектом, стал победителем конкурса Best in Show в режиме реального времени.
Исследователи NVIDIA получают награду Best in Show на выставке SIGGRAPH 2021 за технологию цифровых аватаров в реальном времени. Real-Time Live – одно из самых ожидаемых событий на крупнейшей в мире конференции по компьютерной графике. Практически в этом году он прошел. Каждый год выставка отмечает передовые проекты в реальном времени, охватывающие игровые технологии, дополненную реальность и научную визуализацию.
В демонстрации два ученых-исследователя NVIDIA сыграли роль интервьюера и потенциального сотрудника, выступающего по видеоконференции. Во время разговора собеседник продемонстрировал возможности технологии цифровых аватаров на основе искусственного интеллекта для общения с интервьюером. В демонстрации использовались ноутбук NVIDIA RTX и настольная рабочая станция на базе графических процессоров RTX A6000. Весь конвейер также можно запускать на графических процессорах в облаке.
Мы предварительно анонсировали их запись, а также поговорили с Минг-Ю Лю, выдающимся ученым-исследователем, и Коки Нагано, старшим научным сотрудником). Среди участников демонстрации в реальном времени в реальном времени были Арун Малля, старший научный сотрудник, Кевин Ши, научный сотрудник, и Брайан Катандзаро, вице-президент.
Т 
Демонстрация в реальном времени в реальном времени представляла собой сквозную демонстрацию исследовательских проектов, которые были объединены для демонстрации создания цифровой конференц-связи – цифрового человеческого проекта. То, что начинается с демонстрации очень быстрого создания правдоподобных лиц, переходит в конечную настройку, когда кто-то просто набирает свои ответы с цифровой версией себя, говорящего и произносящего свои слова своим собственным голосом. «Есть несколько ключевых технологий, которые объединены вместе, чтобы сделать демо-версию», – комментирует Лю. «Существует технология, которая позволяет сделать снимок целевого человека и видео и передать движение на видео: Vid2Vid Cameo . Еще одна технология – audio2face , которая позволяет создавать видео, на котором цифровой человек разговаривает, а движение создается на основе звука ». Команда пошла дальше и создала финальное анимированное лицо, которое управлялось только текстом. Затем текст был использован для создания правдоподобной версии его голоса. Используя модель RAD-TTS NVIDIA, демонстрация показала напечатанные сообщения, заменяющие звук, подаваемый в Audio2Face. Фактически, у команды даже было пение лица!
«Я думаю, что одна из целей заключалась в том, чтобы объединить все эти разные элементы, чтобы достичь чего-то, чего никто не мог вообразить», – говорит Лю. «Таким образом, одно конечное приложение призвано упростить сквозное создание цифровых персонажей … но у разных частей есть свои собственные интересные приложения в таких вещах, как видеоконференцсвязь».
Последним лицом, которым манипулировали вживую, был нейронный рендеринг, он не использовал рендерер Omniverse. Хотя демонстрация не была прямой демонстрацией Omniverse, мероприятие Real-Time Live частично совпало с R&D, которые являются частью большого продвижения NVIDIA в отношении Omniverse. Еще одним аспектом технологии, которую продемонстрировала команда, было использование версии StyleGan, позволяющей конвейеру делать это с чем-то, кроме реальной фотографии. Этот непрерывный разговорный цифровой человек может быть построен из изображения полностью сфабрикованного цифрового человека или стилизованной визуализации в мультяшном стиле. Это важно, поскольку лица, обычно создаваемые на основе статистических данных обучения, не согласованы во времени и будут дрожать при анимации. Этот новый подход не имеет этой проблемы, так как после вывода нового лица оно обрабатывается как неподвижная фотография и плавно анимируется.
Частично успех демонстрации с технической точки зрения заключался в том, что для этого процесса не требовалось снимать специальные обучающие данные или ПЗУ до того, как лицо будет выведено для анимации. Очевидно, что лицо StyleGan – это всего лишь один кадр, поэтому нет материалов из библиотеки или каких-либо движущихся кадров, которые можно было бы использовать в качестве обучающих данных.
Причина, по которой демонстрация особенно хорошо работает для видеоконференцсвязи, по словам Нагано, заключается в том, что система не просто визуализирует предполагаемые кадры, а затем передает их как видео. Система фактически кодирует гораздо меньший поток данных, а затем выводит результаты дальше по конвейеру. Это означает, что качество видео намного выше, чем просто потоковое видео. В то время как обычное видео может казаться блочным и прерывистым, демонстрация в реальном времени в реальном времени выглядит на удивление нормально.
Команда исследователей NVIDIA объединила четыре отдельные модели искусственного интеллекта в одну впечатляющую демонстрацию, демонстрирующую новейшую технологию потоковой передачи цифровых аватаров, чтобы выиграть в 2021 году Real-Time Live.
Приз зрительских симпатий:
В прямом эфире со сцены мокапов шла компания Animatrik Film Design, победившая в голосовании зрителей за цирковое представление LiViCi Music. Они представили цифровое цирковое представление в реальном времени, сочетающее в себе сложное, смертоносное движение живых акробатов с захватом и рендерингом выступления в реальном времени – и все это хореография блестящего оригинального стихотворения. Презентация была проведена Атомасом Голдбергом, креативным директором Shocap Entertainment Ltd, а реалистичный и правдоподобный дизайн анимации был разработан Сэмюэлем Тетро, арт-директором Les 7 Doigts / The 7 Fingers.
Поздравляем все команды и Криса Эванса за столь успешное мероприятие.
Специалисты компании Salegor всегда отслеживают самые передовые технологии применяемые в сфере создания 2D / 3D рекламных роликов и компьютерной графики, и будут рады создать для вас продукт на их основе.
