Login

Lost your password?
Don't have an account? Sign Up

Команда NVIDIA выигрывает Real-Time Live

Лучшее на выставке

NVIDIA I am AI: Digital Avatar Made Easy, управляемый искусственным интеллектом, стал победителем конкурса Best in Show в режиме реального времени.

Исследователи NVIDIA получают награду Best in Show на выставке SIGGRAPH 2021 за технологию цифровых аватаров в реальном времени. Real-Time Live – одно из самых ожидаемых событий на крупнейшей в мире конференции по компьютерной графике. Практически в этом году он прошел. Каждый год выставка отмечает передовые проекты в реальном времени, охватывающие игровые технологии, дополненную реальность и научную визуализацию.

[встроенный контент]

В демонстрации два ученых-исследователя NVIDIA сыграли роль интервьюера и потенциального сотрудника, выступающего по видеоконференции. Во время разговора собеседник продемонстрировал возможности технологии цифровых аватаров на основе искусственного интеллекта для общения с интервьюером. В демонстрации использовались ноутбук NVIDIA RTX и настольная рабочая станция на базе графических процессоров RTX A6000. Весь конвейер также можно запускать на графических процессорах в облаке.

Мы предварительно анонсировали их запись, а также поговорили с Минг-Ю Лю, выдающимся ученым-исследователем, и Коки Нагано, старшим научным сотрудником). Среди участников демонстрации в реальном времени в реальном времени были Арун Малля, старший научный сотрудник, Кевин Ши, научный сотрудник, и Брайан Катандзаро, вице-президент.

Т Демонстрация в реальном времени в реальном времени представляла собой сквозную демонстрацию исследовательских проектов, которые были объединены для демонстрации создания цифровой конференц-связи – цифрового человеческого проекта. То, что начинается с демонстрации очень быстрого создания правдоподобных лиц, переходит в конечную настройку, когда кто-то просто набирает свои ответы с цифровой версией себя, говорящего и произносящего свои слова своим собственным голосом. «Есть несколько ключевых технологий, которые объединены вместе, чтобы сделать демо-версию», – комментирует Лю. «Существует технология, которая позволяет сделать снимок целевого человека и видео и передать движение на видео: Vid2Vid Cameo . Еще одна технология – audio2face , которая позволяет создавать видео, на котором цифровой человек разговаривает, а движение создается на основе звука ». Команда пошла дальше и создала финальное анимированное лицо, которое управлялось только текстом. Затем текст был использован для создания правдоподобной версии его голоса. Используя модель RAD-TTS NVIDIA, демонстрация показала напечатанные сообщения, заменяющие звук, подаваемый в Audio2Face. Фактически, у команды даже было пение лица!

«Я думаю, что одна из целей заключалась в том, чтобы объединить все эти разные элементы, чтобы достичь чего-то, чего никто не мог вообразить», – говорит Лю. «Таким образом, одно конечное приложение призвано упростить сквозное создание цифровых персонажей … но у разных частей есть свои собственные интересные приложения в таких вещах, как видеоконференцсвязь».

Стул реального времени Крис Эванс (слева). и (R) в прямом эфире из нашей штаб-квартиры в Кремниевой долине исследовательская группа NVIDIA представила демонстрацию реалистичных виртуальных персонажей для таких проектов, как видеоконференции и рассказывание историй с эффективным использованием полосы пропускания.

Последним лицом, которым манипулировали вживую, был нейронный рендеринг, он не использовал рендерер Omniverse. Хотя демонстрация не была прямой демонстрацией Omniverse, мероприятие Real-Time Live частично совпало с R&D, которые являются частью большого продвижения NVIDIA в отношении Omniverse. Еще одним аспектом технологии, которую продемонстрировала команда, было использование версии StyleGan, позволяющей конвейеру делать это с чем-то, кроме реальной фотографии. Этот непрерывный разговорный цифровой человек может быть построен из изображения полностью сфабрикованного цифрового человека или стилизованной визуализации в мультяшном стиле. Это важно, поскольку лица, обычно создаваемые на основе статистических данных обучения, не согласованы во времени и будут дрожать при анимации. Этот новый подход не имеет этой проблемы, так как после вывода нового лица оно обрабатывается как неподвижная фотография и плавно анимируется.

Частично успех демонстрации с технической точки зрения заключался в том, что для этого процесса не требовалось снимать специальные обучающие данные или ПЗУ до того, как лицо будет выведено для анимации. Очевидно, что лицо StyleGan – это всего лишь один кадр, поэтому нет материалов из библиотеки или каких-либо движущихся кадров, которые можно было бы использовать в качестве обучающих данных.

Причина, по которой демонстрация особенно хорошо работает для видеоконференцсвязи, по словам Нагано, заключается в том, что система не просто визуализирует предполагаемые кадры, а затем передает их как видео. Система фактически кодирует гораздо меньший поток данных, а затем выводит результаты дальше по конвейеру. Это означает, что качество видео намного выше, чем просто потоковое видео. В то время как обычное видео может казаться блочным и прерывистым, демонстрация в реальном времени в реальном времени выглядит на удивление нормально.

Команда исследователей NVIDIA объединила четыре отдельные модели искусственного интеллекта в одну впечатляющую демонстрацию, демонстрирующую новейшую технологию потоковой передачи цифровых аватаров, чтобы выиграть в 2021 году Real-Time Live.

Приз зрительских симпатий:

В прямом эфире со сцены мокапов шла компания Animatrik Film Design, победившая в голосовании зрителей за цирковое представление LiViCi Music. Они представили цифровое цирковое представление в реальном времени, сочетающее в себе сложное, смертоносное движение живых акробатов с захватом и рендерингом выступления в реальном времени – и все это хореография блестящего оригинального стихотворения. Презентация была проведена Атомасом Голдбергом, креативным директором Shocap Entertainment Ltd, а реалистичный и правдоподобный дизайн анимации был разработан Сэмюэлем Тетро, арт-директором Les 7 Doigts / The 7 Fingers.

Поздравляем все команды и Криса Эванса за столь успешное мероприятие.

Специалисты компании Salegor всегда отслеживают самые передовые технологии применяемые в сфере создания 2D / 3D рекламных роликов и компьютерной графики, и будут рады создать для вас продукт на их основе.