Домой Технологии Жутко и технологично: NVIDIA научила 3D-модели реалистично открывать рот под чей-то голос

Жутко и технологично: NVIDIA научила 3D-модели реалистично открывать рот под чей-то голос

22
0

Жутко и технологично: NVIDIA научила 3D-модели реалистично открывать рот под чей-то голос

Компания NVIDIA больше известна как производитель видеокарт, но она также создаёт некоторые интересные программные инструменты. Примером этого является система Audio2Face, которая позволяет анимировать 3D-модели на основе записанного голоса.

В Audio2Face реализуется процесс автоматического монтажа. Инструмент работает на открытой платформе физически корректного моделирования в реальном времени NVIDIA Omniverse. Программа берёт аудиофайл и создаёт на модели удивительно хорошо совпадающую анимацию. Она хорошо работает с большинством языков.

Для инструмента NVIDIA создала глубокую нейронную сеть, которая сопоставляет лицевую анимацию со звуком в реальном времени. У компании есть веб-сайт с инструкциями к Audio2Face. Также уже можно скачать открытую бета-версию программы. А пока можно посмотреть на примеры работы технологии. Результат может даже пугать.

ОСТАВЬТЕ ОТВЕТ

Пожалуйста, введите ваш комментарий!
пожалуйста, введите ваше имя здесь