Nvidia прави голям напредък в обратното изобразяване, за да трансформира неподвижни снимки в 3D обекти

Nvidia Corp. днес демонстрирани впечатляващия напредък, който е постигнал в областта на „обратното изобразяване“, което е техника, която използва изкуствен интелект, за да реконструира серия от неподвижни снимки в 3D модел на обект или сцена.

Най-новият метод на Nvidia за извършване на обратно изобразяване, известен като Nvidia 3D MoMa, има потенциални приложения за разработчици на видеоигри, архитекти, дизайнери и концептуални художници. С него те биха могли бързо и лесно да импортират снимка на обект в графичен двигател и да го модифицират по множество начини, променяйки неговия материал и текстура, добавяйки светлинни ефекти или променяйки неговия мащаб.

3D MoMa работи, като прави снимка на обект или сцена и я трансформира в един вид триъгълна мрежа, пълна с текстурирани материали, които могат да бъдат пуснати в игрови инженери, програми за 3D моделиране и филмови рендери. Nvidia обясни, че напредъкът в полетата на невронното излъчване, комбиниран с процесорната мощност на нейните графични процесори Tensor Core, й позволяват да генерира тези триъгълни мрежови модели в рамките на един час или по-малко.

Процесът на реконструкция пресъздава три ключови характеристики от неподвижната снимка: 3D мрежест модел на обекта или сцената, материалите и осветлението. Мрежата може да се разглежда като папие-маше модел на въпросния обект, който е изграден от триъгълници.

След това този модел може да бъде променен по различни начини от разработчиците, за да адаптират обекта към тяхната творческа визия. Материалите са интегрирани като 2D текстури, които могат да бъдат насложени върху 3D мрежата като кожа. След това моделът изчислява как пресъздаденият обект е осветен, за да поддържа точността на осветлението.

Всичко е автоматизирано, което го прави много по-лесно от традиционния процес на създаване на 3D обекти от нулата с помощта на сложни фотограметрични техники, което включва ръчни усилия и може да отнеме часове, за да завърши, каза Nvidia.

През тази седмица Конференция за компютърно зрение и разпознаване на образиNvidia показа възможностите на Nvidia 3D MoMa, като изгради 3D обекти от набор от изображения на инструменти на джаз бенд, включително тромпет, тромбон, саксофон, барабанен комплект и кларинет, заснети от различни ъгли.

Nvidia 3D MoMa изучава тези снимки и реконструира 2D изображенията като 3D представяне на всеки инструмент. По този начин може да ги издигне от оригиналната им сцена и да ги импортира в Nvidia Omniverse 3D симулатор на платформа за да ги редактирате.

Оттам става възможно да се промени формата или материалът на всеки инструмент. Екипът на Nvidia замени оригиналния пластмасов материал на тромпета с различни материали, включително злато, мрамор, дърво и корк.

След това редактираните 3D обекти могат да бъдат пуснати във всяка виртуална сцена. Nvidia тества това, като постави инструментите в кутия на Cornell, което е класически графичен тест за качество на изобразяване. Инструментите реагираха на светлината точно както във физическия свят, като лъскавите метални се отразяваха ярко, докато матовите барабанни кори поглъщаха по-голямата част от светлината.

И накрая, Nvidia използва инструментите като градивни елементи, за да създаде сложна анимирана сцена на виртуална джаз група.

Холгер Мюлер от Constellation Research Inc. каза на SiliconANGLE, че е хубаво да видим как Nvidia постига напредък в създаването на 3D обекти, тъй като това е област, която включва много досадна и ресурсоемка работа. Това възпрепятства създаването на богата виртуална реалност и приложения с разширена реалност, добави той.

„Иновации като трансформирането на 2D материал в 3D обекти са от ключово значение за изграждането на по-богато софтуерно изживяване, било то за VR, AR или самата метавселена“, каза Мюлер.

„Тръбопроводът за изобразяване на Nvidia 3D MoMa използва машината на съвременния AI и суровата изчислителна мощност на графичните процесори на Nvidia за бързо производство на 3D обекти, които създателите могат да импортират, редактират и разширяват без ограничение в съществуващите инструменти“, каза Дейвид Лубке, вицепрезидент по графика на Nvidia. изследвания.

Снимки: Nvidia

Покажете своята подкрепа за нашата мисия, като се присъедините към нашия Cube Club и Cube Event общност от експерти. Присъединете се към общността, която включва Amazon Web Services и изпълнителния директор на Amazon.com Анди Джаси, основателя и главния изпълнителен директор на Dell Technologies Майкъл Дел, главния изпълнителен директор на Intel Пат Гелсинджър и много други светила и експерти.

.