Nvidias Forschungsabteilung zeigt zur GTC mit dem GANverse3D, wie sich aus nur einem einzigen 2D-Foto ein 3D-Modell erstellen lässt. Als Beispiel dafür muss KITT aus der Actionserie Knight Rider herhalten. Spieleentwickler, Künstler, Designer und Architekten sollen so mit geringem Aufwand neue 3D-Modelle importieren können.
GANverse3D wird als Erweiterung für Nvidias Kollaborationsplattform Omniverse angeboten, die zur GTC die Phase der Open Beta verlassen hat und für erste Enterprise-Kunden angeboten wird. Omniverse ist eine Cloud-basierte Plattform und stellt wahlweise multiple GPUs auf Basis der RTX-Technologie zur Verfügung, sodass auch Raytracing-basiertes Rendering möglich ist. Über die sogenannten Connectors, besser beschrieben als Plug-ins, lassen sich professionelle Anwendungen wie 3DS Max, Houdini, Maya oder auch Photoshop und die Unreal Engine 4 kollaborativ nutzen.
Schnell neue 3D-Modelle erstellen
Für diese Entwicklungsumgebung stellt Nvidia heute GANverse3D vor, um neue 3D-Modelle ohne Expertise in diesem Bereich erzeugen und in die Anwendungen importieren zu können. Was es dafür aufseiten des Anwenders braucht, ist lediglich ein einzelnes 2D-Foto eines Autos, um daraus in wenigen Millisekunden ein 3D-Modell zu generieren. Nvidia hat sich bei GANverse3D zunächst für das Rendering von Automobilen entschieden. Spieleentwickler, Künstler, Designer und Architekten sollen so mit geringem Aufwand ihre virtuellen Umgebungen um neue 3D-Objekte ergänzen können.
Das für den Prozess benötigte Generative Adversarial Network (GAN) hat Nvidia zuvor mit 55.000 Bildern verschiedener Automobile aus mehreren Perspektiven trainiert, für den eigentlichen Vorgang aufseiten des Anwenders wird dann aber nur noch ein einziges Foto benötigt, das das gesamte Fahrzeug zeigt. Mit dem 2D-Foto „gefüttert“, generiert GANverse3D daraus ein 3D-Modell, das auch einzeln ansprechbare Subkomponenten des Autos wie Räder und Scheinwerfer umfasst, die sich anschließend auch animieren lassen, um etwa eine animierte Fahrsequenz darzustellen – wie bei KITT. Für das zunächst grobe Modell lässt sich anschließend die von GANverse3D ermittelte Textur mit Werkzeugen wie Omniverse Kit und PhysX zu hochqualitativen Materialien konvertieren. Vom Laden des Fotos bis zum fertigen Modell sollen auf einer Grafikkarte vom Typ Tesla V100 nur 65 ms verstreichen.
Welche Objekte GANverse3D als nächstes beherrschen soll, dazu hat sich Nvidia noch nicht geäußert. Grundsätzlich gäbe es aber keine Beschränkung, auch wenn komplexe Modelle wie Bäume wohl „noch etwas Optimierung“ am Algorithmus voraussetzen würden.
ComputerBase hat Informationen zu diesem Artikel von Nvidia unter NDA erhalten. Die einzige Vorgabe war der frühest mögliche Veröffentlichungszeitpunkt.