Am Freitag haben Forscher von NVIDIA kündigte Magic3D an – ein Modell der künstlichen Intelligenz, das aus Textbeschreibungen 3D-Modelle generieren kann. Nach der Eingabe eines Hinweises, beispielsweise „Ein blauer Pfeilgiftfrosch sitzt auf einer Seerose“, generiert Magic3D in etwa 40 Minuten ein XNUMXD-Netzmodell mit Farbtextur. Mit Modifikationen kann das resultierende Modell in Videospielen oder Kunstszenen im CGI-Format verwendet werden.
In seinem wissenschaftlichen Artikel NVIDIA sieht Magic3D als Reaktion auf DreamFusion, das Text-zu-3D-Modell, das Google-Forscher im September angekündigt haben. So wie DreamFusion ein Text-zu-Bild-Modell verwendet, um ein 2D-Bild zu erstellen, das dann in volumetrische NeRF-Daten (Neural Radiance Field) optimiert wird, verwendet Magic3D einen zweistufigen Prozess, bei dem ein grobes Modell mit niedriger Auflösung erstellt und optimiert wird eine höhere Auflösung. Laut den Autoren des Artikels kann die resultierende Magic3D-Methode dreidimensionale Objekte doppelt so schnell erzeugen wie DreamFusion.
Magic3D kann auch On-the-Fly-Bearbeitung von 3D-Netzen durchführen. Bei einem 3D-Modell mit niedriger Auflösung und einem einfachen Tooltip können Sie den Text ändern, um das resultierende Modell zu ändern. Magic3D demonstriert auch die Beibehaltung derselben Handlung über mehrere Generationen (ein Konzept, das oft als Kohärenz bezeichnet wird) und die Anwendung eines 2D-Bildstils (z. B. eines kubistischen Gemäldes) auf ein 3D-Modell.
NVIDIA hat mit ihrer Forschungsarbeit keinen Magic3D-Code veröffentlicht.
Die Fähigkeit, 3D aus Text zu generieren, scheint eine natürliche Entwicklung in modernen Diffusionsmodellen zu sein, die neuronale Netze verwenden, um nach intensivem Training mit einer Reihe von Daten neue Inhalte zu synthetisieren. Erst 2022 sahen wir das Aufkommen leistungsstarker Text-to-Image-Modelle wie DALL-E und Stable Diffusion sowie rudimentäre Text-to-Video-Generatoren von Google und Meta.
Was Magic3D betrifft, so hoffen die Forscher dahinter, dass es jedem ermöglichen wird, 3D-Modelle ohne spezielle Schulung zu erstellen. Einmal verfeinert, könnte die daraus resultierende Technologie die Entwicklung von Videospielen (und Virtual Reality) beschleunigen und schließlich in Spezialeffekten für Film und Fernsehen Verwendung finden. Am Ende ihres Artikels schreiben sie: "Wir hoffen, dass wir mit Magic3D die 3D-Synthese demokratisieren und das kreative Potenzial aller bei der Erstellung von 3D-Inhalten freisetzen können."
Sie können der Ukraine helfen, gegen die russischen Invasoren zu kämpfen. Der beste Weg, dies zu tun, besteht darin, Gelder an die Streitkräfte der Ukraine zu spenden Das Leben retten oder über die offizielle Seite NBU.
Lesen Sie auch:
- In Schweden lernten sie, wie man Mikroelektronik auf 3D-Druckern druckt
- Staub kann für den 3D-Druck auf dem Mars verwendet werden