Note de l’éditeur : cet article fait partie du Série AI décodéequi démystifie l’IA en rendant la technologie plus accessible, et qui présente de nouveaux matériels, logiciels, outils et accélérations pour les utilisateurs de PC RTX.
Imaginez une vue magnifique, comme une falaise au bord de l’eau. Même sous forme d’image 2D, la scène serait belle et invitante. Imaginez maintenant explorer cette même vue en 3D, sans avoir besoin d’être sur place.
L’IA basée sur la technologie NVIDIA RTX permet de transformer une telle imagination en réalité. Grâce à Instant NeRF, les créatifs transforment des collections d’images fixes en scènes numériques 3D en quelques secondes seulement.
Tout simplement radieux
Un NeRF, ou champ de radiance neuronale, est un modèle d’IA qui prend des images 2D représentant une scène en entrée et les interpole entre elles pour restituer une scène 3D complète. Le modèle fonctionne comme un réseau neuronal – un modèle qui reproduit la manière dont le cerveau est organisé et est souvent utilisé pour des tâches nécessitant une reconnaissance de formes.
Grâce à la localisation spatiale et au rendu volumétrique, un NeRF utilise la pose de la caméra à partir des images pour restituer une itération 3D de la scène. Traditionnellement, ces modèles nécessitent beaucoup de calculs, nécessitant beaucoup de puissance et de temps de rendu.
Un récent projet de recherche NVIDIA AI a changé la donne.
Instant NeRF fait passer les NeRF au niveau supérieur, en utilisant le rendu inverse accéléré par l’IA pour se rapprocher du comportement de la lumière dans le monde réel. Il permet aux chercheurs de construire une scène 3D à partir d’images 2D prises sous différents angles. Les scènes peuvent désormais être générées en quelques secondes, et plus le modèle NeRF est entraîné longtemps, plus les rendus 3D résultants sont détaillés.
Les chercheurs de NVIDIA ont publié quatre primitives graphiques neuronales, ou ensembles de données pré-entraînés, dans le cadre de l’ensemble d’outils de formation Instant-NGP lors de la conférence d’infographie SIGGRAPH en 2022. Les outils permettent à chacun de créer des NeRF avec ses propres données. Les chercheurs ont remporté le prix du meilleur article pour leurs travaux et Le magazine Time a nommé Instant NeRF meilleure invention de 2022.
En plus d’accélérer le rendu pour les NeRF, Instant NeRF rend l’ensemble du processus de reconstruction d’image accessible à l’aide des GPU NVIDIA RTX et GeForce RTX pour ordinateurs de bureau et portables. Bien que le temps nécessaire au rendu d’une scène dépende de facteurs tels que la taille de l’ensemble de données et la combinaison de contenu source d’image et de vidéo, la formation en IA ne nécessite pas de matériel de qualité serveur ou basé sur le cloud.
Les stations de travail NVIDIA RTX et les PC GeForce RTX sont parfaitement adaptés pour répondre aux exigences informatiques du rendu des NeRF. Les GPU NVIDIA RTX et GeForce RTX sont dotés de Tensor Cores, des accélérateurs matériels dédiés à l’IA qui fournissent la puissance nécessaire pour exécuter l’IA générative localement.
À vos marques, prêts, partez
Lancez-vous avec Instant NeRF pour en savoir plus sur les champs de rayonnement et expérimenter l’imagerie d’une nouvelle manière.
Les développeurs et les passionnés de technologie peuvent télécharger la base de code source à compiler. Les utilisateurs non techniques peuvent télécharger les programmes d’installation Windows pour le logiciel Instant-NGP, disponibles sur GitHub.
Bien que le programme d’installation soit disponible pour une large gamme de GPU RTX, le programme fonctionne mieux sur les GPU GeForce RTX 40 Series et NVIDIA RTX Ada Generation de dernière architecture.
Le guide « Premiers pas avec Instant NeRF » guide les utilisateurs tout au long du processus, y compris le chargement de l’une des primitives, telles que « NeRF Fox », pour avoir une idée de ce qui est possible. Des instructions détaillées et des procédures vidéo pas à pas, comme celle ci-dessus, montrent comment créer des NeRF avec des données personnalisées, y compris des conseils pour capturer de bonnes images d’entrée et compiler des bases de code (si elles sont créées à partir de la source). Le guide couvre également l’utilisation de l’interface utilisateur graphique Instant NeRF, l’optimisation des paramètres de la scène et la création d’une animation à partir de la scène.
La communauté NeRF propose également de nombreux trucs et astuces pour aider les utilisateurs à démarrer. Par exemple, consultez le livestream ci-dessous et cet article de blog technique.
Montrer et dire
Les artistes numériques composent de superbes scènes et racontent de nouvelles histoires avec NVIDIA Instant NeRF. La galerie Instant NeRF présente certains des exemples les plus innovants et les plus stimulants, visibles sous forme de clips vidéo dans n’importe quel navigateur Web.
Voici quelques-uns:
- « De l’autre côté du miroir » de Karen X. Cheng et James Perlman Une pianiste répète sa chanson, qui fait partie de sa routine quotidienne, même si ce qui se passe ensuite n’a rien de banal. Le spectateur se regarde dans le miroir, un monde virtuel qui peut être observé mais non traversé ; il est inaccessible par des moyens normaux. Puis, en franchissant le seuil, il se révèle que ce miroir est en fait une fenêtre sur une réalité inversée qui peut être explorée de l’intérieur. Lequel est réel ?
- « Méditation » de Franc Lucent Dès qu’ils sont entrés dans l’une des nombreuses pièces du domaine de Nico Santucci, Lucent a su qu’ils devaient la transformer en NeRF. Jouant avec la dynamique et les reflets de l’étang, il propose à l’artiste une exploration inconnue. Ils ont été satisfaits de la douceur de la lumière et de la façon dont le NeRF élève la pièce pour en faire ce qui ressemble à un rêve : l’endroit idéal pour méditer. Un NeRF peut figer un instant d’une manière plus immersive qu’une photo ou une vidéo.
- « Zeus » de Hugues Bruyère Ces scènes 3D rendues avec Instant NeRF utilisent les données précédemment capturées par Bruyère pour la photogrammétrie traditionnelle à l’aide d’appareils photo numériques sans miroir, de smartphones, de caméras à 360 degrés et de drones. Instant NeRF lui offre un outil puissant pour l’aider à préserver et à partager des artefacts culturels via des bibliothèques en ligne, des musées, des expériences de réalité virtuelle et des projets de conservation du patrimoine. Ce NeRF a été formé à l’aide d’un ensemble de données de photos prises avec un iPhone au Musée royal de l’Ontario.
De l’image à la vidéo à la réalité
Transformer des images en scène 3D avec l’IA, c’est cool. Se lancer dans cette création 3D est un niveau supérieur.
Grâce à une récente mise à jour d’Instant NeRF, les utilisateurs peuvent restituer leurs scènes à partir d’images statiques et entrer virtuellement dans les environnements, en se déplaçant librement dans l’espace 3D. Dans les environnements de réalité virtuelle (VR), les utilisateurs peuvent ressentir une immersion totale dans de nouveaux mondes, le tout au sein de leurs casques.
Les avantages potentiels sont presque infinis.
Par exemple, un agent immobilier peut créer et partager un modèle 3D d’une propriété, proposant ainsi des visites virtuelles à de nouveaux niveaux. Les détaillants peuvent présenter leurs produits dans une boutique en ligne, alimentée par une collection d’images et une IA fonctionnant sur des GPU RTX. Ces modèles d’IA stimulent la créativité et contribuent à favoriser l’accessibilité des expériences immersives 3D dans d’autres secteurs.
Instant NeRF est doté de la capacité de nettoyer facilement les scènes en VR, ce qui rend la création de NeRF de haute qualité plus intuitive que jamais. Apprenez-en davantage sur la navigation dans les espaces Instant NeRF en VR.
Téléchargez Instant-NGP pour commencer et partagez vos créations sur les réseaux sociaux avec le hashtag #InstantNeRF.
L’IA générative transforme les jeux, les vidéoconférences et les expériences interactives de toutes sortes. Donnez un sens aux nouveautés et aux prochaines étapes en vous abonnant au Newsletter AI décodée.