Profitez de la technologie Light-Fields pour créer des digital twins visuels en quelques minutes !
Sous des termes tels que NeRF, Light-Fields, Neural Graphics Primitives, photographie intégrale, un nouvel ensemble d'algorithmes et de technologies révolutionnent la production graphique.
La capture automatisée de photographies et l'optimisation « Deep-Learning » (apprentissage profond) permettent la création de jumeaux numériques visuels en quelques minutes, sans modélisation manuelle de produits. Cela donne aux concepteurs, aux marketeurs, au Visual Merchandising, la puissance de "3D" sans le processus fastidieux de la création.
Rendus
photoréalistes
NeRF utilise un réseau neuronal afin d’apprendre les relations entre l'apparence d'une scène et la structure 3D des objets à l'intérieur, ce qui lui permet de générer des "images 3D" hautement réalistes à partir d'une seule image 2D ou d'une séquence d'images.
Extrêmement efficace et à grande échelle
NeRF peut être formé à partir de grands ensembles de données, ce qui lui permet de traiter rapidement et avec précision de grandes quantités d'informations. Capable de traiter les données en parallèle, le NeRF est plus rapide que les techniques de rendu traditionnelles.
Expériences produits interactives
Tout comme les rendus 3D, l'affichage de light-fields permet une expérience produit engageante, immersive et innovante à 360° (3D pour le e-commerce, fonctionnalités de Réalité Augmentée).
Créez des visuels produits engageants avec les neural radiance fields (NeRF)
Des vues 3D réalistes de tous les objets et scènes peuvent être capturées et rendues avec ce système clé en main, qui comprend un équipement de capture de light-fields, un service de reconstruction ’cloud’ et des services de rendu.
Etape 1 :
Équipement de capture de light-fields
SmartPixels a développé plusieurs machines de photographie robotiques, basées sur des tables tournantes, des caméras motorisées, des éclairages et des arrière-plans contrôlables. Une fois placé au centre de la machine, un objet ou un produit est photographié des milliers de fois, sous tous les angles.
L’étape suivante consiste à détourer les photos. Comme l'éclairage et l'arrière-plan sont précisément contrôlés, ce processus est entièrement automatisé en utilisant des algorithmes de vision dans les cas courants, ou de reconnaissance d'objets et de détourage basés sur l'apprentissage automatique pour les cas plus complexes (transparence, brillance élevée).
Cette étape est commune entre notre pipeline d'informatique graphique traditionnelle et notre pipeline basé sur les réseaux de neurones et est hautement optimisée.
Etape 2 :
NVIDIA Instant NeRF - Optimisation et apprentissage
En 2022, NVIDIA a introduit un modèle hautement optimisé de type Nerf pour entrainer et rendre les champs lumineux computationnels : Instant-NGP. En tant que membre du programme NVIDIA Inception pour les start-ups, SmartPixels a signé un contrat de licence sur cette technologie.
Instant-NGP nous permet de former la primitive neuronale en quelques minutes et de la rendre à 60 images par seconde. Instant-NGP tire parti des dernières avancées des GPU NVIDIA pour des performances optimales. Bien qu’optimal, Instant-NGP est un projet orienté recherche et ne fournit pas un pipeline complet de production 3D pour la distribution de contenu à grande échelle.
Etape 3 :
Configuration de rendu neuronal et «éditabilité »
SmartPixels a utilisé Unity pour créer une plateforme de rendu et d'expérience ‘cloud’ adaptée à la mode et au luxe. Pour tirer parti d’années de développement existant, et d’intégration dans l’écosystème de la mode, nous avons intégré la possibilité de rendre une primitive NVIDIA NGP dans le moteur Unity 3D.
En intégrant les Light Fields dans Unity, nous pouvons créer des rendus hybrides, en mélangeant des arrière-plans 3D, des produits en champ de lumière ou vice-versa.
Les principales caractéristiques de cette intégration sont les suivantes :
• Capture complètement automatique du light field, comme mentionné ci-dessus, optimisation et formation grâce à NVIDIA NGP.
• Import en un clic dans l'éditeur Unity.
• Occlusion ( le champ de lumière cache les objets derrière lui et est caché par l'avant-plan ).
• Ombres: le light field projette des ombres.
• Transparence.
• Réflexions: le champ de lumière projette des réflexions.
1) Améliorer l'attrait visuel et l'interactivité de votre catalogue e-commerce
Les light-fields offrent la vue "omnidirectionnelle" (mouvement de caméra libre) de "3D" mais pas la modification. C'est une photographie intégrale, la photo de toutes les photos, vous pouvez faire tourner l'objet dans tous les sens, et zoomer sur les parties de votre choix.
Dans le contexte du e-commerce, le rendu light-fields peut être utilisé pour créer des packshots produits plus réalistes et interactifs pour les catalogues en ligne. Par exemple, un revendeur pourrait utiliser la technologie de rendu light-fields pour capturer des images 3D détaillées d'un produit sous différents angles, permettant aux clients de visualiser le produit à 360° et de zoomer sur des détails subtils qui ne sont pas toujours visibles dans une image 2D traditionnelle.
2) Amélioration du réalisme et de l'interactivité des expériences de Réalité Augmentée
Le rendu light-fields peut être utilisé pour créer des expériences de Réalité Augmentée plus réalistes et immersives. Par exemple, le rendu light-fields peut être utilisé pour afficher des objets virtuels en Réalité Augmentée avec un éclairage et des reflets réalistes, les faisant ressembler à des parties du monde réel. Le rendu de champ lumineux peut également permettre aux utilisateurs d'interagir avec des objets virtuels de manière plus naturelle, telle que le changement de mise au point d'une image pour voir différentes parties d'un objet plus clairement.
Les personnes s'interrogent également sur...
Lors de l'utilisation d'un ordinateur pour créer un light-fields, vous pouvez faire tourner l'objet digitalisé dans tous les sens, et zoomer sur différentes parties: "tout ressemble à de la 3D"il est donc facile de faire une comparaison/confusion avec les graphismes 3D traditionnels.
Examinons quelques similitudes et différences entre "images 3D traditionnelles" et "primitives graphiques neuronales" :
Images 3D | Primitives Graphiques Neuronales | |
Point de vue et caméra arbitraires : regardez librement dans l'espace. | Oui | Oui |
Composer avec d'autres objets, ajouter un arrière-plan, calculer la transparence, l'occlusion, les ombres et les réflexions. | Oui | Oui (Avancé!) |
La forme, les attributs des matières, les textures et les positions de la lumière doivent être modélisés individuellement et manuellement par les graphistes à l'aide d'outils tels que les scanners 3D et les scanners de matériaux. | Oui | Non. 100% automatique. |
La forme de l'objet peut être éditée. | Oui | Non |
Les couleurs et les matières peuvent être édités. | Oui | Non |
L'éclairage peut être édité. | Oui | Partiellement. |
L’asset est utilisable dans les mondes 3D tels que les jeux vidéo, les métavers, la CAO, etc. | Yes, increasingly. | Pas encore. |
En résumé, par rapport aux images 3D traditionnelles, les light-fields offrent la vue "omnidirectionnelle" (mouvement de caméra libre) de la "3D" mais pas son éditabilité.C'est une photographie intégrale, la photo de toutes les photos, mais ça reste juste une photo : facile à capturer, difficile à modifier.
Les neural graphics primitives ou les light-fields devraient être utilisés lorsque le projet répond aux conditions suivantes:
• Un échantillon physique du produit existe (commun dans la mode).
• Tout au long de la durée de vie du jumeau numérique visuel, le produit n'aura pas besoin d'être modifié :le produit est un article de collection permanent. La marque peut le capturer une fois et l'utiliser partout.
• La possibilité de présenter le produit avec un mouvement de caméra libre (manipuler et faire tourner 'en 3D') est souhaitable (par exemple, une image en mouvement sur les réseaux sociaux déclenche un taux de clic 7 fois supérieur à celui de la photo de produit statique).
• Le même produit doit être présenté dans une variété de fonds, de contextes, de résolutions et d'angles. Par exemple, en merchandising visuel ou lors de l'affichage de produits avec des contraintes d'image différentes (marketplaces en ligne avec des exigences de fond ou de rapport d'aspect différentes).
• L'asset visuel a une très longue durée de vie (archives, art et pièces de couture).
Dans toutes ces instances, SmartPixels déploie des solutions d'imagerie et de rendu basées sur le light-fields.
Neural Radiance Fields (NeRF) est un algorithme d'apprentissage automatique qui peut être utilisé pour concevoir des scènes 3D avec un éclairage et des réflexions réalistes.
Les avantages de l'utilisation Neural Radiance Fields pour les rendus de produits sont :
– Réalisme accru : le NeRF utilise un réseau neuronal pour apprendre les relations entre l'apparence d'une scène et la structure 3D des objets qu'elle contient, ce qui lui permet de générer des images 3D hautement réalistes à partir d'une seule image 2D ou d'une séquence d'images.
– Haute efficacité : le NeRF peut être formé à partir de grands ensembles de données, ce qui lui permet de traiter rapidement et avec précision de grandes quantités d'informations. Cela peut rendre le rendu 3D plus efficace, en particulier pour les scènes complexes ou volumineuses.
– Vitesse améliorée : le NeRF peut traiter les données en parallèle, ce qui le rend plus rapide que les techniques de rendu traditionnelles. Cela peut être particulièrement utile pour les applications de rendu en temps réel.
– Flexibilité accrue : le NeRF peut être formé pour s'adapter à différentes données d'entrée, ce qui lui permet d'être utilisé dans une large gamme d'applications de rendu 3D.
– Complexité réduite : le NeRF peut automatiser certains aspects des rendus 3D, tels que l'éclairage et l'ombrage, ce qui réduit la complexité du processus et permet aux artistes de se concentrer sur d'autres aspects de la scène.
