LucidDreamer est un pipeline de génération de scènes 3D sans domaine, qui tire pleinement parti du pouvoir des modèles génératifs à grande échelle basés sur la diffusion. Il comprend deux étapes alternées : le Rêve et l'Alignement. Le système génère des images cohérentes sur plusieurs vues à partir des entrées, en utilisant un nuage de points comme guide géométrique pour chaque génération d'image. Les images sont ensuite transférées dans l'espace 3D avec des cartes de profondeur estimées, composant de nouveaux points. Ensuite, un algorithme d'alignement est proposé pour intégrer harmonieusement les portions de nouvelles scènes 3D générées. LucidDreamer produit des splats gaussiens très détaillés par rapport aux méthodes précédentes de génération de scènes 3D, sans contrainte sur le domaine de la scène cible.