Comment se lancer dans le Métaverse ?

En 2022, Facebook a changé son nom pour Meta, ce qui renforce le terme à la mode de Métaverse qui regroupe des technologies telles que la réalité virtuelle, la réalité augmentée, les jumeaux numériques et d'autres technologies logicielles et matérielles pour créer de nouveaux usages et interactions entre les différentes réalités.

De nombreuses marques ont investi des sommes considérables dans des startups telles que The Sandbox, qui réinventent des solutions très similaires à des projets tels que Second World, qui existaient déjà il y a 20 ans et ont disparu en raison de la nécessité d'offrir une expérience utilisateur satisfaisante. Les utilisateurs doivent avoir un intérêt à se connecter et à consacrer du temps aux plateformes, comme l'a parfaitement compris Roblox avec sa communauté de "makers" ou Microsoft en acquérant des années d'expérience de Blizzard.

Un voyage pragmatique

Comment une marque peut-elle se lancer dans le Métaverse alors que les technologies évoluent chaque année et que le coût de conception d'un jeu vidéo ou d'un film d'animation peut atteindre plusieurs centaines de milliers d'euros (l'équivalent du budget d'un court métrage) ?

La clé est de rester pragmatique ! L'innovation doit être considérée comme un voyage à travers une succession de petits projets sur lesquels il faut capitaliser des actifs et des compétences tout en obtenant des retours sur investissement marketing.

Il est important de comprendre qu'en 2023, rien n'est encore normalisé dans le domaine :

• Les lentilles et autres capteurs matériels évoluent chaque année pour améliorer l'immersion, et l'idéal serait de ne pas avoir besoin de casques ou de lunettes.
• La 3D de qualité, qui donne un sentiment de réalité, nécessite des machines puissantes et donc coûteuses pour la numérisation, la conception et la restitution.
• L'intelligence artificielle progresse rapidement et permet des avancées technologiques majeures.

Etonnement, faire marcher un avatar d'un point A à un point B (ce qui devrait être le B-A-BA des jeux vidéo) nécessite un développement spécifique !

Cependant, il est possible d'avancer sur le sujet du Métaverse dans différentes verticales métier sans pour autant surinvestir en trouvant des compromis adéquats.

Mais quel intérêt de se lancer ?

C'est le dilème de l'innovateur ! En 2002, je travaillais sur le sujet du eCommerce. 20 ans plus tard, avec le COVID, certaines marques se posent encore la question quand en même temps de nombreuses enseignes font faillite.

Les premier qui se lancent essuient les plâtres mais gagnent des parts de marché sur un terrain vierge. D'ou l'importance d'aller chercher de petites victoires permetttant la capitaliser sur une expertise qui sera rentabilisée à plus long terme.

Aujourd'hui il est raisonnable de proposer des visites virtuelles dans l'immobilier pour accélélerer le processus de vente, réaliser des formations à distance, etc… Il est bien plus complexe et aléatoire de construire le double numérique parfait d'une usine.

La démo

Créer un lieux de marque

La première étape pour une marque qui souhaite se lancer dans le Métaverse consiste à numériser son lieu physique pour que les utilisateurs puissent y vivre une expérience. Cela peut être un local professionnel, une boutique, une usine ou même un objet volumineux tel qu'un véhicule ou une pièce de machinerie.

Avec une simple caméra 360° et un petit abonnement, Matterport permet de numériser un lieu qui peut être visité à la manière de Google Maps, depuis un navigateur web ou un casque de réalité virtuelle. L'énorme avantage de cette approche est que l'utilisateur peut visualiser des photos de très bonne qualité sans avoir à modéliser en 3D les centaines d'objets de l'environnement.

En utilisant la fonctionnalité standard de partage de capture 3D de Matterport, il est possible de rajouter des points d'intérêts qui redirigent les utilisateurs vers des vidéos ou des articles, similaire à la page d'accueil d'un site web. Pour seulement quelques centaines d'euros (et un peu de temps), le lieu physique de la marque devient le point d'entrée vers le Métaverse.

Des jumeaux numériques

Matterport offre aux développeurs un kit de développement logiciel (SDK) permettant de créer des interactions dans leur environnement 3D. Le moteur ThreeJS est utilisé pour l'environnement web, ce qui permet de :

1. Déclencher des effets et des actions intelligentes, comme allumer ou éteindre une lampe en cliquant sur un point d'intérêt dans l'environnement 3D. Il est possible de déclencher une requête HTTP vers une centrale domotique pour réaliser cette action.
2. Intégrer des objets 3D de qualité pour offrir une expérience immersive.
   Dans la vidéo de démonstration, la fenêtre de Chat SAP expose son API, permettant de vocaliser le texte et d'animer l'avatar pour commander du café.

Injecter une IFrame

Avec ThreeJS, il est possible d'utiliser le composant CSS3DRenderer pour insérer des éléments HTML, tels qu'une IFrame, dans une scène Matterport.

Cette fonctionnalité permet de placer un tableau de bord, un PDF, une vidéo ou même un flux de camera à l'emplacement d'un écran de télévision dans la scène. Ainsi, les utilisateurs peuvent interagir avec ces éléments sans quitter l'environnement 3D, ce qui renforce l'immersion et la convivialité de l'expérience.

Injecter un Objet 3D

Il est possible de positionner un objet 3D, tel que ce moteur, à l'endroit exact où il se trouvait lors de la capture. Toutefois, la principale difficulté réside dans la nécessité d'avoir un modèle 3D texturé correspondant.
Cette approche permet de parler de "jumeau numérique" et si l'objet réel est "connecté", il devient possible :

• Afficher des données et animer l'objet virtuel en fonction du monde réel.
• Interagir avec l'objet virtuel et répercuter les actions dans le monde réel.

Injecter un Avatar

Un avatar est un objet 3D complexe que l'on peut animer et déplacer dans la scène à la manière d'un personnage de jeu vidéo. Avec ReadyPlayerMe, un service gratuit, il est possible de créer son propre avatar avec un niveau de personnalisation relativement poussé.

L'avantage majeur de cette approche est que le personnage possède déjà un squelette qui peut être animé facilement avec Adobe Mixamo et des MorphTarget Influence pour une synchronisation labiale fluide, sans devoir passer par un modeleur 3D complexe.

Voici un exemple de code permettant d'importer l'avatar dans THREEJS en suivant le format de module du SDK de Matterport. Cependant, en 2023, il est encore nécessaire de coder beaucoup d'éléments pour simplement déplacer le personnage d'un point A à un point B avec des animations fluides. Cette tâche est complexe et ne sera pas abordée en détail dans cet article.

Une voix de marque

Les hyperscalers tels que Microsoft ou Google proposent des technologies de synthèse vocale permettant de vocaliser du texte dans n’importe quelle langue. Ces services fournissent un flux audio ainsi que des indications de synchronisation labiale, appelées VISEME.

Les balises SSML peuvent être utilisées dans le texte pour préciser des émotions et ajouter d'autres effets sonores afin de renforcer le réalisme des voix. Une astuce consiste à utiliser la balise SSML Bookmark pour déclencher des actions pendant la vocalisation, telles que des gestes, le déplacement de l'avatar ou de la caméra. Ainsi, le texte devient le script de l'expérience.

En outre, Microsoft propose de créer des voix personnalisées. Le principe est de créer un modèle de voix à partir de 200 échantillons de quelques secondes pour créer une "voix de marque". Le processus est très encadré afin d'éviter les usurpations d'identité, car la voix est tellement réaliste qu'elle peut être utilisée pour tromper les gens.

Architecture

L'architecture de la démo est très simple: c'est une application web classique en Bootstrap/jQuery (oui j'ai les choses simples)

• la partie front intègre une IFrame et le SDK de Matterport
• la partie back tourne sur Node-RED (outil de low-code) et stock les données dans AirTable.

Node-RED joue le rôle de middleware en exposant des APIs pour récupérer les données de Text2Speech et interroger les APIs de Microsoft. Dans cet exemple le retour de l'API e st mis en cache.

Côté SAP, une librairie JavaScript intègre un composant dans la page qui communique directement avec SAP BTP pour passer l'ordre à S/4HANA. Un webhook permet de récupérer le texte du Webchat pour le vocaliser par l'avatar.

Plusieurs cas d'usage

Avec les éléments de base que nous venons de de décrire, à savoir un lieux, un avatar et une voix de marque plusieurs scénarios sont envisageables. (dans l'idéal il faudrait commencer par un atelier innovation).

Live Shopping/Streaming

Le LiveShopping consiste à filmer un conseiller de vente présentant des produits en live depuis un lieu comme une boutique.

• En 2020, durant le COVID, le Louvre a rassemblé 380.000 personnes la première minute d'un live !
• Avec du recule, le Printemps explique que 2/3 des vues sur ses contenus se font en replay. Les contenus sont scriptés et deviennent des assets marketing réutilisables.

Imaginez maintenant que la vidéo soit tournée depuis une boutique virtuelle, avec un avatar de marque scripté pour présenter des contenus 3D de qualité.

Ou même que les utilisateurs puissent interragir avec l'avatar depuis le site de la marque. Visiter la boutique, regarder les produits disponibles …

Recrutement et Formation

Dans le milieu médical,

• Le risque médical lors d'une opération chirurgicale augmente si le patient est stressé.
• Lors d'un rendez-vous dans un lieux inconnu les gens ont tendance regarder le parcours sur Google Maps pour éviter les mauvaises surprises et augmenter leur stress.

Imaginez maintenant que le patient puissent effectuer la visite de l'hopital la veille. Vérifier ou se trouve l'ascenseur, discuter avec un avatar qui va lui rappeler, a toute heure, les conseils du médecin.

Take Away

Comme vous pouvez le constater avec les mêmes éléments de départ il est possible de construire des cas d'usages très différents qui pourront ensuite évoluer vers des scénarios plus complexes.

1. Le métaverse est un sujet qui va boulverser notre économie de la même manière que le mobile a changé nos comportements au quotidien.
2. Il implique de nouveaux métiers liés à l'intelligence artificielle, l'internet des objets, les contenus numériques qu'il est important de comprendre aujourd'hui afin de prendre les bonnes décisions demain.
3. Il n'est pas necessaire de depenser des fortunes pour suivre les courbes du Gartner, néanmoins il est important d'avoir une compréhension de ce sujet via des initiatives pragmatiques sur le terrain.