L’annonce de l’Apple Vision Pro, le premier casque de Réalité Virtuelle (VR) et de Réalité Augmentée (AR) d’Apple, lors de la WWDC 2023, a marqué une étape importante pour l’UX/UI Design. Ces technologies offrent une nouvelle manière d’interagir avec la technologie, à la fois immersive et innovante. Cependant, cette innovation apporte également son lot de défis et d’opportunités pour les designers UX/UI, à l’heure du Metaverse. Mais pour les designers, comment créer les archétypes du Metaverse, au travers du spatial computing et de la réalité mixte?
Le Spatial computing, késako?
Le spatial computing est une forme avancée de calcul informatique qui intègre l’espace physique dans le processus de traitement des données. Au lieu de se limiter à des écrans 2D, le Spatial Computing permet aux utilisateurs d’interagir avec des données et des objets numériques dans un environnement 3D. Cela est rendu possible grâce à des technologies comme la réalité augmentée, la réalité virtuelle et la réalité mixte.
Pour comprendre ce qu’est plus précisément le spatial computing, il est intéressant de faire le parallèle avec la conception de jeux vidéos.
En cela, Jesse Schell : Auteur de « The Art of Game Design : A Book of Lenses » offre une perspective intéressante sur la conception d’expériences immersives. On peut également citer le film « Minority Report » de Steven Spielberg, qui se base sur l’œuvre de science fiction de Philip. K Dick, dans lequel Tom Cruise manipule un ordinateur avec les mains.
Un exemple d’interaction avec l’Apple Vision. Credits Apple.com
La conception de jeux vidéo et le spatial computing partagent des synergies fascinantes qui pourraient redéfinir les frontières du design interactif. Dans le développement de jeux, les concepteurs créent déjà des mondes immersifs en 3D qui réagissent en temps réel aux actions des joueurs. Le spatial computing pousse cette interactivité un cran plus loin en intégrant des éléments du monde réel, comme l’espace physique et les mouvements de l’utilisateur, dans l’expérience de jeu.
Avec l’Apple Vision, cette fusion entre les environnements virtuels et physiques offriraient aux designers de nouvelles opportunités pour créer des expériences encore plus immersives et engageantes. Par exemple, un utilisateur de site internet pourrait utiliser des gestes réels pour interagir avec des menus d’un site ou d’une application, ou même ressentir des sensations tactiles grâce à des dispositifs haptiques.
Cette convergence entre le spatial computing et la conception de jeux vidéo ouvre la voie à des expériences utilisateur plus riches, où la frontière entre le virtuel et le réel devient de plus en plus floue.
Un exemple de réalité Mixte avec l’Apple Vision Pro : Réalité augmentée + réalité virtuelle
Quelques principes Clés de l’UX/UI dans le Spatial Computing et la Réalité Mixte:
-
Immersion et Interaction :
Les conceptions doivent permettre une immersion totale dans l’environnement virtuel, en créant des interactions intuitives qui imitent les interactions du monde réel.
Les designers doivent envisager comment les utilisateurs utilisent leurs mains, leur voix et leur corps pour interagir avec l’interface. -
Ergonomie et Confort :
L’interface doit être conçue en tenant compte du confort physique de l’utilisateur, en minimisant la fatigue oculaire, le mal des transports et d’autres problèmes associés à la VR.
-
Accessibilité et Inclusion :
La conception doit être accessible à divers utilisateurs, y compris ceux qui ont des besoins spécifiques en matière de mobilité ou de vision.
-
Retour d’Information (Feedback) Haptique et Sonore :
Le feedback haptique et sonore peut ajouter une dimension supplémentaire à l’expérience, en rendant les interactions plus tangibles et réalistes.
-
Narration et Engagement Émotionnel :
La narration peut être intégrée de manière à guider et engager l’utilisateur dans l’expérience, créant ainsi une connexion émotionnelle.
Les Défis de l’UX Design pour la VR et AR
Un des plus grands défis pour les designers UX/UI travaillant avec la Réalité Virtuelle et la Réalité Augmentée est le manque de précédent. Il n’existe pas de conventions établies pour concevoir des interfaces utilisateur pour ces nouvelles technologies. Cela signifie que les UX/UI Designers doivent faire preuve de créativité et d’innovation dans leur approche. Également, le fait qu’Apple ait investi dans cette technologie lui donnera un statut de leader et de décideur si son produit rencontre le succès escompté. Comme souvent, quand Apple innove, à l’image de son Iphone, qui a révolutionné la manière d’utiliser nos téléphones, elle donne le “La” à toute l’industrie. La firme américaine aura donc une sacrée longueur d’avance en termes technologiques mais aussi en termes de design d’interface et d’expérience utilisateur.
Les icônes de l’Apple Vision feront 60 points de hauteur et 60 points de largeur.
Apple, dans ses ressources dédiées au designers d’interface, les encourage en substance à “ne pas tenter d’innover pour innover”. S’inspirer des interfaces que les utilisateurs connaissent déjà permet d’avoir des repères. Pour la taille des icônes sur l’Apple Vision, elles feront 60 points par 60 points. Apple, pour combiner icônes 3D et réalité mixte, propose de les décomposer en 3 couches successives, auxquelles une ombre portée sera appliquée. L’effet voulu sera satisfaisant et doux au regard.
Les icônes des applications de l’Apple vision se décomposeront en trois couches / layers
Le besoin de contenu de haute qualité
La qualité des expériences VR et AR dépend du contenu disponible pour elles. Les designers UX/UI devront donc travailler étroitement avec les créateurs de contenu pour garantir que les expériences qu’ils conçoivent sont engageantes et immersives. Le cahier des charges que fournira Apple servira de base pour créer des expériences immersives de qualité, pour fidéliser les clients et pour en attirer d’autres. La crédibilité du support étant engagée, il faudra frapper fort pour ne pas décevoir le public.
Il est déjà possible de savoir quelle application sera disponible pour l’Apple Vision directement sur l’Apple Store, dans les supports compatibles. L’application Night Sky, qui permet de repérer et nommer les étoiles, développe une application pour le casque d’Apple, selon les informations du site tech watchgeneration.
Les Opportunités du Design UX pour la VR et AR
Designer pour l’Apple Vision va demander aux designers un travail d’adaptation. Apple conseille de créer des design spécifiques qui vont s’adapter et se fondre dans le décor pour laisser la place à l’expérience utilisateur :en utilisant le glassmorphism. Cette pratique design tendance est apparue pour la première fois sur nos écrans de téléphones, laissant de côté la mode des icônes 3D.
Design roi en 2021, il s’est imposé par la suite et reste très populaire chez les Designers 3D, notamment sur la plateforme Figma, poids lourd de la création collaborative UX /UI Design.
Template de Glassmorphism By Saurabh kumar sur la plateforme Figma
Ce style laisse les icônes ainsi que certaines interfaces se fondre dans le décor et adopter un côté plus doux en devenant plus rondes et transparentes. L’interface met alors en valeur le texte, pour une meilleure visibilité, sans faire disparaître complètement la fenêtre.
Un niveau d’Immersion et d’Interactivité inédit
La VR et AR offrent un niveau d’immersion et d’interactivité qui n’est pas possible avec les interfaces traditionnelles. Cela peut conduire à des expériences utilisateur plus engageantes et mémorables.
A l’image des meilleurs films de science fiction, comme “Ready player One” co-produit et réalisé par Steven Spielberg, ce casque permettra à son utilisateur d’être en immersion totale dans un environnement numérique. Un monde à inventer à portée de main. Le pari d’Apple sera d’engager le public, en tout cas davantage que le Meta Quest de Mark Zukerberg, qui devait servir de porte d’entrée vers son Metaverse, projet mis au rebut car trop coûteux.
Le casque Meta Quest 3 du groupe de Mark Zukerberg. Credits : Meta
Interaction spatiale : Redéfinir la navigation et l’interaction
La réalité augmentée mélangée à la réalité virtuelle permettra aux utilisateurs d’interagir avec les données et l’information de manière inédite. En analysant comment les utilisateurs peuvent manipuler les objets virtuels dans un environnement physique, les UX/UI designers pourront créer des expériences d’interaction plus naturelles et fluides.
En quoi cela va changer les pratiques des Designers?
Design Graphique:
Le spatial computing, combiné avec des technologies comme l’Apple Vision Pro, pourrait ouvrir de nouvelles dimensions dans le design graphique. Imaginez pouvoir créer et manipuler des éléments graphiques dans un espace 3D immersif. Cela permettrait aux designers de visualiser leurs créations sous différents angles et dans différents contextes, offrant ainsi une toute nouvelle palette de possibilités créatives. Pouvoir créer des designs en immersion totale grâce à la Réalité Mixte pourrait permettre aux designers d’aller plus vite dans leur démarche créative, d’avoir plusieurs logiciels ouverts en même temps par exemple, ou de transposer plus facilement des projets d’un logiciel à l’autre.
Architecture d’Intérieur:
Pour les architectes d’intérieur, ces technologies pourraient être une aubaine. Les clients pourraient mettre un casque de réalité mixte et se promener virtuellement dans l’espace conçu, en faisant des ajustements en temps réel avec le designer. Cela permettrait non seulement une visualisation plus précise mais aussi une interaction client-designer beaucoup plus dynamique et collaborative.
Design Produit:
Dans le domaine du design produit, le spatial computing pourrait permettre de créer des prototypes virtuels extrêmement détaillés. Les designers pourraient ainsi tester la fonctionnalité et l’esthétique d’un produit dans un environnement virtuel avant même la création d’un prototype physique. Cela accélérerait le processus de design et réduirait les coûts de production.
Designers Freelance et Interaction Client:
Pour les designers freelance, ces technologies offrent une opportunité unique de se démarquer. Ils pourraient présenter leurs portfolios de manière immersive ou même tenir des réunions de clientèle dans un espace virtuel personnalisé. Cela pourrait grandement améliorer l’interaction avec les clients potentiels, leur permettant de « vivre » le design plutôt que de simplement le voir sur un écran.
Impact sur les Écoles de Design et la Formation en Ligne:
L’émergence du spatial computing et des technologies comme l’Apple Vision Pro ne manquera pas d’avoir un impact significatif sur les écoles de design, tant en ligne qu’en présentiel. Les curriculums devront s’adapter pour inclure des modules ou des cours entiers dédiés à la maîtrise de ces nouvelles technologies et méthodologies. Les écoles de design en ligne, déjà flexibles et adaptatives, pourraient être parmi les premières à intégrer ces compétences dans leur offre de formation. Cela permettrait aux étudiants de se familiariser avec des outils de design en réalité mixte, d’expérimenter la création de prototypes virtuels et de simuler des interactions client-designer dans un environnement virtuel. En somme, ces avancées technologiques pourraient non seulement enrichir les compétences des designers de demain mais aussi transformer radicalement la manière dont le design est enseigné et appris.
Enseignement dans le Metaverse:
L’idée d’enseigner le design dans le Metaverse ouvre un monde de possibilités pédagogiques. Imaginez un environnement d’apprentissage immersif où les étudiants peuvent non seulement écouter des conférences, mais aussi interagir avec des modèles 3D, collaborer en temps réel sur des projets de design dans un espace virtuel, ou même visiter des studios de design du monde entier sans quitter leur salle de classe virtuelle. Le Metaverse pourrait offrir une plateforme d’enseignement dynamique et interactive qui transcende les limitations géographiques et temporelles, permettant un accès plus équitable à l’éducation de qualité en design. Les écoles de design pourraient ainsi créer des campus virtuels où la frontière entre l’apprentissage théorique et l’application pratique s’estompe, offrant aux étudiants une expérience éducative véritablement holistique.
Accessibilité et inclusivité : Concevoir pour tous les utilisateurs
Cliquer avec les yeux, l’Apple Vision rend le geste possible. Credits : Apple
Alors que la réalité augmentée offre des possibilités passionnantes, les designers UX/UI doivent veiller à ce que ces expériences soient accessibles à tous les utilisateurs, y compris ceux ayant des besoins spécifiques. Une particularité du casque de réalité mixte d’Apple est que quand vous fixez une icône longuement, cela revient à cliquer sur cette même icône. Il en va de même pour le geste de cliquer, qui peut être remplacé par n’importe quel geste ou parole, quelle que soit la situation (mobilité réduite ou handicap).
Pour l’instant, Apple propose un pincement entre l’index et le pouce comme mouvement de clic, mais connaissant les ambitions de la firme, ce geste pourra être facilement modifiable.
Cela pourrait être une petite révolution pour les personnes en situation de handicap et leur donner un meilleur accès à ce monde numérique.
L’entreprise américaine explique la possibilité de cliquer de cette manière par ses 12 caméras, ses 5 capteurs et 6 micros. Les caméras internes filment votre œil et déterminent la zone que vous visualisez, tandis que les caméras externes vont détecter le geste que vous aurez prédéfini pour cliquer.
De Nouvelles Méthodes d’Interaction avec les Données
Apple proposera des outils collaboratifs avec son casque de Réalité Mixte. Credits : Apple
La Réalité Virtuelle et Réalité Augmentée peuvent également être utilisées pour créer de nouvelles manières d’interagir avec les données. Par exemple, la VR peut être utilisée pour créer des visualisations de données immersives qui permettent aux utilisateurs d’explorer les données d’une nouvelle manière. De son côté, la AR peut être utilisée pour superposer des informations sur le monde réel, ce qui peut être utile pour des tâches telles que la navigation ou la formation. Analyser des données en temps réel avec des infographies sera possible via l’interface des casques à réalité mixte, ce qui permettra aux designers d’ajuster leur travail en fonction des retours sur expérience des utilisateurs.
Utiliser de l’IA pour créer de l’UX / UI, est-ce à portée de main?
Est ce que le casque d’Apple pourrait intégrer de l’intelligence artificielle? Pour l’instant, la firme de Cupertino a été très vague sur le sujet lors de sa Keynote de Juin 2023. Le PDG d’Apple, Tim Cook, n’a alors pas mentionné une seule fois le terme “intelligence artificielle”, mais à utilisé le terme “machine learning”. Il se pourrait qu’Apple, qui a été très discrète sur le développement d’IAs, en intègre une surpuissante dans son casque de réalité mixte et nous intègre une IA dans l’utilisation journalière et en réalité augmentée dans tous ses produits et notamment dans l’Apple Vision. Toujours est-il que l’Iphone sera désormais capable de filmer en 3D pour regarder des vidéos filmées avec l’Iphone avec l’Apple Vision.
Dans son utilisation journalière, l’intelligence artificielle permettrait, entre autres, de “prédire” les mouvements des utilisateurs pour fluidifier le processus. Vous avez l’habitude de cligner des yeux avant de faire le geste “clic” ? Le casque le saura et son logiciel lancera l’action pour que la page se charge en amont et pour une expérience utilisateur optimale.
Voilà pourquoi Mark Zukerberg, au sein du Groupe Méta, regarde ces innovations d’un œil attentif, après le flop du Metaverse, timoré par le succès de son casque Meta Quest.
Créer des mondes virtuels de bout en bout, l’aspect philosophique
Des oasis virtuelles dans un Metaverse fictif. Credits Google Deepmind
Les possibilités de création de contenu, avec cette nouvelle technologie, sont infinies. A l’image d’une feuille blanche, en combinant interface virtuelle et réalité augmentée, les designers pourront créer des mondes complets à partir de ce support. Les experts UX/Ui (comme le youtubeur Underscore_) parlent déjà de l’Apple vision comme une révolution dans le sens ou, grâce à ce support, on pourra créer des villes entières sur le Metaverse (ou son équivalent Apple) à l’image de la ville de Las Vegas aux Etats Unis.
Explication : Las Vegas est une ville qui, sans la technologie et la volonté de l’homme, n’existerait pas. Située en plein désert, la ville subit régulièrement des températures de 40 degrés en été. Or, elle fonctionne comme une ville “classique”, possède des fontaines, un système électrique, d’assainissement et comptait plus de 600.000 habitants en 2021. Sans l’intervention de l’être humain, la ville n’existerait pas. Elle accueille pourtant près de 40 millions de touristes par an, qui viennent principalement profiter des casinos ainsi qu’un grand choix d’attractions touristiques et d’entertainment à l’américaine.
Comparer le Metaverse à Las Vegas
Le Metaverse, lieu totalement artificiel, pourrait être comparé à Las Vegas, car l’utilisateur s’y rendrait pour se divertir, faire des réunions business, ou pour visiter des musées virtuels, les possibilités sont donc énormes.
Également, le Metaverse, au travers de casques à réalité mixte, donnerait à l’utilisateur un statut de Demiurge (Le dieu créateur de l’univers, pour les platoniciens), tel un dieu créant son environnement au fur et à mesure de sa progression, comme dans un jeu vidéo.
Sur l’excellent site Doc.cc, nous découvrons un parallèle entre le Metaverse et l’incontournable livre d’Italo Calvino “Les villes invisibles”. Dans ce livre, discutent, Marco Polo (le globe trotteur vénitien) et Kublai Khan (empereur des Tartares) tous deux imaginaires. Marco Polo lui conte les villes qu’il a vues en rêve, dans le passé, le présent et le futur. Chaque ville, possédant un nom de femme, va cristalliser les rêves, la mémoire et les désirs de l’Humain, à l’image du Metaverse, qui va se créer au fur et à mesure que les designers le fabriqueront et que les utilisateurs l’arpenteront.
Conclusion
L’introduction de Apple Vision Pro est un jalon majeur pour l‘UX Design. La VR et AR offrent une nouvelle manière d’interagir avec la technologie, présentant à la fois des défis et des opportunités pour les designers UX. En faisant preuve de créativité et d’innovation, les designers UX peuvent utiliser ces technologies pour créer de nouvelles expériences utilisateur engageantes.
En somme, l’informatique spatiale (spatial computing) ouvre des possibilités passionnantes dans le domaine du design, en permettant une collaboration, une visualisation et une interaction plus poussées. Elle représente une nouvelle façon de penser et de travailler dans le design, qui est susceptible d’impacter de nombreux domaines allant des produits de consommation aux contenus divertissants, jusqu’aux expériences éducatives.
Liens utiles :
https://developer.apple.com/videos/play/wwdc2023/10072
https://www.doc.cc/articles/the-internet-is-made-of-invisible-cities-what-can
https://www.ecolelafontaine.fr/fiche-metier/designer-3d
https://fr.wikipedia.org/wiki/Jesse_Schell
https://www.apple.com/fr/apple-events/
https://www.figma.com/community/file/1001027739810154285/Glassmorphism_All-in-one
