Nous avons aujourd’hui décidé de nous intéresser au son dans les expériences de XR. Même si depuis des années ce sens est mieux pris en compte, il reste parfois mis au second plan dans les expériences immersives Nous avons donc demandé à Pierre-Marie Blind, directeur du studio Bande sonore, de nous éclairer sur le sujet. D’emblée, Pierre-Marie a tenu à préciser qu’il se définit comme un « audio designer » plutôt qu’un « sound designer ». Cette distinction sémantique est cruciale pour lui, car elle lui permet de s’éloigner de la production basique de bruitages pour embrasser l’expérience dans sa globalité.
Des chercheurs de l'Université de Pennsylvanie ont développé SmartDJ, un outil d'édition audio basé sur l'intelligence artificielle qui permet de modifier des environnements sonores immersifs à partir d'instructions simples en langage naturel. Il fonctionne en stéréo, préservant ainsi les indices spatiaux essentiels à une expérience immersive. L'outil est également interprétable : chaque étape de modification est visible et modifiable par l'utilisateur. Pour fonctionner, SmartDJ combine un modèle de langage pour comprendre les instructions et un modèle de diffusion pour appliquer les changements audio. Ses applications potentielles incluent la réalité virtuelle, les jeux vidéo ou la conception sonore.
Le groupe MPEG Audio a récemment finalisé le standard MPEG-I pour l'audio immersif, une nouvelle norme pour les médias immersifs. Ce standard permet des expériences audio réalistes en réalité virtuelle et augmentée. La norme (ISO/IEC 23090-4) et le logiciel de référence (ISO/IEC 23090-34) prennent en charge la navigation à six degrés de liberté (6DoF), un rendu avancé, ainsi qu'un stockage et un streaming efficaces.
L’engouement pour les lunettes connectées (sans écran) semble devenir un peu fou ces derniers mois. La présentation des Ray-Ban Meta en 2023 et, depuis, la confirmation de leur succès par EssilorLuxottica a enflammé les constructeurs qui veulent tous s’engouffrer dans cette voie. On peut évidemment se poser la question de la taille réelle du marché, mais je vous propose de nous concentrer dans cet article sur un autre point, probablement plus intéressant pour les créateurs de contenus en RA : allons-nous suivre une résurrection de la réalité augmentée sonore ?
Un rapprochement intéressant entre Niantic et Sony pour améliorer l'utilisation du son dans les expériences de réalité augmentée géolocalisées de l'éditeur
Un article intéressant sur le développement des wearables comme chevaux de Troie des lunettes de réalité augmentée
C'est au tour de Razer de s'engager dans le marché des lunettes "augmentées" qui, sans aller jusqu'à de la RA, propose des enceintes intégrées
Marz Brewing Company propose un packaging utilisant la réalité augmentée pour produire de la musique
CuteCircuit présente à Londres un vêtement permettant de transformer les son en sensations haptiques. Cette technologie à destination des malentendants pourrait également être utilisée pour développer l'immersion
Les produits de l'entreprise 5th Dimension permettent d'améliorer la réception des sons, un secteur plein de promesses pour la réalité augmentée
Des nouvelles des Frames de Bose. Elles ne font pas encore de la réalité augmentée mais au moins le son est bon !
Bose a présenté un démonstrateur intéressant au SXSW qui utilise l’environnement pour envoyer des informations sonores à l'utilisateur
Une partie de l'offre d'Apple en RA pourrait venir des algorithmes de reconnaissance de Shazam
Donner vie à un tatouage avec Skin Motion
Un travail de recherche intéressant sur l'utilisation du son dans la réalité augmentée mobile.
Doppler Labs propose un dispositif pour modifier les sons perçus
Thèse de doctorat de Fatima-Zahra Azough
EyeRing est un projet du MIT permettant de "voir" et de décrire son environnement. Il se range dans la catégorie assez discrète de la RA sonore.
String nous présente une application artistique utilisant le son et la vision