Crédit image: Dirac Research

Le son surround est de l'histoire. Cela avait peut-être été considéré comme étant à la pointe de la technologie il y a une décennie, mais avec la majorité de la musique et des vidéos regardées sur les téléphones mobiles, la bataille est lancée pour l'audio….

Dirac Research, DTS, Dolby et THX ont conçu les technologies audio immersives ou spatiales pour les casques de réalité virtuelle (VR), mais qui peut ignorer les 2,5 milliards de smartphones du monde? La course est lancée pour produire le format définitif pour l'audio 3D.

Quel est l'audio immersif?

Conçu principalement pour la réalité virtuelle, mais également pour les appareils mobiles, l'audio immersif comporte trois parties..

Le premier est des canaux; les cinémas à domicile utilisent un système 5.1 pour gérer les éléments avant, gauche, droit, arrière gauche, arrière droite et subwoofer, et le son immersif est basé initialement sur le même cadre. La seule différence est que maintenant, il peut imiter un tableau 11.1 ou supérieur.

La soundlab Fraunhofer pour la reproduction immersive de canaux | Crédit: Fraunhofer IIS

La deuxième partie de l'audio immersif est ambisonics.

“Les signaux Ambisonic sont des éléments audio basés sur une scène qui décrivent non pas des sources individuelles (comme des formats basés sur un canal ou sur des objets), mais plutôt le champ sonore dans son ensemble à partir d'un point de l'espace.,” déclare Julien Robilliard, chef de produit chez FraIunhofer IIS, qui a inventé les codecs mp3 et AAC.

Un son immersif peut être produit à l’aide de la fonction de transfert de tête (HRTF), dans laquelle les microphones stéréo binauraux sont placés dans les oreilles d’un mannequin et les sons externes enregistrés pour créer un profil «d’impression de tête» (à l’avenir, nous pourrions tous avoir son personnalisé à la forme de notre tête et de notre visage).

Cependant, le son binaural n’est qu’un son stéréo intelligent et convient mieux aux casques. Pour les véritables enregistrements audio «ambisoniques» à 360 degrés adaptés aux haut-parleurs, les microphones capturent l'audio à partir de quatre positions différentes..

La troisième partie de l'audio immersif est des objets audio.

Un objet audio est une piste mono accompagnée de métadonnées qui spécifient la position exacte de ce son.. “Avec VR, vous voulez que les sons qui vous plongent dans la scène puissent être reproduits de n'importe quelle direction.,” dit Robilliard.

Pourquoi le son immersif est-il important??

“Dans toute expérience de contenu immersif, le son joue un rôle tout aussi important - et souvent négligé - que les éléments visuels transportant le spectateur dans l’action ", déclare Canaan Rubin, directeur de la production et du contenu de la société de production VR and AR Jaunt.

Il utilise des microphones ambisoniques montés sur l’ensemble pour capter le son de manière authentique. "Lors de la lecture de nos contenus 360, des technologies audio telles que Dolby Atmos for VR, DTS Headphone: X et la nouvelle version récemment dévoilée de Dirac VR offrent tous des formats audio exclusifs optimisés par les HRTF (fonctions de transfert liées à la tête) pour Expérience sonore 3D ", dit Rubin.

Pourquoi le HRTF est-il si important??

"Sans ce son, les sons au casque ne peuvent pas restituer avec précision les sources sonores qui proviennent du haut, du bas, de l'avant ou de l'arrière du sujet, ce qui limite votre expérience au plan gauche-droite", explique Rubin. "Cela peut être dû à la proximité des haut-parleurs du casque avec votre tympan, ce qui annule les effets physiques et psychologiques de l'audition du son dans une pièce."

HRTF joue un rôle essentiel dans la production d'un son immersif | Crédit: Dirac Research

Cependant, il existe différentes technologies de rendu et de traitement très importantes pour la prise en charge audio immersive sur des périphériques - et chacune a ses propres points forts..

Dirac VR expliqué

Bien que la plupart d’entre nous connaissent Dolby, DTS et THX, la société de son suédoise Dirac Research est une société relativement petite mais en pleine croissance..

Tout juste après avoir intégré son technologie dans le haut-parleur intelligent Mi AI de Xiaomi au début de 2018, Dirac a utilisé le récent MWC pour donner à TechRadar une démonstration de la deuxième génération de sa technologie Dirac VR pour casques d'écoute..

Il présente un son provenant de toutes les directions d’une sphère, mais il se caractérise par le fait qu’il bouge lorsque vous bougez la tête. Ceci est crucial car si vous portez un casque VR, vous avez besoin que le son reste au même endroit, ce qui signifie que tout dans un mix change de position en temps réel..

Il s’agit d’un positionnement dynamique, qui crée une sphère audio à 360 degrés dans laquelle le son se déplace librement dans toutes les directions. C'est incroyablement impressionnant.

Il peut être utilisé, par exemple, pour créer une scène sonore dans laquelle le groupe que vous écoutez semble être devant vous. Mais lorsque vous tournez la tête du côté droit, votre oreille gauche devient plus forte. Si vous inclinez la tête vers le haut, le son se déplace vers le bas dans le mixage. Il peut également être utilisé pour imiter l'expérience d'être dans un cinéma.

Le Dirac VR de deuxième génération offre un positionnement dynamique | Crédit: Dirac Research

“En fixant les sources sonores dans le plan horizontal, les environnements virtuels tels que les salles de cinéma peuvent être recréés avec une précision extrême, car l'utilisateur final et les sources audio restent à des emplacements statiques.,” Lars Isaksson, directeur général de la recherche à Dirac et directeur commercial de AR / VR.

Isaksson continue: “Notre seconde génération, Dirac VR, place toutefois chaque utilisateur au centre d'une "sphère audio", ce qui permet aux utilisateurs de faire l'expérience, par exemple, du son du vent qui tourbillonne autour de la tête ou de l'avion qui arrive et qui repart macadam.”

Cependant, le plus important, Dirac VR a un faible encombrement en processeur et en mémoire, de sorte qu’il fonctionne bien dans les petits appareils comme les téléphones..

"Bien que la technologie de Dirac soit moins connue, elle promet des performances de processeur extrêmement efficaces compte tenu du traitement HRTF et du moteur de réverbération qu’elle contient", déclare Rubin..

Son pour les joueurs

Lancé au MWC 2018, DTS Headphone: X 2.0 virtualise le son stéréo et le transforme en son surround..

Il a été conçu pour les joueurs. La nouvelle version inclut des repères de proximité et la prise en charge de l'audio basé sur les canaux, les scènes et les objets..

DTS propose également DTS: X Ultra, qui prend en charge les objets ambisonics et audio, et peut être écouté de manière critique par le biais de haut-parleurs ou d’écouteurs; il est destiné aux jeux VR et AR.

"Ce qui est unique avec les casques DTS: X 2.0 est la façon dont nous avons écrit les algorithmes, personnalisé le HRTF et utilisé notre vaste bibliothèque de courbes de réglage de plus de 400 paires d'écouteurs.,” déclare Rachel Cruz, directrice du marketing produit pour mobile et VR / AR chez Xperi, propriétaire de la marque DTS. “Ils donnent un avantage concurrentiel car parfois, c'est le signal audio qui indique à vos yeux où regarder, et vous les obtenez souvent avant un signal visuel..”

C'est aussi une scène sonore hautement personnalisée. «DTS: X permet d’amplifier manuellement le son d’objets individuels si vous avez des difficultés à entendre un objet donné, tel que le dialogue, par rapport au reste de la scène sonore», déclare Rubin..

Dolby Atmos pour VR, MPEG-H et Cingo

Dolby Atmos est techniquement difficile à cerner, car Dolby ne rend pas ses technologies publiques..

Bien qu'il soit plus orienté vers le son surround traditionnel et le son de cinéma, Dolby Atmos for VR traite également du son spatial. "Atmos propose l'auralisation et la spatialisation de 128 objets simultanément", explique Rubin.

Plantronics rend les écouteurs compatibles avec Dolby Atmos | Crédit: Plantronics

L'Allemand Fraunhofer IIS, connu pour le mp3, dispose désormais d'un conteneur pour le traitement de l'audio immersif; Audio MPEG-H. Bien que le «H» ne représente rien en particulier, considérez-le comme signifiant hauteur.

“Ce codec prend en charge la diffusion de chaînes, d'objets audio et de sons ambisonics sur les téléviseurs, les barres de son, ainsi que sur les appareils mobiles et VR.,” déclare Julien Robilliard, chef de produit chez Fraunhofer IIS.

Le MPEG-H est utilisé en Corée du Sud dans le cadre d'émissions terrestres 4K depuis mai 2017, et les téléviseurs Samsung en vente sur place peuvent le décoder. THX et Qualcomm viennent de faire la démonstration de sa plate-forme THX Spatial Audio utilisant MPEG-H.

Cingo, une technologie de post-traitement, offre une reproduction authentique et réaliste de la scène sonore 3D au casque | Crédit: Fraunhofer IIS

Alors, que se passe-t-il lorsqu'un flux binaire MPEG-H arrive dans un casque? “C'est là que Cingo entre en jeu,” dit Robilliard. “C'est un moteur de rendu binaural qui incite le cerveau à penser que les sons vont de l'extérieur du casque..“

Cependant, alors que Cingo prend en charge le rendu de contenu audio 3D totalement immersif avec des formats qui ajoutent une dimension de hauteur, c'est MPEG-H qui a le plus grand avenir. “MPEG-H est notre activité principale et c’est le codec qui permet à toutes ces technologies - Dirac, Atmos, Cingo et DTS - d’exister.,” dit Robilliard.

MPEG-H est actuellement le seul codec spécifié par les directives du VR Industry Forum, mais ce n'est pas uniquement pour la réalité virtuelle; il peut prendre un mono, stéréo, binaural, 5.1, 11.1, jusqu’à un signal audio immersif dynamique vers tout appareil compatible.

Bien qu'ils n'entrent probablement pas dans le grand public avant que les casques de réalité virtuelle commencent à se vendre en plus grand nombre, les formats audio immersifs ne représentent que la moitié de l'histoire, le MPEG-H étant destiné à jouer un rôle crucial. Robilliard dit: “Si vous ne recevez pas les signaux dans votre maison, inutile de faire de la magie.”

Cet article a été mis à jour, après quelques éclaircissements de Fraunhofer IIS.

  • VR de nouvelle génération: c'est le contrôle de votre HTC Vive Pro