La technologie de synchronisation labiale AI d'Ubisoft pourrait avoir des applications autres que le jeu vidéo
NouvellesNous sommes sûrs que nous ne sommes pas seuls quand nous disons que lorsque quelqu'un mentionne l'IA dans les jeux, notre esprit saute immédiatement vers les PNJ et les ennemis; leurs mouvements, leurs réactions, leur bien, leur intelligence. Tout cela fait partie de l'IA d'un jeu.
Mais il s'avère que l'IA est bien plus que cela dans les jeux. Après une conversation avec Yves Jacques, responsable du projet de recherche technologique chez Ubisoft à La Forge, nous avons mieux compris comment l’intelligence artificielle est utilisée pour rendre le développement de jeux plus rapide et plus abordable, ainsi que pour améliorer la qualité immersive des jeux auxquels nous jouons..
Nous avons demandé à Jacquier de nous parler de certains des prototypes développés et utilisés par Ubisoft et La Forge pour le moment. Un projet propulsé par l'IA dont il était particulièrement excité de parler était Sound Matching. Ceci, il nous dit, ”prend le fichier wav directement des acteurs enregistrés et dirige l'animation faciale” des personnages en jeu.
Améliorer l'animation faciale
Sans l'IA, il existe plusieurs façons de faire de l'animation faciale, explique Jacquier. Une méthode est manuelle, le processus peut également être accéléré à l'aide de la capture de mouvement, et une autre consiste à décomposer le texte en phonèmes, ou unités de son distinctes. En utilisant ceux-ci, vous pouvez former différents mouvements des lèvres, enregistrer les voix des acteurs qui parlent, puis mapper la voix avec le phonème et les différentes poses de l'animation..
En plus de paraître épuisant, Jacquier nous dit qu’un gros problème avec l’utilisation de cette dernière méthode est qu’elle n’est surtout utile que pour l’anglais. “vous devez disposer d'énormes bases de données pour transformer du texte en phonèmes et toutes ne sont pas fiables”. Encore plus que ça, ”vous n'êtes pas en mesure de transformer des choses comme les aboiements et la toux, des choses comme ça”.
“Nous obtenons une qualité accrue, un sentiment d'immersion accru pour le joueur et cela a permis de réduire les coûts d'animation localisés prévus d'environ 30%.“
Yves Jacquier
Cette limitation crée des problèmes lorsque vous essayez de localiser des jeux dans des langues autres que l'anglais: “nous avions beaucoup de travail à faire lorsque nous voulions localiser nos jeux, car nous enregistrons notre niveau de base en anglais, puis nous enregistrons toutes les autres langues, puis nous devons synchroniser les phrases pour synchroniser chaque phrase avec l'animation anglaise.”.
Non seulement cela “créer une expérience de qualité inférieure, un sentiment d'immersion moindre si vous jouez dans une autre langue que l'anglais”, cela coûte aussi beaucoup puisque vous êtes “demander aux gens de passer beaucoup de temps à aligner et à synchroniser manuellement des phrases étrangères avec des animations en anglais”.
Lorsque nous entendons parler de la quantité de travail qui doit être consacré à quelque chose d'aussi simple que le mouvement des lèvres d'un avatar, nous ne sommes pas surpris que Jacquier soit si enthousiasmé par les capacités de son intelligence artificielle..
Coût inférieur, qualité supérieure
“Cela fonctionne avec des ondes sonores,” dit-il, ce qui veut dire “fonctionne dans toutes les langues et crée directement l'animation labiale”. Ce qui en résulte est “une qualité accrue, un sentiment d'immersion accru pour le joueur et une réduction d'environ 30% des coûts d'animation localisés attendus”.
Selon Jacquier, quand AI vous permet de réaliser des économies de temps et d’argent considérables au cours du processus de développement,, “nous pouvons mettre [ces efforts] ailleurs pour améliorer la qualité du jeu”.
Nous obtenons donc des mouvements faciaux beaucoup plus précis lorsque les personnages du jeu parlent. Lors des parties, nous avons tous remarqué qu'il y a des moments où ce que dit un personnage ne correspond pas du tout à ses mouvements dans les lèvres. Cela ne ruine en aucun cas le jeu, et ce n’est qu’un peu agaçant, comme peut l’être un tableau légèrement décentré. Mais cela a un impact sur l'immersion qu'Ubisoft voudrait éviter.
Branchement dans d'autres domaines
Ce qui est vraiment intéressant, c’est que le travail effectué par Ubisoft avec ce prototype est également utilisé par d’autres chercheurs dans d’autres domaines, notamment la médecine, car ils ont découvert qu’ils partageaient les mêmes défis..
“je ne savais pas,” Jacquier continue, “mais en médecine, ils utilisent des avatars pour traiter les patients atteints de schizophrénie ou d'anxiété”. Jacquier n'a pas tardé à nous dire qu'il n'était en aucun cas un spécialiste du domaine, mais il croit comprendre que les avatars qui ressemblent à des jeux vidéo sont utilisés pour “aider les patients à faire face à la schizophrénie ou à la peur de l’anxiété”.
Là où les domaines de la médecine et des jeux se rencontrent, c’est dans le besoin des avatars d’avoir une animation faciale crédible.. “Si vous commencez à ne pas croire en une situation, commencez à ne pas croire que vous parlez en réalité à l'avatar, le traitement échouera.,” Jacquier ajoute.
”Si vous commencez à ne pas croire en une situation, commencez à ne pas croire que vous parlez en réalité à l'avatar, le traitement échouera.”
Yves Jacquier
Une grande partie du traitement repose sur la conversation avec un avatar, ce qui signifie que les patients vont se concentrer sur le mouvement des lèvres. Les chercheurs en médecine recherchent donc précisément cette partie du visage..
“Lorsque nous parlons à quelqu'un, une grande partie de notre attention va à la bouche, surtout quand il y a du bruit ou que vous essayez de vous concentrer,” dit Jacquier. ”Donc, si le mouvement des lèvres vous dit quelque chose de différent de ce que vous entendez, vous perdez la personne..”
Il nous dit que ceux qui travaillent sur des plans de traitement comme celui-ci ont manifesté beaucoup d'intérêt pour l'IA sur laquelle travaille Ubisoft., “en particulier Stéphane Guay, qui dirige des recherches à l'Institut de santé mentale qui essaie d'inclure davantage de technologies pour aider les patients, pas seulement des médicaments et des traitements réguliers existants“.
Pour le moment, Jacquier et son équipe tentent toujours de déterminer comment ils vont collaborer, mais on espère que quelle que soit la voie empruntée “améliorer nos jeux et leur traitement”.
- E3 est la plus grande exposition au monde consacrée à l'industrie du jeu vidéo, remplie de jeux, de consoles et de matériel de jeu les plus récents et les plus performants. TechRadar est en direct de Los Angeles toute la semaine pour vous faire découvrir les dernières nouveautés de la salle d'exposition. Rendez-vous sur notre hub E3 2018 dédié pour découvrir toutes les nouvelles versions, ainsi que sur l'analyse de classe mondiale et les conseils d'achat de TechRadar concernant les jeux de l'année prochaine..