Haptic Feedback vous aide à savoir quand vous avez tapé sur une touche de votre téléphone avec une petite impulsion rassurante. Cela vous donne l'impression de tirer une partie dans Call of Duty avec une courte secousse brusque… et vous permet maintenant de ressentir le poids et la pression de la levée et de la coupe du tissu stomacal.

Nous sommes de grands adeptes des applications de retour haptique qui ajoutent une dimension sensorielle tactile aux expériences de réalité virtuelle. Ainsi, lorsque nous avons appris qu'il existait une expérience de réalité virtuelle chirurgicale au Forum sur l'éducation et les compétences (GESF) auquel nous participions à Dubaï, était avec un sentiment d'excitation palpable que nous nous sommes dirigés vers la concession Fundamental VR.

Avec son outil de formation à la chirurgie, la chirurgie fondamentale, Fundamental VR a réussi à créer le retour haptique le plus viscéral que nous ayons jamais connu. Une fois que vous êtes attaché à un casque VR, vous recevez des baguettes de contrôle correspondant aux bras mécaniques qui apparaissent devant vous à l'écran..

Pour l’expérience que nous avons essayée, les baguettes contrôlaient un ensemble de pinces et un outil de cautérisation, mais elles pouvaient être utilisées pour manipuler un scalpel, un ciseau à os, une seringue - à peu près n’importe quel outil qu’un chirurgien devra utiliser pendant une opération..

L’expérience est indépendante de l’appareil (nous avons utilisé un casque de réalité mixte Windows), mais Fundamental possédait également un Oculus Rift et un HTC Vive, et était heureuse d’échanger l’appareil que nous voulions utiliser..

L'expérience elle-même est une simulation très courte et simple. Vous êtes mis dans la peau d'un chirurgien, debout au-dessus d'un patient virtuel recouvert de draps, avec un écran au-dessus d'un ventre charnu exposé et des outils qui en sortent.

L'écran montre l'alimentation de la caméra insérée dans le torse, qui est une vue de l'intérieur du corps humain, juste à l'extérieur de l'estomac..

Prépare toi

Vous devez saisir et soulever la muqueuse de l'estomac, puis couper une fine couche à l'aide de l'outil de cautérisation en la faisant glisser dans un petit trou et en utilisant de la chaleur pour séparer la section de la muqueuse de l'estomac..

Il nous a fallu quelques secondes pour acquérir la perception de la profondeur nécessaire pour saisir la doublure avec nos pinces, mais lorsque nous l'avons fait, la chose la plus étrange s'est produite… nous avons senti le poids de la doublure. C'était réel. Il n'a pas senti comme c'était réel, c'était vrai.

Nous n'avions jamais rien vécu de pareil et nous étions à mi-chemin entre admirés et horrifiés. Nous avons dû soulever la doublure jusqu'à un point où elle s'est verrouillée et, comme nous n'avons pas la main habile d'un chirurgien, nous l'avons gâchée. Le 'bruit' physique de la doublure glissant de nos pinces nous a véritablement gâché.

Finalement, nous avons mis la doublure au bon endroit et un trou s’est ouvert pour nous permettre de glisser l’outil de cautérisation. Oui. Cela s'est passé. Pour combattre des nausées assez intenses, nous avons coupé la muqueuse à l'aide de la chaleur de l'outil de cautérisation. La séance s'est terminée (heureusement)..

Parler avec le fabricant

Après avoir pris un moment pour nous ressaisir, nous avons discuté avec le cofondateur et PDG de Fundamental VR, Richard Vincent, et nous avons demandé comment cela rendait l'haptique aussi efficace et ce qu'il envisageait de faire avec la technologie..

“La chirurgie est une question de toucher et de vue; avec un seul d'entre eux, c'est un jeu,” Vincent a dit. “Construire l'intelligence haptique qui nous permet de cartographier tous les outils et tous les tissus, ainsi que toutes les collisions possibles entre eux, nous a pris environ un an et nous sommes maintenant à un point où nous pouvons déployer de manière fiable à peu près n'importe quelle expérience tissulaire..”

Et arriver à ce point a pris beaucoup d'essais et d'erreur. “C'est un processus pour obtenir des chirurgiens dans,” Vincent a continué. ”Nous avons un outil d’étalonnage qui nous permet d’aller «C’est le point où vous avez inséré ce dans cette l'emplacement, s'est-il senti bien? et puis, nous avons environ sept variables différentes à ajuster, comme sa taille, combien il faut pousser dessus avant de céder ou de pénétrer.”

Dimitri Amiras, un radiologue consultant du Imperial College NHS Trust, basé au Royaume-Uni, était bien utile. Nous en avons profité pour lui demander si la «gamification» de la chirurgie réduirait le risque émotionnel associé à une opération réelle..

“La gamification permettra au chirurgien de prendre un peu de recul par rapport à ce qu'il est en train de faire et de se concentrer sur l'opération elle-même.,“ Amiras nous a dit. “Si le chirurgien pense aux enfants de la personne qui attendent à la maison, ils ne peuvent en aucun cas procéder à l'opération. Vous pouvez avoir de l’empathie après, mais à ce moment-là, vous devez vous concentrer sur la procédure..”

Pour visionner une expérience de chirurgie cérébrale réelle en vidéo à 360 degrés, regardez cette vidéo réalisée par Fundamental:

Même si l'expérience de simulation que nous avons essayée était très réelle, elle ressemblait toujours à un jeu. Nous nous sommes demandé combien de membres de l'équipe de Vincent venaient de l'industrie du jeu vidéo..

“L'équipe est composée de personnes issues du monde du jeu, car c'est là que les compétences en matière de performance en réalité virtuelle ont été perfectionnées au cours des deux dernières années.,” il nous a dit. ”Le jeu est le meilleur endroit pour trouver des programmeurs Unity ou Unreal ayant une très bonne expérience..”

Pour le moment, la chirurgie fondamentale est utilisée pour former de futurs chirurgiens, mais nous pouvons voir des applications évidentes en réalité virtuelle du consommateur, et nous ne sommes pas les seuls - Vincent a dit qu'il avait été approché par des chiffres provenant de différents secteurs pour son algorithme . Pour le moment, cependant, il garde le focus purement chirurgical.

  • Voulez-vous lire des nouvelles de VR ensuite? Check-out: Le casque VR autonome Oculus Go pourrait être lancé début mai