Plusieurs projets financés sont actuellement disponibles pour des étudiants aux cycles supérieurs (maîtrise avec mémoire, doctorat).

L’objectif de recherche à long terme des projets du laboratoires est d’améliorer la convivialité des outils d’exploration d’images médicales utilisés pour la planification et le guidage des opérations chirurgicales. Pour ce faire, nous cherchons à développer de nouvelles techniques de rendu 3D et de nouveaux paradigmes d’interaction entre le clinicien et les images et à vérifier leur utilité dans un contexte clinique réel.

Axe 1: Planification de chirurgie en Réalité Virtuelle

La plupart des cliniciens se basent encore aujourd’hui sur des techniques de rendu bidimensionnel pour explorer les scans 3D de leurs patients pour le diagnostic et la planification d’une opération. Cependant, ces représentations bidimensionnelles rendent difficile la compréhension de la structure de certaines parties de l’anatomie. La visualisation 3D permet une meilleure compréhension de la géométrie de ces structures mais engendre aussi plusieurs problèmes de visibilité et de perception.

Cet axe de recherche vise à faciliter l’exploration de différents types de scans 3D en combinant un affichage en réalité virtuelle (RV) avec de nouveaux modèles d’interaction qui permettent aux cliniciens de disséquer virtuellement l’anatomie afin de mettre en évidence les structures d’intérêt. Les projets de cet axe de recherche sont développés sur la base de la plateforme d’imagerie médicale 3D Slicer qui prend déjà en charge l’affichage en réalité virtuelle.

Projet 1: Visualisation de l’anatomie cérébrale en réalité virtuelle

Les images médicales obtenues par résonance magnétique permettent de différencier avec une grande précision les différentes régions du cerveau humain. Plusieurs techniques de rendu 3D utilisent la transparence pour révéler la structure interne de l’anatomie. Cependant, vu la grande densité des données, les représentations générées peuvent être difficiles à interpréter. Ce projet vise à permettre au clinicien d’explorer les image de résonance magnétique du cerveau et de planifier le chemin d’approche d’une opération en réalité virtuelle.

Projet 2: Visualisation d’images d’échographie cardiaque 4D en réalité virtuelle

Les échographes modernes sont équipée de sondes qui permettent de capter une image 3D complète de l’anatomie plusieurs fois par seconde. Dans le domaine de la chirurgie cardiaque, cela permet d’analyser et de mesurer plusieurs types de malformations et de déficiences dans le fonctionnement du coeur d’un patient et de guider les opérations qui visent à les corriger. Cependant, les images d’échographies 4D demeurent très difficiles à interpréter en raison de leur densité et de leur faible rapport signal/bruit. Ce projet vise à développer une technologie de visualisation pour faciliter la manipulation et l’interprétation des images d’échographie cardiaques 4D en utilisant la réalité virtuelle.

Projet 3: Nouveaux paradigmes d’interaction humain-machine en réalité virtuelle

Les paradigmes communément utilisés pour interagir avec des représentations 3D d’images médicales sont conçus pour la souris et le clavier reliés à un ordinateur. Pour l’affichage en RV, un nombre grandissant de dispositifs sont disponibles pour permettre à l’usager d’interagir avec le système. Certains sont relativement simples comme les contrôleurs manuels suivis en 3D qui sont fournis d’office avec les casques de RV. D’autre, comme des dispositifs de suivi des mains (ex.:Leap Motion) permettent de connaître en temps réel la position précise de chacun des doigts de l’utilisateur. Le projet de recherche vise à identifier les paradigmes d’interaction qui permettent de manipuler, déformer et découper les images médicales pour en extraire les informations désirées et à comparer les différents types de dispositifs d’interaction disponibles sur le marché au regard des nouveau paradigmes développés.

Axe 2: Réalité augmentée pour le guidage en chirurgie

Dans la salle d’opération, la réalité augmentée (RA) peut être utilisée pour superposer des image médicales directement sur l’anatomie du patient. La technologie permet ainsi au chirurgien de visualiser la cible de l’opération à travers le patient comme si ce dernier était transparent, ce qui permet de réaliser des procédures beaucoup moins invasives. Différentes incohérences entre le contenu réel et virtuel des images produites à l’heure actuelle peuvent les rendre difficiles à interpréter. Le but de cet axe de recherche est d’améliorer les techniques de rendu et d’interaction pour faciliter l’interprétation des images de RA. Le travail dans cet axe de recherche se basera sur la plateforme Ibis Neuronav, un système de chirurgie assistée par l’image à code ouvert qui est développé en partenariat avec l’Institut Neurologique de Montréal.

Projet 1: Modélisation et suivi du champs opératoire à l’aide de caméras de profondeur

Une des faiblesses des système de RA actuels vient du fait qu’ils combinent des modèles 3D provenant des scans du patient avec des images bidimensionnelles du champs opératoire. Comme les images du champs opératoire ne comportent pas d’informations tridimensionnelles, il est souvent impossible d’intercaler correctement les éléments réels et virtuels de l’image, ce qui crée des distortion pour le système visuel de l’utilisateur et rend difficile l’interprétation des images. Le but de ce projet est d’explorer le potentiel des capteurs de profondeur (ex. Intel RealSense) pour la modélisation 3D du champs opératoire et sa mise en correspondance avec les scans.

Projet 2: Recalage patient-image robuste assisté par ordinateur

Les systèmes de guidage pour la neurochirurgie établissent à l’heure actuelle la correspondance entre les images tirées des scans et le patient grâce à une procédure de recalage manuelle exécutée au début d’une opération. Cependant, la précision de ce recalage se dégrade sans cesse au cours de l’opération en raison des différentes manipulations sur le patient et de la déformation des tissus. Plusieurs méthodes ont été proposées pour corriger l’alignement patient-image en utilisant de l’imagerie intra-opératoire entre autres. Bien que certaines techniques atteignent une précision satisfaisante, leur robustesse reste toujours insuffisante pour leur utilisation en salle d’opération. Ce projet vise à développer une techniques semi-automatique où le chirurgien utilise l’interface de réalité augmentée pour corriger le recalage manuellement, mais avec l’aide d’algorithmes de traitement d’images qui assurent une plus grande précision du résultat.

Projet 3: Visualisation d’images ultrason temps-réel en RA

Les techniques d’imagerie par ultrason sont de plus en plus couramment utilisées durant les interventions chirurgicales. Ces dispositifs sont légers et sans effets secondaires pour les patients. De plus, leur coût est de plus en plus abordable. Cependant, les images produites restent très bruitées et leur contenu peut être difficile à interpréter parce qu’il est orienté par rapport à la sonde et non aux axes le long desquels les clinicien ont l’habitude de lire les images. Ce projet vise à développer une interface de réalité augmentée qui permet de visualiser les images ultrason directement sur le patient dans le but fournir le contexte nécessaire à leur interprétation.

Projet 4: Amélioration de la perception des images de RA à l’aide de ponts réel-virtuel

Le problème le plus fréquemment rapporté avec les interfaces de RA est la difficulté pour l’usager de percevoir la profondeur correctement. Ce problème est en partie causé par l’absence d’indices qui permettent au système visuel d’établir la position relative des éléments réels et virtuels de l’image. Ce projet vise à établir des ponts entre les éléments réels et virtuels de l’image pour en faciliter l’interprétation. Par exemple, nous chercherons à établir si une source de lumière manipulée par l’usager peut aider à la perception de la profondeur si on s’assure que cette source de lumière agit de la même façon sur les composantes réelles et virtuelles de l’image.