Paul

See discussions, stats, and author profiles for this publication at: https://www.researchgate.
net/publication/318227052
Neurochirurgie guidée par l'image :visualisation mixte et quantiﬁcation des

déformations cérébrales peropératoires à l'aide de reconstructions
stéréoscopiques de la surface cortic...
Thesis · December 2006

DOI: 10.13140/RG.2.2.25768.06408
CITATION READS
1 2,593
1 author:
Perrine Paul
French National Centre for Scientific Research
149 PUBLICATIONS 3,613 CITATIONS
SEE PROFILE
All content following this page was uploaded by Perrine Paul on 06 July 2017.
The user has requested enhancement of the downloaded file.

No d'ordre: 101
THÈSE
Présentée devant
devant l'Université de Rennes 1

pour obtenir
le grade de : Docteur de l'Université de Rennes 1

Mention Génie Biologique et Médical
par
Perrine Paul
Équipe d'accueil : Unité/Projet Visages U746 - IRISA

École Doctorale : Vie-Agro-Santé
Composante universitaire : Faculté De Médecine
Titre de la thèse :
Neurochirurgie guidée par l'image :

visualisation mixte et quantication des déformations cérébrales
peropératoires
à l'aide de reconstructions stéréoscopiques de la surface corticale
soutenue le 8 décembre 2006 devant la commission d'examen
M. : Xavier Morandi Président

MM. : Jocelyne Troccaz Rapporteurs
Jean-Jacques Lemaire
MM. : Sergio Casciaro Examinateurs
Cyrille Le Terrien
Nassir Navab
Pierre Jannin
Remerciements
Je remercie tout d'abord Jocelyne Troccaz et Jean-Jacques Lemaire, mes rapporteurs, qui
m'ont fait l'honneur de relire et de juger ce travail de thèse. Merci pour leur lecture attentive
et les corrections qui auront permis d'améliorer ce manuscrit. Je remercie également Nassir
Navab, Sergio Casciaro et Cyrille Le Terrien qui ont accepté de participer à mon jury de thèse,
malgré la distance géographique. Merci à Pierre Jannin et Xavier Morandi de faire partie de
mon jury et d'avoir construit cette thèse avec moi pendant ces 3 ans. Je tiens également à les
remercier pour leur relecture minutieuse et rigoureuse de ce manuscrit. Revenons-y, sur ces trois
ans; il y a tant de monde à remercier que le plus simple est l'inventaire en croisant les doigts
pour n'oublier personne. La plupart de ces personnes font partie du nous employé dans ce
document.
- Merci à Pierre d'avoir su être un directeur de thèse patient, d'avoir toujours réussi à com-
prendre ma logique et de m'avoir fait conance.
- Merci à Xavier Morandi pour ses qualités pédagogiques, sa patience, sa disponibilité et pour
ses qualités humaines.
- Merci à Alain Bouliou pour toutes les manipulations faites ensemble et notre travail sur la
calibration et les reconstructions stéréoscopiques, mais aussi pour son humour et sa gentillesse.
- Merci à Eric Berton et Adrien Marion pour leur aide lors de la fabrication du fantôme en PVA.
- Merci à Julien Cohen-Adad, Perrine Guillemot et Aurélie Quéré, avec qui j'ai eu le plaisir de
travailler lors de leurs stages au labo.
- Merci aux inrmières et inrmiers du bloc opératoire du CHU de Pontchaillou, Jean-Charles,

Annick, Anne-Sophie, Marie et toutes ceux et celles que je ne reconnaîtrais certainement pas
sans leur masque blanc. Ils m'ont été d'une précieuse aide. Je tiens à souligner la grande co-
opération du personnel du bloc de neurochirurgie du professeur Brassier, qui nous a permis
d'accéder aussi souvent que nécessaire et dans les meilleures conditions, au matériel dont j'avais
besoin et qui a fait rentrer, fait sortir, fait rentrer,... d'innombrables fois notre matériel sans
rechigner.
- Merci à Chantal Brouard, cadre du bloc de neurochirurgie, d'avoir toujours su nous trouver
des créneaux pour nos expérimentations sans patient.
- Merci à Béatrice Carsin Nicole, Elisabeth Le Rumeur et les manipulatrices et manipulateurs
radio qui ont toujours été disponibles.
- Merci au professeur Brassier, chef du service de neurochirurgie, de n'avoir jamais posé d'as-
treintes à notre présence au bloc.
- Merci à Eric Berton et Adrien Marion pour leur aide lors de la fabrication du fantôme en
PVA.
- Merci à Bernard Gibaud d'avoir accepté d'être mon premier directeur de thèse et d'avoir
par la suite participé à mon comité de thèse, à Pierre Hellier pour ses nombreux conseils, à
Christian Barillot, à Mélanie Raimbault (Maître Jedi) et son mari Hervé pour le sauvetage de
PcVidéo, à Eric Poiseau (Maître Debian), Olivier Dameron, Sylvain , Arnaud , Pierrick, Laure,
Cybèle Chantal, Stéphanie, Bounlith, Beige, Claire et les lles du CRITT, pour les "vieux" ; la
force 3G (Alban, Vincent, Daniel), Linda, Ammar, Omar, Nicolas, Céline, Simon et Line, Aline,
Clément pour les plus "jeunes". J'ai eu de la chance de travailler dans un tel environnement.
- Merci à Elise Arnaud de m'avoir initié aux ltres particulaires pour le suivi vidéo. -Merci à
Luce Morin et Elisabeth Lagente d'avoir su m'orienter et me rassurer dans mes choix profes-
sionnels.
1
Et parce qu'il y a une vie autre que la thèse pendant la thèse, merci à tous mes amis, en parti-
culier à ceux qui m'hébergent entre deux appartements et qui se reconnaîtront, à mes parents
et à Jean-Christophe.
2 Table des matières
Table des matières
Table des matières 2

1 Notre contexte : la neurochirurgie guidée par l'image 9
1.1 Bref historique de la neurochirurgie guidée par l'image . . . . . . . . . . . . . . . 9
1.2 Sources d'informations sur le patient . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.1 Les images préopératoires . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.2 Les atlas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.3 Les images peropératoires . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3 Préparation du geste chirurgical . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4 Les systèmes de localisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.5 Stéréotaxie sans cadre : la neuronavigation . . . . . . . . . . . . . . . . . . . . . 19
1.6 Validation des systèmes de chirurgie guidée par l'image . . . . . . . . . . . . . . . 21
1.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
I Visualisation Peropératoire en Neurochirurgie en NchGI 25

2 État de l'Art de la Visualisation mixte peropératoire 27
2.1 Dénition des concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.1 Domaine d'application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.2 Réalité et virtualité en chirurgie . . . . . . . . . . . . . . . . . . . . . . . 28
2.1.3 Dénition d'un système de visualisation mixte . . . . . . . . . . . . . . . 29
2.2 Classications de systèmes de visualisation mixte . . . . . . . . . . . . . . . . . . 30
2.2.1 Les continua de Milgram . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.2 Taxonomie centrée sur l'utilisateur . . . . . . . . . . . . . . . . . . . . . . 31
2.3 Classication proposée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 État de l'art des systèmes de visualisation mixte pour la chirurgie . . . . . . . . . 33
2.4.1 Tâche à réaliser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.2 Base de visualisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.3 Informations ajoutées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4.4 La technologie utilisée pour l'achage . . . . . . . . . . . . . . . . . . . . 39
2.4.5 Le lieu de perception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.4.6 Interaction Homme/Machine . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.5 Contraintes de la salle d'opération . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.5.1 Contraintes liées à l'architecture de la salle d'opération . . . . . . . . . . 47
2.5.2 Contraintes liées à la procédure chirurgicale . . . . . . . . . . . . . . . . . 48
2.5.3 Contraintes liées à l'opérateur humain . . . . . . . . . . . . . . . . . . . . 50
2.6 Bilan des éléments selon la classication . . . . . . . . . . . . . . . . . . . . . . . 51
3
2.7 Anticipation des sources d'erreurs dans un système de visualisation mixte . . . . 52

2.7.1 Création du modèle du patient . . . . . . . . . . . . . . . . . . . . . . . . 52
2.7.2 Le capteur réel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.7.3 Le calibrage du capteur réel . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.7.4 La synchronisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.7.5 Le système de localisation . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.7.6 Le suivi de la technologie d'achage ou des capteurs . . . . . . . . . . . . 54
2.7.7 Le recalage patient-image . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
2.7.8 L'achage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
2.7.9 Évaluation globale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
2.8 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.8.1 Synthèse et limitations des systèmes actuels . . . . . . . . . . . . . . . . . 58
2.8.2 Présentation de notre solution . . . . . . . . . . . . . . . . . . . . . . . . . 59
3 Virtualité augmentée par la surface 3D du champ opératoire 61

3.1 Tour d'horizon de la numérisation de surface . . . . . . . . . . . . . . . . . . . . 61
3.1.1 Méthodes d'acquisition de surfaces sans contact . . . . . . . . . . . . . . . 61
3.1.2 Reconstruire une surface par stéréoscopie . . . . . . . . . . . . . . . . . . 64
3.1.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.2 Matériel et Méthodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.2.1 Création du modèle patient multimodal . . . . . . . . . . . . . . . . . . . 69
3.2.2 Les étapes de la réalisation du geste chirurgical . . . . . . . . . . . . . . . 70
3.2.3 Matériel en salle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.2.4 Repères . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.2.5 Reconstruction de la surface 3D du champ opératoire . . . . . . . . . . . 76
3.2.6 Visualisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.3 Méthode d'évaluation des performances . . . . . . . . . . . . . . . . . . . . . . . 83
3.3.1 Étude de la précision du calibrage . . . . . . . . . . . . . . . . . . . . . . 83
3.3.2 Evaluation des performances sur fantôme . . . . . . . . . . . . . . . . . . 84
3.4 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
3.4.1 Étude de la précision du calibrage . . . . . . . . . . . . . . . . . . . . . . 87
3.4.2 Résultats de l'évaluation de performance . . . . . . . . . . . . . . . . . . . 89
3.4.3 Description d'un cas clinique . . . . . . . . . . . . . . . . . . . . . . . . . 91
3.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.5.1 Évaluation des performances . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.5.2 Comparaison avec d'autres travaux . . . . . . . . . . . . . . . . . . . . . . 96
3.5.3 Avantages et limitations de notre système de VA . . . . . . . . . . . . . . 97
II Suivi des Déformations Anatomiques Peropératoires en NchGI101

4 État de l'art sur les déformations anatomiques cérébrales peropératoires 105
4.1 Les déformations anatomiques peropératoires en neurochirurgie . . . . . . . . . . 105
4.1.1 Paramètres explicatifs de ces déformations . . . . . . . . . . . . . . . . . . 106
4.1.2 Déformations anatomiques cérébrales observées dans la littérature . . . . 109
4.2 Les approches de détection, de quantication et de correction . . . . . . . . . . . 116
4.2.1 Pourquoi détecter, quantier et corriger les déformations ? . . . . . . . . . 116
4.2.2 Approches sans correction des déformations . . . . . . . . . . . . . . . . . 118
4.2.3 Approches avec correction des déformations . . . . . . . . . . . . . . . . . 119
4.2.4 La validation des déformations détectées et corrigées . . . . . . . . . . . . 129
Table des matières 5
4.2.5 La visualisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

4.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5 Méthode de recalage de surface adaptée 133

5.1 Le recalage de surface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.1.1 Hypothèses sur les données . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.1.2 Mise en correspondance locale et globale . . . . . . . . . . . . . . . . . . . 138
5.1.3 Utilisation d'amers pour le recalage . . . . . . . . . . . . . . . . . . . . . 139
5.1.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.2 Principe du Suivi vidéo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
5.3 Utilisation des approches bayésiennes pour le suivi de déformations anatomiques 144
5.4 Étude de ltres pour le suivi vidéo . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.5 Méthode de recalage proposée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.5.1 Acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.5.2 Extraction des points d'intérêt . . . . . . . . . . . . . . . . . . . . . . . . 151
5.5.3 Suivi de la position des points d'intérêt . . . . . . . . . . . . . . . . . . . 153
5.5.4 Recalage de surface et quantication des déformations corticales . . . . . 153
5.5.5 Minimisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.5.6 Visualisation de la déformation . . . . . . . . . . . . . . . . . . . . . . . . 156
5.6 Evaluation des performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.7 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
5.7.1 Résultats sur fantôme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
5.7.2 Résultat en clinique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
5.8 Extrapolation aux structures proches de la surface : faisabilité . . . . . . . . . . . 167
5.9 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
5.9.1 Comparaison avec d'autres méthodes . . . . . . . . . . . . . . . . . . . . . 170
5.9.2 Méthode d'analyse des déformations cérébrales peropératoires . . . . . . . 171
6 Discussion 175
6.1 Limitations de notre étude . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
6.1.1 Virtualité augmentée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
6.1.2 Suivi des déformations surfaciques . . . . . . . . . . . . . . . . . . . . . . 176
6.1.3 Correction des déformations cérébrales . . . . . . . . . . . . . . . . . . . . 176
6.1.4 Validation et évaluation de performance . . . . . . . . . . . . . . . . . . . 177
6.2 Perspectives pour d'autres chirurgies . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.3 Le suivi vidéo :vers un système expert de supervision . . . . . . . . . . . . . . . . 178
6.3.1 Trajectographie de points déformés pour l'indexation vidéo . . . . . . . . 178
6.3.2 Évaluation des chirurgiens . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
A Quelques notions d'anatomie cérébrale 183

B Deux exemples de ltres particulaires 185
B.1 Filtre conditionnel pour le suivi de point avec estimation du modèle d'évolution . 185
B.2 Filtre conditionnel pour le suivi de courbe . . . . . . . . . . . . . . . . . . . . . . 186
Bibliographie 202
Table des gures 203
Introduction Générale
Les techniques de chirurgie guidée par l'image sont totalement rentrées dans la routine
clinique pour la neurochirurgie, chirurgie à laquelle nous allons nous intéresser particulièrement
dans ce manuscrit. L'analogie a été faite entre la cartographie anatomo-fonctionnelle, réalisée
à l'aide d'images préopératoires, et la cartographie, utilisée par les marins [AC99]. De la même
manière qu'un marin doit faire le lien entre la position de son bateau et la carte qu'il tient dans
les mains, le chirurgien doit faire le lien entre le patient qu'il a devant lui et les images qu'il a à
sa disposition. Le marin s'est vu doté, au fur et à mesure des siècles, de méthodes demandant
de moins en moins d'eort cognitif et étant de plus en plus précises. Pour la navigation côtière,
l'utilisation d'amers de navigation indiqués sur les cartes (par exemple un phare ou un arbre) est
analogue à l'utilisation des amers anatomiques par le chirurgien. Le compas pourrait s'assimiler
aux cadres de stéréotaxie. Le GPS est l'équivalent des systèmes de suivis d'outils en chirurgie
permettant la neuronavigation. Les radars de fonds sous-marins, dont sont équipés de plus en
plus de voiliers de plaisance, est l'équivalent de l'imagerie peropératoire.
Cependant, deux principales limitations aux systèmes actuels de chirurgie guidée par l'image
sont couramment soulignées. La première est d'ordre ergonomique et concerne la manière de
faire le lien visuel entre les images et le patient en position opératoire. La deuxième limitation
est que ces systèmes reposent sur une hypothèse fausse, selon laquelle l'anatomie du patient au
moment du diagnostique est la même que celle au moment de l'opération. En réalité, l'anatomie
du patient subit des déformations, qu'il faut pouvoir détecter, quantier et corriger. Dans cette
thèse, nous allons montrer comment un système simple, peu coûteux et sans encombrement
supplémentaire de la salle d'opération, peut améliorer les systèmes actuels de chirurgie guidée
par l'image. Nous nous focaliserons sur la neurochirurgie. Nous présentons dans ce manuscrit
une nouvelle modalité d'imagerie peropératoire d'acquisition de surface non-invasive pour la
visualisation, la détection et la quantication des déformations en neurochirurgie guidée par
l'image, basée sur l'utilisation d'un microscope chirurgical. Ce manuscrit est organisé de la
manière suivante.
Le premier chapitre dénit notre contexte, la neurochirurgie guidée par l'image. Le manuscrit
est ensuite divisé en deux parties. La première partie est consacrée à la visualisation en chirurgie
guidée par l'image, à ses limitations actuelles et à la manière dont les acquisitions de surface,
que nous proposons, peuvent orir un nouveau mode de visualisation adapté aux contraintes de
la salle d'opération. La seconde partie présente le problème des déformations anatomiques du
cerveau pendant la neurochirurgie. Nous montrerons que ce problème, souvent considéré comme
négligeable par rapport aux déformations d'organes mous rencontrées dans d'autres chirurgies,
est un problème important et complexe. Nous présentons une nouvelle méthode de détection
et de quantication des déformations de la surface du cerveau, adaptée à chacune des étapes
de la chirurgie, qui est basée sur l'analyse de la vidéo du microscope chirurgical et sur des
reconstructions 3D de la surface du champ opératoire. L'analyse de la vidéo en chirurgie est
un domaine de recherche émergent. Nous discuterons des perspectives que nous semble ouvrir
7
cette analyse.
Chapitre 1
Notre contexte : la neurochirurgie

guidée par l'image
La neurochirurgie, en tant que spécialité chirurgicale, concerne les pathologies du système
nerveux central et de ses enveloppes en général. Dans cette thèse, nous nous intéressons parti-
culièrement aux lésions intra parenchymateuses cérébrales traitées par résection, sous neurona-
vigation et avec microscope chirurgical. Le neurochirurgien a besoin d'établir une cartographie
spécique de son patient, an de décider de la route à suivre. Cette cartographie correspond au
modèle patient. Elle contient les informations de localisation de la cible chirurgicale, des zones
à éviter ou les structures anatomiques permettant au neurochirurgien de se repérer. L'itinéraire
choisi par le neurochirurgien est le modèle de la chirurgie. Il contient la trajectoire planiée
et éventuellement la procédure chirurgicale. Pendant la chirurgie, an de prendre ses décisions
et d'adapter le modèle de la chirurgie en fonction de la réalité du patient, le neurochirurgien
doit comprendre la relation spatiale entre l'espace du modèle patient et l'espace du patient.
Cette appréhension des deux espaces, patient et modèle, est basée sur la possibilité pour le
neurochirurgien de repérer des points ou des surfaces, dans l'espace du patient et de retrouver
ces mêmes points ou surfaces dans le modèle patient. La stéréotaxie sans cadre, appelée plus
couramment neuronavigation, se base sur ces possibilités de localisation spatiale pour mettre en
correspondance le modèle patient, par conséquent le modèle de la chirurgie, avec le patient, de
manière visuelle. Le neurochirurgien est alors guidé, passivement, par l'image. Dans cette thèse,
nous souhaitons améliorer ces systèmes. Il faut donc pouvoir quantier l'amélioration apportée.
Nous commençons ce chapitre par un bref historique de la neurochirurgie guidée par l'image. La
section 1.2 présente les sources d'information dont dispose le neurochirurgien. Elles sont obte-
nues par imagerie médicale avant et pendant la chirurgie. Nous présentons ensuite les méthodes
d'obtention du modèle patient et du modèle de la chirurgie, dans la section 1.3. Les moyens
technologiques permettant de localiser des points ou des surfaces, dans l'espace patient, sont
présentés dans la section 1.4. Le principe de la neuronavigation est présenté dans la section 1.5.
Dans la section 1.6, nous présentons succinctement les méthodes de validation de systèmes de
chirurgie guidée par l'image.
1.1 Bref historique de la neurochirurgie guidée par l'image

La chirurgie guidée par l'image est apparue pratiquement en même temps que l'imagerie, à
savoir à la n du 19ième siècle. Historiquement, la première étape a été de guider le geste opé-
ratoire par des images préopératoires, d'abord par lien totalement implicite basé uniquement
9
10 Notre contexte : la neurochirurgie guidée par l'image
Fig. 1.1 Cadre de stéréotaxie de Leksell (datant des années 80) avec guide
d'implantation d'électrode. Illustration tirée du musée virtuel de la neurochirurgie
http ://www.neurosurgery.org/cybermuseum/index.html
sur le repérage anatomique. En 1896, la première opération guidée par imagerie peropératoire
a lieu à l'université McGill de Montréal. Il s'agissait du retrait d'une balle dans un genou guidé
par rayons X [Cox96]. L'apparition des cadres de stéréotaxie en neurochirurgie (un exemple
de ces cadres est représenté gure 1.1) au milieu du XX ième siècle a marqué les débuts de la
chirurgie guidée par l'image, comme souligné dans [Pet06]. Il s'agit alors de chirurgie guidée par
des images préopératoires, spéciques au patient, ou par une connaissance plus générique de
l'anatomie traduite par des atlas anatomiques dès la n des années 70 [TT88]. La stéréotaxie a
commencé tôt, les coordonnées des cibles étaient alors calculées par tracé sur les images. Puis,
avec la généralisation de l'informatique, ces tracés ont été progressivement remplacés par des
logiciels. Le principe de la stéréotaxie est de repérer la cible, qui peut être la lésion à enlever,
la cible à stimuler ou la cible de la biopsie, sur les images médicales préopératoires du patient,
relativement au cadre de stéréotaxie. Il faut alors retrouver sa position pendant l'intervention
grâce aux positions relatives, connues, de la cible et du cadre. De cette façon, la cible est repérée
par rapport aux images du patient. Le cadre dénit des plans de l'espace, dans lesquels sont
exprimées les coordonnées de la cible identiée sur l'imagerie préopératoire. Le problème de la
stéréotaxie est son aspect invasif et lourd pour le patient : le patient doit porter le casque au
moment où il bénécie de l'imagerie préopératoire. Il doit le conserver jusqu'à l'intervention
chirurgicale. Il existe alors un risque d'infection avec les pointes du cadre. Cependant, de par
leur rigidité et la précision de leur construction, les cadres de stéréotaxie permettent de loca-
liser une cible de manière précise. Par conséquent, cette méthode est largement utilisée pour
l'insertion d'électrode de stimulation ou d'aiguille de biopsie1 . L'apparition des technologies de
localisation de position 3D, que nous présentons dans la section 1.4, a permis de remplacer le
cadre par des marqueurs xés ou collés sur la peau, laissant libre accès au patient, contraire-
ment au cadre de stéréotaxie qui pouvait gêner la réalisation d'une craniotomie dans le cas des
exérèses de lésions et avec des limites d'accès globales selon le type de cadre. Les marqueurs
ont également été placés sur les outils. De cette manière, la position de l'outil peut être donnée
dans le repère image. Les premiers systèmes de neuronavigation datent du milieu des années 80
[WWM+ 87]. Les cadres de stéréotaxie sont encore considérés par la plupart des neurochirurgiens
comme le moyen le plus sûr d'obtenir une précision optimale, bien qu'en réalité l'utilisation de
duciaires osseux en neuronavigation permettent d'obtenir la même précision [Mau02]. Cette
conance s'explique d'une part par l'enseignement reçu par les neurochirurgiens, dans lequel
la neuronavigation n'apparaît pas encore. D'autre part, la précision du recalage patient image
1 Prélèvement d'un échantillon de tissu pour être analysé par le laboratoire d'anatomopathologie an de
connaître la nature des cellules lésionnelles.
Sources d'informations sur le patient 11
est eectivement aujourd'hui moins précise, avec des duciaires non osseux ou un recalage basé
surface, qu'avec un cadre de stéréotaxie. Dans l'état actuel commercialisé des systèmes de neu-
ronavigation (par exemple, la StealthStation, Medtronic SNT, Boulder, Etats-Unis ou Brainlab,
Munich, Allemagne), la seule amélioration signicative par rapport à l'utilisation d'un cadre
est l'absence de port de cadre par le patient. La neuronavigation est aujourd'hui réservée à
l'exérèse de lésion ou aux cortectomies pour les épilepsies pharmaco-résistantes, bien que son
usage tende à s'étendre à l'implantation d'électrodes et à la biopsie par insertion d'aiguille
[GDEF03, AC99]. Il est intéressant de souligner dès maintenant que la neurochirurgie a sou-
vent été le terrain d'expérimentation et d'application de nouvelles technologies chirurgicales.
Cela s'explique d'une part par la rigidité du cerveau dans la boîte crânienne relativement à
d'autres organes, d'autre part, à cause du risque de léser des zones fonctionnelles en enlevant la
lésion. Une explication complémentaire est la taille de certaines cibles chirurgicales, demandant
une précision plus importante que dans d'autres types de chirurgie. Les systèmes pionners de
robotique chirurgicale, tel que le robot Neuromate en 1985, ont ainsi été développé pour l'im-
plantation d'électrode. Cependant,dans cette thèse, nous nous limitons au guidage passif par
l'image, en tant qu'aide à la décision. Nous n'aborderons pas les systèmes robotisés.
1.2 Sources d'informations sur le patient

Nous présentons dans cette section les données multimodales du patient et précisons suc-
cinctement leur principe. L'entretien diagnostique avec le patient est également une source
d'information importante, mais nous n'en parlerons pas ici, parce qu'il ne permet pas d'obtenir
des données sous forme numérisée.
1.2.1 Les images préopératoires

En imagerie cérébrale, on a principalement deux catégories de modalités d'imagerie : la
première catégorie donne des informations sur l'anatomie, tandis que la seconde donne des in-
formations sur les métabolismes, donnant des indications indirectes sur les fonctions du cerveau.
L'appréhension de la pathologie passe par ces deux catégories d'examens. Nous donnons ici une
liste non exhaustive de ces modalités en expliquant rapidement leur principe et leur intérêt.
Modalités anatomiques Les rayons X constituent une modalité à part entière. Le prin-
cipe est que les rayons X ne sont pas absorbés de la même manière selon le coecient d'atté-
nuation des tissus, qui est diérent d'un tissu à l'autre [lA05]. On mesure alors l'énergie des
photons émis. Il faut un émetteur de rayons X et un récepteur, généralement constitué d'un
amplicateur de brillance. La uoroscopie est un type particulier d'acquisition temps réel.
Les émetteurs/récepteurs sont placés face à face dans les premières générations de uoroscope.
Dans la dernière génération, le récepteur est une roue dans lequel tourne l'émetteur. Les éner-
gies envoyées sont susamment fortes pour éjecter une particule chargée du corps humain. La
uoroscopie présente donc un danger potentiel pour les organes et les tissus à la fois du patient
et du personnel hospitalier qui fait passer l'examen. L'image obtenue par uoroscopie est une
projection 2D du volume traversé par les rayons. La diérence entre le scanner CT (Computed
Tomography) et la uoroscopie est l'utilisation du principe mathématique de tomographie. La
tomographie consiste à reconstruire un volume 3D, à partir d'une série de projection radiolo-
giques du volume, obtenues par rayons X. La transformée de Fourier du signal reçu est calculée
pour retrouver les points qui appartiennent à chaque coupe et créer l'image [lA05]. Ces images,
issues des rayons X, donnent des informations, avec une résolution millimétrique (sous millimé-
trique pour les images des plans), sur la densité des tissus. Elles permettent de diérencier les
tissus mous des parties osseuses.

Les deux principes de bases de l'IRM (Imagerie par Résonance Magnétique) sont les suivants.
L'intensité de la résonance des protons d'hydrogène, soumis à un champ magnétique, est pro-
portionnelle à leur densité. La fréquence de résonance des protons est proportionnelle à la force
du champ magnétique. La localisation spatiale des protons en résonance est calculée de deux
principales manières. La première consiste à utiliser la fréquence des protons en les soumettant
à un gradient de champ magnétique statique lorsque le signal de résonance est reçu. Plus la
fréquence est élevée, plus le proton est près de la source du champ magnétique statique. La
deuxième méthode consiste à soumettre les protons à un gradient de champ magnétique sta-
tique quelques instants avant la réception du signal. La distance est alors proportionnelle au
décalage temporel de la réception, appelé phase. Avec cette méthode, il n'y a pas de distor-
sion géométrique contrairement à la première. Le changement de phase peut également être
obtenu en excitant les protons d'une autre manière, comme par exemple avec des ondes à radio-
fréquences, puis en appliquant une nouvelle fois le gradient de champ magnétique statique2 . On
récupère les images dans un espace fréquentiel appelé k-space. On revient dans le domaine spa-
tial, pour obtenir l'image IRM, par transformée de Fourier. Des aimants sont utilisés pour créer
le champ magnétique. Des antennes sont nécessaires, soit pour émettre les radio-fréquences et
recevoir le signal, soit simplement pour recevoir le signal. Elles doivent être au plus près de
l'organe à imager. Les systèmes d'acquisition d'images réalisent ces calculs et les images récu-
pérées sont dans le domaine spatial. Le coût d'un système d'acquisition IRM est environ de 1,5
millions d'euros à 2 millions pour une IRM 3 teslas. Les images IRM donnent des informations
avec une résolution millimétrique sur la densité des atomes d'hydrogènes. Elles permettent de
diérencier les tissus mous entre eux [Jan05]. Si l'IRM et le scanner CT ont une résolution
temporelle très faible (de l'ordre de 20 minutes entre deux acquisitions pour la tête), les rayons
X par projection ont une résolution temporelle de l'ordre de la seconde. L'appareil permettant
l'acquisition d'angiographies consiste en un examen (IRM ou scanner) avec injection d'un
produit radio-opaque dans les veines du patient. Les veines apparaissent alors nettement sur
l'image obtenue. L'angiographie permet de mettre en avant le réseau vasculaire. Elle a la même
résolution que l'examen sans injection (scanner CT ou IRM). La spectroscopie peut permettre
la caractérisation de certains types de tumeurs, en mesurant leur densité en diérents types de
molécules (par exemple, choline ou glutamate).
Modalités fonctionnelles cérébrales Les modalités d'imagerie fonctionnelle cérébrales sont

basées sur l'hypothèse que l'exécution d'une fonction par le cerveau demande une activation
neuronale qui entraîne des changements physiologiques : dans le volume sanguin et l'oxygène
consommé, ou dans l'activité électrique. L'IRM de diusion donne des informations sur la
direction des bres nerveuses, susceptibles d'avoir un rôle fonctionnel. Le principe de la MEG
(Magnéto-encéphalographie) est de mesurer les changements dans le champ magnétique dû à
l'activité électrique propre du cerveau. Elle présente l'avantage d'un temps d'acquisition très
court (de l'ordre de la milli-seconde), mais avec une résolution de l'ordre de 5 millimètres. Les
EEG (Electro-EncéphaloGramme) et SEEG (Stéréo-EEG) mesurent directement ces signaux
électriques en surface et en profondeur respectivement. La MEG et la SEEG sont des méthodes
directes car elles étudient le signal magnétique et électrique de l'activité neuronale, respective-
ment. L'IRMf (IRM fonctionnelle) ou IRM BOLD (Blood Oxygen Level Dependant) mesure
la consommation en oxygène des zones cérébrales. Comme le cerveau consomme toujours de
l'oxygène, le rapport signal sur bruit est faible. Le principe de l'IRMf est de détecter les zones
d'activité en faisant la diérence statistique entre les images du patient au repos et les images
du patient à qui on demande d'eectuer une tâche particulière, appelée paradigme d'activation.
2 Les ondes à radio-fréquences sont des ondes magnétiques à une fréquence particulière
Il est dicile de trouver des paradigmes d'activation susamment élémentaires pour activer une
zone correspondant à une fonction en particulier. En médecine nucléaire, la source d'énergie
est fournie par des particules radioactives injectées dans le corps du patient, appelé traceur. Des
détecteurs entourent le patient et reçoivent le signal de ces particules radioactives. Ces modali-
tés utilisent des rayons γ très ionisants. Pour la TEP (tomographie par émission de protons),
les traceurs sont choisis en fonction du processus métabolique à étudier, comme par exemple
la transmission neurologique, le ux sanguin, le métabolisme du glucose dans le cerveau. La
période radioactive des isotopes utilisés comme traceur est courte (maximum 1h30). L'imagerie
TEMP (Tomographie par Émission Mono-Photonique) ou SPECT (Single Photon Emission
Computed Tomography, qui est le terme le plus usité mais anglophone) est basée sur la mesure
de la distribution 3D du traceur dans le corps, grâce à une γ -caméra. Les traceurs utilisés sont
des radio-isotopes de durée de vie beaucoup plus longue (jusqu'à 151h) que ceux utilisés en
TEP. Ces deux modalités ont une résolution spatiale inférieure à 5 millimètres. La résolution
temporelle d'un examen TEP est de l'ordre de 20 minutes, mais elle est légèrement plus précise
que la TEMP, beaucoup plus rapide (30 secondes environ). L'IRMf, la TEP, la TEMP sont des
méthodes indirectes car elles étudient soit le métabolisme (TEP) soit le débit sanguin régional
(TEMP, IRMf). Les modalités d'imagerie préopératoires donnent ainsi des informations très
diérentes, à des résolutions spatiales et temporelles complémentaires.
1.2.2 Les atlas

D'autres informations peuvent être issues d'atlas anatomiques (Talairach par exemple)
[TT88] ou fonctionnels (aires de Brodmann) qui vont donner des informations sur la locali-
sation de cibles anatomiques non visibles sur les modalités d'imagerie, par exemple le thalamus
ou les noyaux gris. Les atlas regroupent des connaissances génériques. Ces atlas sont construits
grâce à la dissection du cerveau d'un individu, de l'état des connaissances ou encore d'études
statistiques sur des populations. A cause de la variabilité anatomique forte inter patient, ils
doivent être adaptés à chaque individu. Pour cela, des points de repères peuvent être dénis
[TT88]. Un atlas peut également être déformé sur l'examen anatomique du patient comme dans
[SJSC+ 98] pour la réalisation de stéréotaxie avec cadre.
1.2.3 Les images peropératoires

Les systèmes d'acquisition d'images peropératoires sont basés sur le même principe que leurs
homologues préopératoires, mais présente les caractéristiques suivantes, pour leur adaptation
au bloc opératoire :
- leur forme doit permettre un accès chirurgical au patient,
- les outils ou la table d'opération classique peuvent créer des artefacts selon la modalité utilisée.
Il faut donc adapter ces outils à la modalité utilisée.
- les modalités ionisantes doivent être utilisées avec parcimonie.
- le temps d'acquisition doit être court.
- les systèmes d'acquisitions doivent être stérilisables.
Modalités anatomiques En uoroscopie, les radiations sont ionisantes donc l'exposition

à ces radiations doit être limitée. En angiographie, on utilise le même arceau qu'en uoro-
scopie, mais un produit radio-opaque est injecté au patient juste avant l'opération. C'est une
modalité très utilisée pour la chirurgie vasculaire. Le scanner CT présente les mêmes radia-
tions ionisantes dangereuses que la uoroscopie ou l'angiographie [Pet06]. L'accès au patient est
limité, mais la résolution spatiale et temporelle est sub-millimétrique. Un exemple de scanner
préopératoire installé en salle d'opération est montré sur la gure 1.2. En IRMi, IRM inter-
Fig.1.2 Scanner CT peropératoire avec table d'opération à faible absorption des rayons X.
Appareil Scanner de Siemens intégré dans le système complet BrainSuite iCT de Brainlab
ventionnelle ou peropératoire, les diérences entre les tissus sont beaucoup plus visibles qu'au
scanner, mais la résolution temporelle est moins bonne (de l'ordre de 0.2 Hz). La qualité des
images est très sensible à toute perturbation magnétique extérieure. Cela signie que les outils
doivent être amagnétiques et que la salle d'opération doit être installée dans une cage de Faraday
qui permet de protéger l'intérieur de la cage des perturbations électriques extérieures. Il faut
des antennes et des aimants pour créer le champ magnétique et le gradient et les recevoir. Leur
forme dénit deux types d'IRMi. Si l'aimant a une forme fermée (en "anneau"), alors les inter-
ventions du chirurgien ont lieu en dehors du champ. La table du patient est déplacée à chaque
nouvelle acquisition, parfois dans une pièce diérente. L'image apporte alors des éléments de
contrôles successifs. Le champ magnétique utilisé est fort (plus de 1 tesla) ce qui permet une
meilleure qualité d'image qu'avec une IRMi à aimants ouverts. La gure 1.3 (b) montre un
exemple d'IRMi fermée, du fabricant IMRIS, Winnipeg, Manitoba, Canada. L'utilisation des
instruments standards est autorisée comme l'intervention ne se déroule pas dans le champ ma-
gnétique. Les aimants peuvent également être placés en "beignet" et permettre un accès plus
aisé au patient. Par contre le champ magnétique est plus faible (de l'ordre de 0.5 tesla). Un
exemple d'IRMi à aimants ouverts est présenté gure 1.3 (a). Le Polestar N-20, Medtronic SNT
a pour principal intérêt de pouvoir être installé dans une salle d'opération conventionnelle. Il
ore une meilleure qualité d'image malgré un champ magnétique faible (gure 1.3 (a)). FO-
NAR, Melville, NY, Etats-Unis, compte proposer prochainement le FONAR 360 degrés avec un
champ relativement élevé (0.6 tesla) et complètement ouvert (les murs de la salle d'opération
faisant oce d'aimant)(gure 1.3)(c)). La gure 1.4 montre un exemple d'intervention dans une
IRM.
Bien que ces images aient une meilleure qualité d'acquisition volumique et de diérencia-
tion tissulaire par rapport aux autres modalités peropératoires disponibles aujourd'hui [SH99,
NBG+ 01, NKG+ 01, WHT+ 05], cette modalité est encore très peu utilisée à cause de son coût et
des lourds changements nécessaires au bloc opératoire pour son installation, de par sa diculté
d'interprétation et par les limites ergonomiques des systèmes d'IRMi disponibles aujourd'hui.
D'après Medtronic SNT, quarante de leurs systèmes d'IRMi à bas champs sont installés dans
le monde, ce qui fait d'eux les leaders sur le marché, puisque la somme des IRMi, installées
par les autres fabricants, serait du même ordre de grandeur. Le prix d'une IRMi bas champs
Polestar N-10 est de l'ordre de 800 000 euros. Cependant, l'IRMi n'a pas encore convaincu
les neurochirurgiens français. Une seule IRMi, 0,12 tesla, est installée depuis 2003 dans le ser-
vice de Neurochirurgie du Professeur Benabid au CHU de Grenoble. L'échographie est une
modalité de plus en plus utilisée en peropératoire. L'échographie est basée sur l'envoi d'ultra-
sons et sur la diérence de vitesse du son selon le tissu traversé. Les ultrasons sont produits
par un élément piézo-électrique qui vibre. Le principe des ultrasons est globalement le même
que celui du radar : on envoie des ondes sonores à une fréquence très élevée et on obtient la
(a) (b) (c)
Fig. 1.3 Trois types d'IRMi. (a) IRM type beignet PoleStar20 (Medtronic SNT, Boulder, CO,
Etats-Unis), qui est mobile et replacée pour chaque acquisition. (b) IRMi en anneau (IMRIS,
Winnipeg, Manitoba, Canada) le patient doit être déplacé pour l'acquisition, parfois dans une
salle séparée. (c) IRMi prototype complètement ouvert FONAR 360 (FONAR, Melville, NY,
Etats-Unis). Illustrations tirées des sites internet des fabricants.
Fig. 1.4 Intervention dans une IRMi à anneaux verticaux GE Signa SP, 0.5 tesla, ( GE
Healthcare, Chicago, IL, Etats-Unis). Illustration tirée de [KKK+ 06].
distance des éléments rencontrés parce que la vitesse du son dépend de la densité et de l'im-
pédance acoustique des tissus. On obtient aussi un signal diérent selon la propriété échogène
du tissu (sa capacité d'absorption et de réexion des signaux sonores). A l'interface entre des
éléments de trop grande diérence d'impédance acoustique, il peut y avoir une réexion trop
forte des ultrasons. C'est le cas entre l'air et les tissus mous ou encore les tissus mous et la
sonde. On utilise donc un gel spécique pour diminuer le changement d'impédance à l'interface,
an d'avoir accès à une image sous l'interface. Il existe diérents modes d'acquisition avec les
ultrasons. L'échographie mode B permet d'imager l'anatomie. L'échographie mode T permet
d'obtenir une résolution temporelle très élevée. L'échographie Doppler utilise l'eet Doppler
basé sur le changement de fréquence observé lorsque la source est en mouvement. Elle permet
d'imager les ux sanguins. Les images obtenues par échographie sont dans un plan. Certaines
sondes permettent d'acquérir directement un volume 3D, mais elles sont beaucoup plus chères.
La manipulation et l'interprétation des ultrasons demandent un temps d'apprentissage. Ce sont
des images bruitées et diciles à interpréter pour les chirurgiens non habitués à leur usage (-
gure 1.5) [Pet06, EBM+ 06, TMH+ 06]. Cependant, plus la fréquence des ultrasons commerciaux
augmente, plus la qualité de l'image est bonne. Les sondes échographes sont peu encombrantes
et ont un prix peu élevé, entre 5000 et 11000 euros, mais le prix d'une sonde avec échographe
pour un usage clinique varie entre 50 000 à 150 000 euros.
(a) (b)
Fig. 1.5 Imagerie ultrasonore peropératoire. (a) Acquisition avec la sonde échographique sur le
cortex. (b) Coupe d'IRM préopératoire et le même plan obtenu par échographie peropératoire.
Images de l'équipe Visages, à la courtoisie de J-J Levrel (a) et de P Coupé (b)
Modalités fonctionnelles Une stimulation électrique sur patient éveillé permet de détecter
les zones fonctionnelles en observant la réaction du patient, pendant l'intervention chirurgicale
[DCSea99]. Mais c'est une technique un peu traumatisante pour le patient.
Dernièrement, l'IRMf peropératoire avec stimulation passive [GGS+ 05] a été testée sur plusieurs
patients : une stimulation nerveuse électrique appliquée sur certains nerfs semblerait être un
paradigme d'activation ecace pour mettre en valeur les zones somesthésiques et motrices.
Au lieu de mettre à jour les données fonctionnelles préopératoires, ces données sont acquises
directement en salle d'opération sur patient anesthésié, donc de façon non traumatisante.
Imagerie émergente Le problème en n d'opération est de trouver les limites exactes d'une
lésion. La biopsie optique [Pod05, BHP+ 99] est une approche très prometteuse, puisqu'on
passe d'une délimitation macroscopique à une délimitation cellulaire. Cette nouvelle image-
rie, appelée "EndoMicroscopie Confocale" utilise des bres optiques pour eectuer un scanner
Préparation du geste chirurgical 17
au rayon X microscopique. Un exemple de premier résultat clinique est montré sur la gure
1.6, obtenue avec le VisioCell de Mauna Kea Technologies. La uorescence et l'éclairage par
(a) (b)
Fig. 1.6 Le VisioCell de Mauna Kea Technologies, Paris, France. (a) Système installé dans un
endoscope chirurgical. (b) A gauche, image obtenue par le VisioCell dans l'endoscope. A droite,
coupe histologique (étudiée en anatomopathologie) correspondante.
lumière particulière est également une nouvelle modalité explorée après son utilisation chez
l'animal. Aujourd'hui, cette modalité est surtout envisagée pour les gliomes [SRN+ 03]. Le lec-
teur intéressé par ces nouvelles modalités d'imagerie optique pourra se référer à [CR05]. La
spectroscopie pourrait également être utilisée en peropératoire pour analyser la lésion, puis
vérier qu'il n'y a pas de tissus lésionnels restant après la résection [BII+ 06].
1.3 Préparation du geste chirurgical

La prise en compte de toutes ces sources d'information demande un eort cognitif impor-
tant au neurochirurgien. L'objectif de la construction d'un modèle patient est de permettre
la fusion visuelle de toutes ces données. L'étape de préparation du geste chirurgical s'appuie
sur le modèle patient. Elle a pour résultat le modèle de la chirurgie. Le modèle de la chirurgie
consiste aujourd'hui principalement dans la trajectoire planiée, mais il peut également s'agir
par exemple de la position du patient, du lieu de l'incision cutannée ou encore de la forme
d'ouverture de la dure-mère et des outils à utiliser à chaque étape [Rai04].
Dans un premier temps, les données provenant des diérentes sources doivent être fusionnées
an d'aider le neurochirurgien à préparer son intervention et sa stratégie chirurgicale. La visua-
lisation multimodale 3D des informations issues des données préopératoires [NHe06, NKG+ 01,
JFS+ 00, JMF+ 02, JRF+ 02, MKSO87], comme par exemple sur la gure 1.7, repose sur la fu-
sion de ces images et sur la segmentation des structures d'intérêt. La segmentation consiste
à isoler les voxels ou pixels d'une image appartenant à une structure particulière. Toutes ces
structures sont alors exprimées dans le repère associé à l'image qui a la plus haute résolution
anatomique (généralement le scanner CT ou l'IRM reconstruit). Un état de l'art des techniques
de traitement d'image en chirurgie guidée par l'image est réalisé dans [War05]. On reviendra
sur les techniques utilisées au CHU de Rennes dans le chapitre 3, section 3.2.1.
Pendant la chirurgie, le modèle patient et le modèle de la chirurgie doivent être, d'une part,
mis en relation spatiale avec le patient en position opératoire et d'autre part, remis à jour au
fur et mesure de la chirurgie. Pour cela, il faut pouvoir exprimer le modèle patient dans un
repère attaché au patient en position opératoire. Le principe est alors de repérer la position de
structures communes dans le modèle patient et sur le patient. La transformation géométrique
qui permet de les superposer est alors calculée. Les positions des structures du modèle patient
sont exprimées dans le repère image et connues. Le but des systèmes de localisation que nous
allons maintenant présenter est de donner les positions de ces structures, acquises sur le patient
en position opératoire et exprimées dans un repère lié au patient.
Fig. 1.7 Modèle patient multimodal. Il s'agit d'une scène 3D. En rouge, le cavernome ; juste
derrière, en orange, un oedème grossièrement segmenté dans l'IRM 3D T1. Les sphères bleues
et vertes représentent les zones activées par des paradigmes d'activation, moteur et langage
respectivement, révélées par IRMf. Le graphe jaune est le graphe de la trace externe des sillons.
Les rubans jaunes, apparaissant également dans les 3 coupes IRM, sont les sillons jugés utiles
à sa stratégie chirurgicale par le neurochirurgien.
1.4 Les systèmes de localisation

Deux principales familles de systèmes de localisation sont utilisées [Ce95, Sim97]. L'une
permet d'acquérir la position de points 3D, dans un repère spatial déni arbitrairement. La
deuxième famille permet de récupérer une surface, par exemple du visage. Nous reviendrons
sur cette deuxième famille dans le chapitre 3. Dans les systèmes de localisation de points 3D,
on distingue les systèmes mécaniques, les systèmes optiques, magnétiques et ultrasonores. Les
diérentes caractéristiques techniques des systèmes de localisation utilisés en chirurgie guidée
par l'image sont récapitulées dans le tableau 1.1. Ces points peuvent être obtenus en calculant
les centroïdes de marqueurs spéciques au système de localisation, ou encore en calculant la
position du bout d'un outil rigide muni de ces marqueurs. Dans ce dernier cas, la position de
n'importe quel point non marqué peut être obtenu en calculant le bout de l'outil suivi par le
système de localisation. C'est le principe des pointeurs de neuronavigation sur lesquels nous
reviendrons dans la section 1.5. Les systèmes mécaniques utilisent un bras articulé, dont les dif-
férentes articulations codent très précisément la position de l'outil en bout de bras. Cependant,
ces bras sont encombrants et ne permettent de suivre qu'un seul objet à la fois, celui qui est
placé au bout du bras articulé. Les systèmes optiques utilisent principalement la triangulation,
à la manière du GPS, en utilisant deux caméra 2D ou trois caméras 1D minimum. Les systèmes
dièrent par le type de caméras utilisées, par les algorithmes d'extraction des points ou motifs
et par le type de marqueurs. Par analogie avec les composants électriques, un marqueur actif
est un marqueur qui a une activité (par exemple produire de la lumière) et qui consomme de
l'énergie. Un marqueur passif subit simplement (par exemple reète la lumière qu'il reçoit)
et ne consomme pas d'énergie. Certains systèmes, par exemple l'Optotrak, Northern Digital
(Waterloo, Ontario, Canada) repère les centroïdes de diodes électro-luminescentes. Ces mar-
queurs actifs sont très précis et robuste à l'éclairage, mais présentent l'inconvénient de devoir
être alimentés et donc d'être reliés par des ls électriques à une source d'alimentation. D'autres
systèmes sont basés sur des marqueurs passifs, soit des sphères rééchissantes qui reètent un
éclairage particulier envoyé par le système de localisation, soit des motifs particuliers, géné-
Stéréotaxie sans cadre : la neuronavigation 19
ralement noir et blanc du fait du coût d'une caméra tri CCD3 , réellement couleur. La gure
1.8 présentent quelques-uns uns de ces marqueurs. Les systèmes de localisations optiques ont
(a) (b) (c)
(d) (e)
Fig. 1.8 Quelques systèmes de localisation et marqueurs associés. (a) Marqueurs optiques
sur un pointeur (Société Claron Technology,) (b) Système de localisation magnétique (Flock
of Birds, Ascension Technology Corporation, Burlington, VT) (c) Caméras de localisation op-
tique (Polaris) (d) Marqueurs optiques passifs (SureTrack, Medtronic SNT, Boulder, CO) (e)
Marqueurs optiques actifs sur un pointeur (SureTrack, Medtronic SNT, Boulder, CO)
besoin d'un champ de vue libre entre le marqueur et les caméras. Les systèmes de localisa-
tion magnétiques utilisent un champ magnétique et des marqueurs émetteurs (bobines), par
exemple Flock of Birds( Ascension technology Corporation, Burlington, VT). Leur précision
tend à rejoindre celle des marqueurs optiques ou mécaniques. Ils présentent l'énorme avantage
d'être robuste à l'occlusion physique et donc de pouvoir suivre des marqueurs invisibles à l'oeil
nu. Ils sont très sensibles aux types de matériau utilisés, notamment le fer. Ces contraintes les
rendent particulièrement adaptés à l'usage d'IRMi. Ces systèmes sont cependant relativement
chers (environ 8 000 euros chez Medtronic). Les systèmes ultrasonores utilisent des marqueurs
émettant des signaux ultrasonores [HR94]. Leur précision absolue est largement inférieure au
millimètre, avec par exemple une erreur de 0,4 mm reportée dans [HR94]. Mais leur sensibilité
aux conditions extérieures diminue généralement cette précision à 5mm [Ce95].
Ces systèmes de localisation permettent donc d'acquérir des informations de position de
point, ou de surface.
1.5 Stéréotaxie sans cadre : la neuronavigation

Nous présentons ici la neuronavigation, parce que c'est le système de guidage par l'image le
plus utilisé en neurochirurgie. Nos développements se basent sur l'utilisation d'un tel système.
La plupart des blocs opératoires français de neurochirurgie (92%) [BBDL06] sont aujourd'hui
3 Charged Coupled Device
Tab. 1.1 Tableau récapitulatif des systèmes de localisation de points, adapté de [Sim97] et
[Ce95].
Mécanique Optique Magnétique Ultrasonore

Précision 0,1-1mm dans 0,1-0,5mm 5mm 1mm dans
1m3 200mm, 0.4
mm3
Résolution 0,01 mm au 0,1mm
mieux
Source d'in- Occlusion Chaleur, Occlu- Objets métal- Température,
terférence physique, sion. Pour les liques, champ Humidité,
contraintes marqueurs pas- magnétique Occlusion,
et force ap- sifs, éclairage. déplacement
pliquée sur le Pour les actifs, d'air, taille des
bras réexion sur ou- émetteurs
tils métalliques
Fréquence >3000Hz 100-2500Hz 20-100Hz 500-1000Hz
d'acquisition
Exemples Faro Arm, Neu- Polaris, Flash- Flock of Birds,
ronavigateur Point Polhemus
Fiduciaires Passifs Passifs ou Actifs Actifs Actifs
équipés de systèmes de neuronavigation [AC99, GDEF03], permettant au chirurgien de faire le

lien entre l'imagerie anatomique du patient et le patient en position opératoire. Ces systèmes,
dont un exemple est montré sur la gure 1.9, sont constitués d'un localisateur (1), d'un outil
(2), muni de marqueurs stérilisables pouvant être vus par le localisateur, d'un repère dénissant
le repère patient (3) et d'une station informatique (4) sur laquelle est installé un logiciel de neu-
ronavigation. La neuronavigation consiste à acher en temps réel, dans le modèle patient, la
Fig. 1.9 Éléments constituant un système de neuronavigation : (1) Localisateur, (2) Pointeur
de neuronavigation, (3) Croix, (4) Station informatique
position du bout d'un outil rigide, appelé pointeur de neuronavigation. Cette neuronavigation
peut se faire dans les images préopératoires, dans les images peropératoires ou dans le modèle
du patient créé à partir des images préopératoires et remis à jour par des informations peropé-
ratoires. La position du pointeur de neuronavigation et, éventuellement, d'autres outils dont
Validation des systèmes de chirurgie guidée par l'image 21
la position est suivie par un des systèmes de localisation, s'ache sur les coupes de l'examen
préopératoire comme le montre la gure 1.10. Pour obtenir cette fonctionnalité, un repère de
Fig. 1.10 Système de neuronavigation commercial. Le neurochirurgien montre un point sur

le crâne du patient et peut voir sa position dans l'examen préopératoire, aché sur l'écran au
fond de la salle.
coordonnées est déni par rapport au patient. Sur la gure 1.10, ce repère est déni par la croix
attachée au-dessus de la tête du patient. La position de l'outil est donnée dans ce repère grâce
à un système de localisation. La transformation géométrique entre les images préopératoires
du patient et le patient sont calculées par recalage, c'est-à-dire en cherchant la transformation
géométrique qui permet de superposer des éléments semblables sur l'image et le patient, par
exemple des pastilles collées sur la tête du patient depuis l'acquisition des images, ou encore
des duciaires naturels comme le nez ou le tragus. La transformation est ensuite appliquée aux
images préopératoires an de les exprimer dans le repère patient. Cependant, durant une inter-
vention de neurochirurgie, l'anatomie du patient subit des déformations, imprévisibles comme
nous le verrons dans le chapitre 4. La décision du neurochirurgien repose alors sur des modèles
préopératoires, du patient ou de la chirurgie, qui sont devenus obsolètes suite à ces déforma-
tions. Une façon de résoudre ce problème est d'utiliser des images directement acquises pendant
l'intervention. De cette manière, le chirurgien a une image à jour du patient. Cette solution est
également adaptée aux urgences, où l'acquisition d'images préopératoires n'est pas possible.
La gure 1.11 présente une salle d'opération créée pour le guidage par l'image peropératoire.
La navigation se fait alors dans les images acquises en cours d'intervention [NKG+ 01]. Dans
ce cas, la mise à jour du modèle patient et du modèle de la chirurgie est faite en achant
les nouvelles images peropératoires. Cependant, le neurochirurgien ne prote pas de la phase
de décision préopératoire. La solution vers laquelle tendent les stations de neuronavigation est
le guidage par l'image préopératoire, mise à jour par l'image peropératoire. De cette manière,
le neurochirurgien prote, à la fois, des avantages de sources de données multimodales et de
l'avantage de l'image peropératoire.
1.6 Validation des systèmes de chirurgie guidée par l'image

La problématique de la validation est une problématique complexe. La validation consiste
à étudier des critères dans un contexte particulier et à pouvoir chirer ces critères par des
métriques. Selon le niveau de validation auquel on se situe, le chirement des critères est plus
ou moins aisé. Pour un niveau de validation technique, les critères et leurs métriques sont
maîtrisés. Il existe des formalisations, notamment pour la validation utilisant des méthodes de
Fig. 1.11 Salle d'opération multimodale AMIGO (Advanced Multimodality Image Guided
Operating). Trois salles d'opération sont connectées par des rails pour le transport du patient.
Les deux pièces aux extrémités orent respectivement une IRM 3 teslas et un TEP/CT. Illus-
tration tirée de [Hat06]
références pour la comparaison. Par contre, la validation à des niveaux supérieurs, au niveau
patient, au niveau socio-économique ou même éthique, est beaucoup plus dicile à formaliser. La
dénition de critères chirés est dicile et les études nécessitent des essais de grande envergure,
multi-centriques et sur une durée susante pour prendre le recul nécessaire. Nous n'aborderons
pas les niveaux supérieurs d'évaluation dans cette thèse. Nous allons présenter la formalisation
pour la validation technique avec référence, exposée dans [JGM06]. Une procédure de validation
basée sur la comparaison avec une référence peut être décrite par :
le contexte clinique de la validation,
l'objectif de la validation, et l'hypothèse qu'elle doit vérier,
le nombre et les caractéristiques des données de validation : il peut s'agir de données
synthétiques, cliniques, de fantômes physiques ou provenant d'une base de données ré-
trospectives,
le type et le format de la référence,
la méthode pour calculer la référence,
la ou les fonctions de normalisation : La normalisation consiste à transformer le format
de sortie des méthodes avant comparaison,
les entrées de la comparaison,
la fonction de comparaison,
le type de la divergence calculée (intrinsèque, globale, intra ou inter méthodes),
la ou les indices de qualité,
le ou les tests statistiques utilisés pour valider ou réfuter l'hypothèse de départ.
Nous utiliserons cette formalisation pour l'évaluation des performances des systèmes proposés.
1.7 Conclusion
Nous avons vu que les sources d'information dont disposait le neurochirurgien étaient nom-
breuses et complémentaires. La neuronavigation, restée longtemps monomodale, tends donc
Conclusion 23
plutôt vers la neuronavigation multimodale, orant un modèle patient de plus en plus infor-
matif. La neuronavigation qui était classiquement faite sur les images préopératoires, rendues
obsolètes au cours de l'intervention à cause des déformations, tend à utiliser l'imagerie peropé-
ratoire. Aujourd'hui, les limitations de l'imagerie peropératoire restreignent leur usage en salle à
une modalité. La meilleure manière de conserver un modèle patient riche en informations est de
le construire en préopératoire et de le mettre à jour à l'aide d'images peropératoires. Quelques
études ont cherché à démontrer l'intérêt de la neuronavigation monomodale sur image préopé-
ratoire. Dans [PWKT00], il est montré sur 100 patients pendant une étude de 3 ans et demi que
le coût par patient est 20% moindre avec l'utilisation de la neuronavigation qu'en craniotomie
standard. Le temps de séjour est 50% moins élevé qu'avec une chirurgie standard, le temps
d'intervention est également plus court. L'intérêt de la présence d'information fonctionnelle a
également été étudiée [GFN+ 99]. A notre connaissance, l'intérêt de la mise à jour peropératoire
du modèle patient et de la chirurgie n'a pas été démontré. Les stations de neuronavigation
limitent souvent aujourd'hui l'achage du lien patient-image à l'achage de la position du
pointeur de neuronavigation dans l'image préopératoire monomodale. Lorsqu'un microscope
chirurgical est utilisé, le modèle patient, limité à la cible, et le modèle de la chirurgie, limité à la
trajectoire, peuvent être achés en 2D dans un des binoculaires du microscope. Il nous a semblé
que la visualisation du modèle patient pouvait être améliorée. Ces modèles restent par ailleurs
gés pendant l'opération. Or des déformations anatomiques dues à l'intervention chirurgicale
déforment le cerveau et rendent obsolète le modèle du patient. Notre objectif est d'améliorer
ces deux aspects en proposant, d'une part, un nouveau mode de visualisation peropératoire du
modèle patient et, d'autre part, de prendre en compte les déformations peropératoires. Dans
l'étude que nous allons présenter, nous avons cherché à évaluer les solutions proposées, mais
en nous limitant aux niveaux techniques, tout en ayant conscience des niveaux supérieurs de
validation. Ces niveaux nous ont poussés à nous orienter vers une solution peu coûteuse et
venant s'intégrer naturellement à l'existant : la station de neuronavigation et le microscope
chirurgical. La partie suivante est consacrée à la visualisation en chirurgie guidée par l'image.
Elle est composée d'un état de l'art de la visualisation des modèles patient et chirurgie pendant
les interventions chirurgicales et de la présentation du système proposé.
Première partie
Visualisation Peropératoire en
Neurochirurgie Guidée par l'Image
25
Chapitre 2
État de l'Art de la Visualisation

mixte peropératoire en chirurgie
guidée par l'image
Le but de la visualisation peropératoire dont ce chapitre se veut un état de l'art, est de

faciliter la compréhension du modèle du patient par rapport au patient pendant la chirurgie en
intégrant les deux dans un espace de perception commun, d'où le terme de visualisation mixte.
La chirurgie peut se dénir comme un processus d'identication d'un problème puis de sa ré-
solution sans créer de dommages collatéraux. La fusion du modèle du patient avec le patient,
et du modèle de la chirurgie avec la chirurgie, permet de passer d'un processus mental, manuel
et subjectif à un processus visuel, quantitatif et objectif.
Le chapitre se décompose de la manière suivante. Dans la première section 2.1, nous donnons
les dénitions des concepts, utilisés dans le reste de ce chapitre. Les solutions proposées dans la
littérature sont nombreuses. Nous avons donc choisi de faire ressortir les choix possibles, pour
chaque case d'une classication générale des systèmes de visualisation mixte. Deux classica-
tions de systèmes de visualisation mêlant modèles et réalité sont présentées dans la section 2.2.
La classication utilisée pour l'état de l'art, inspirée des deux classications précédentes, est
présentée dans la section 2.3. Les diérentes solutions proposées dans la littérature sont pré-
sentées dans la section 2.4. Nous présentons ensuite les contraintes propres à l'utilisation d'un
système de visualisation mixte, en salle d'opération, dans la section 2.5. La liste des sources
d'erreurs à anticiper lors de la conception d'un système de visualisation mixte est donnée dans
la section 2.7, en parcourant les diérentes briques qui constituent un tel système. Les conclu-
sions par rapport à notre système et à la neurochirurgie en particulier sont discutées dans la
section 2.8.
2.1 Dénition des concepts

2.1.1 Domaine d'application
Dans ce chapitre, on s'intéresse uniquement à la visualisation, peropératoire, des images
médicales du patient dans un contexte de chirurgie guidée par l'image. Nous n'aborderons
pas la visualisation préopératoire pour la préparation du geste chirurgical, ni la simulation de
geste chirurgical, ni les contrôles postopératoires. La visualisation mixte peropératoire a pour
27
28 État de l'Art de la Visualisation mixte peropératoire
objectifs : de redonner leur contexte spatial aux modèles du patient et de la chirurgie, de rendre
explicite le lien patient-modèle, de faciliter la gestion d'information par le chirurgien et de créer
une relation entre la préparation et l'exécution de la chirurgie [Liv05]. Le lieu d'application est
le bloc opératoire. L'utilisateur principal de la visualisation peropératoire est le chirurgien. Il
y a cependant d'autres utilisateurs qui doivent être pris en compte dans le bloc. Les acteurs
de base sont : le chirurgien, l'anesthésiste et les inrmières de bloc opératoire ou d'anesthésie.
Il faut y rajouter des acteurs optionnels, qui ne sont donc pas systématiquement présents aux
interventions, à savoir l'aide opératoire (chirurgien conrmé ou en formation) et des chirurgiens
en formation.
2.1.2 Réalité et virtualité en chirurgie

La visualisation peropératoire passe par le concept de visualisation mixte, qui mélange la
réalité et la virtualité. Avant de présenter les systèmes de visualisation mixte, il nous semble
utile de préciser la dénition que nous donnons à ces deux notions et aux notions adjacentes
dans le cadre de notre domaine d'application. La réalité et la virtualité ont une diérence dénie
dans le dictionnaire comme ce qui est actuel contre ce qui est possible ou potentiel . Dans
notre domaine d'application, les termes de réalité augmentée (RA) ou virtualité augmentée
(VA) sont acceptés. Nous cherchons donc à respecter cette taxonomie. Cependant ces termes
sont ambigus au regard des diérentes possibilités que nous présenterons dans l'état de l'art,
section 2.4. Nous discuterons plus tard de leur pertinence.
Réalité : La réalité est un concept en visualisation mixte qui correspond à ce qui est actuel
et non synthétisé. L'environnement réel dans notre domaine d'application inclut la salle
d'opération, ses acteurs, le patient et le matériel, par exemple les outils utilisés pour agir sur
les tissus du patient ou les écrans. La notion d'environnement réel est liée à celle de perception
réelle : l'environnement réel est dénit comme tout ce qui entoure le chirurgien et qui est
visible par le chirurgien de façon directe ou indirecte (voir la dénition des capteurs plus bas).
L'environnement réel a quatre dimensions continues, que ce soit celles de l'espace ou du temps.
Un objet réel est un objet qui est présent physiquement dans l'environnement réel et qui
est donc une partie de la réalité. Il existe même sans avoir été modélisé. C'est le cas, par
exemple, de la lésion du patient. Un capteur capte le réel et le transforme en signal électrique,
interprété par notre cerveau, ou par une machine, dans le cas de l'imagerie médicale ou de la
localisation d'outils. Un objet réel est donné en entrée du système de perception du chirurgien
ou d'un système d'imagerie peropératoire. Le chirurgien tire les informations réelles de son
interprétation de la perception directe de l'objet ou de son interprétation de la perception de
l'imagerie peropératoire, elle-même capteur. Les capteurs propres au chirurgien sont sa vue, son
goût, son odorat, son toucher et son ouïe. Cependant, dans le domaine d'application déni, on ne
s'intéresse qu'à la visualisation et donc au sens de la vue. On peut rajouter aux capteurs propres
au chirurgien les autres capteurs oerts par l'environnement réel, par exemple les localisateurs
de position d'outils chirurgicaux, les caméras vidéo ou encore l'imagerie peropératoire. On
parlera de capteur direct lors de la perception de la réalité par l'utilisateur (c'est-à-dire en
utilisant la vue dans notre contexte de visualisation mixte) et de capteur indirect lorsque
la perception utilise un enchaînement de capteurs. Par exemple, un capteur indirect est une
IRMi pour une lésion visible avec ce type de modalité. La représentation visuelle d'un
objet réel est la manière dont il est fourni visuellement à l'utilisateur, après que l'objet a
été perçu par un capteur. En conservant notre exemple de la lésion, sa représentation visuelle
peut être 2D, sur une coupe de l'IRMi, et liée à la diérence d'intensité du signal visible. Une
information réelle est une information déduite de la représentation visuelle d'un ou plusieurs
objets réels. Dans notre exemple, l'information déduite de la perception de la lésion est sa taille
Dénition des concepts 29
approximative et sa position dans le cerveau du patient. L'information indirecte donnée par

l'enchaînement de plusieurs capteurs du réel reste une information réelle dans notre dénition.
L'exemple d'enchaînement indirect le plus simple est la visualisation par le chirurgien d'une
imagerie peropératoire.
Virtualité : La virtualité dans notre domaine d'application est un concept qui caractérise
le modèle patient. L'environnement virtuel, dans notre domaine d'application, est un envi-
ronnement complètement synthétisé par ordinateur et dans lequel les dimensions sont discrètes
et à nombre variable. Il n'y a pas de contraintes de visualisation dans un environnement virtuel,
contrairement à l'environnement réel dont la perception est contrainte par la pose du capteur.
La virtualité, dans notre domaine d'application, est ce qui appartient à l'environnement vir-
tuel tel que nous venons de le dénir. Un objet virtuel est un objet qui appartient au modèle
patient ou au modèle chirurgie et représente potentiellement le patient ou la chirurgie. Il peut
être un modèle de la réalité, par exemple de l'anatomie du patient ou une information qui n'a
pas d'équivalent dans la réalité, par exemple une trajectoire, ou encore une étiquette pour nom-
mer un sillon. Un objet virtuel se perçoit de la même manière que le réel à l'aide des capteurs
naturels de l'utilisateur. Il existe uniquement sous une forme informatique. Il n'existe que pour
donner une information à l'utilisateur et que si son existence présente un intérêt pour l'utilisa-
teur contrairement à la réalité. La représentation visuelle d'un objet virtuel est la manière
dont il est fourni visuellement à l'utilisateur. Une information virtuelle est l'information dé-
duite de la perception d'un ou plusieurs objets virtuels. Elle n'est pas connectée avec le temps
courant. Dans notre domaine d'application, un exemple d'information virtuelle est la trajectoire
dénie lors de la phase de préparation du geste chirurgical. L'objet virtuel associé peut être
une droite. L'information virtuelle est la direction de la trajectoire, le point d'entrée et le point
cible. Un autre exemple d'information virtuelle au moment de l'opération est l'emplacement de
la tumeur cérébrale révélé par l'IRM préopératoire. Les objets virtuels donnant cette informa-
tion peuvent être la représentation de la tumeur en 3D couplée à celle de la peau du patient en
transparence et en 3D. La virtualité apporte des informations qui sont complémentaires à celles
de la réalité puisqu'elles n'existent que pour l'expliquer. Le problème est alors de représenter
visuellement le lien entre la réalité et la virtualité quand il existe. Dans notre domaine d'ap-
plication, l'appartenance d'une modalité d'imagerie peropératoire à la réalité ou à la virtualité
est ambiguë. L'imagerie peropératoire est utilisée à deux nalités : la première est de servir de
support de visualisation et la deuxième est de mettre à jour le modèle du patient. La dualité de
l'imagerie peropératoire nous pousse à considérer que l'imagerie peropératoire, utilisée comme
support de visualisation, est un objet réel. L'imagerie peropératoire, utilisée dans une nalité
de mise à jour du modèle patient ou chirurgie, est une information virtuelle, puisque la mise
à jour est réalisée par calcul de déformation. Cette deuxième utilisation sera détaillée dans le
chapitre 4.
2.1.3 Dénition d'un système de visualisation mixte

La visualisation mixte consiste à fusionner dans un même environnement, qu'il soit réel
ou virtuel, des informations réelles et virtuelles. Selon le type d'environnement dans lequel
les informations sont données, on parle de RA ou de VA. Le terme de VA peut surprendre
dans la communauté de l'imagerie médicale et de la chirurgie guidée par l'image, qui préfère
généralement parler de réalité virtuelle, même lorsque l'environnement virtuel est augmenté
par des informations réelles. Cependant, ce terme est accepté par la communauté de vision et
des interfaces homme machine [Ake98, MC99] et nous l'utiliserons. Nous reconnaissons tout de
même que ces termes de réalité et virtualité ne sont pas parfaitement adaptés à notre domaine
et nous ressentons le besoin de les redénir. Les termes devront certainement être changés à
terme mais dans cette thèse, nous conserverons cette taxonomie. En visualisation non mixte, les
informations réelles sont proposées au chirurgien dans l'environnement réel par sa perception
des objets réels. Les informations virtuelles sont proposées au chirurgien dans l'environnement
virtuel par sa perception des objets virtuels. En VA, le chirurgien peut avoir des informations
à la fois réelles et virtuelles dans l'environnement virtuel. En RA, le chirurgien peut avoir des
informations à la fois réelles et virtuelles dans l'environnement réel. Le but de la visualisation
mixte est d'automatiser cette tâche et donc de la rendre plus objective en permettant la fusion
visuelle des informations.
2.2 Classications de systèmes de visualisation mixte

Cette volonté de mélanger les informations réelles et virtuelles n'est pas propre à la chirurgie
et on trouve de nombreuses classications de ces approches. On citera en particulier la dénition
des continua de Milgram [MC99] et la taxonomie de Dubois [Dub01].
2.2.1 Les continua de Milgram

Un système de visualisation mixte, que Milgram nomme réalité mixte, correspond à un seg-
ment ou à un point sur chacune des lignes qui dénit un continuum. Il en diérencie trois.
La gure 2.1 décrit ces trois continua qui inter-situent les systèmes de réalité mixte. Le pre-
Fig. 2.1 Dénition du continuum de la réalité mixte par [MC99]. Trois continua rentrent
en compte, selon l'auteur, pour classer un système mêlant réalité et virtualité. Le premier
continuum est divisé en trois continua supplémentaires.
mier continuum est le rapport entre réel et virtuel de la visualisation. Aux deux extrêmes de
ce continuum, on trouve, respectivement, la réalité pure et la virtualité pure. On distingue la
virtualité et la réalité par la modélisation ou l'absence de modélisation, respectivement, d'infor-
mations réelles. Un système correspondant à un segment sur ce continuum serait, par exemple,
un système de RA où la quantité d'information ajoutée serait ajustable dynamiquement. A
l'intérieur de ce continuum réel-virtuel, Milgram dénit trois autres continua (à droite sur la
gure 2.1), qui représentent respectivement l'apport au monde réel, la délité au monde réel et
la sensation de présence. Les deux autres continua servent à dénir la manière dont un système
de visualisation gère la diérence de dimensions et de contraintes entre la réalité et la virtualité
Classication proposée 31
pour la fusion qu'est la visualisation mixte. La visualisation du réel est contrainte par la pose du
capteur, alors que celle du virtuel ne l'est pas. Comment obtenir alors une base de visualisation
commune pour ces deux types d'informations de contraintes de visualisation diérentes ? Ces
deux autres continua sont dits de centrisme et de cohérence. L'un règle la question du point de
vue et le deuxième celle des dimensions, notamment temporelles. Le continuum de centrisme
est plus adapté à une classication des systèmes de visualisation mixte pour des commandes à
distance. Les deux extrêmes sont l'égocentrisme et l'exocentrisme. Dans le premier extrême, la
visualisation est faite comme si on se plaçait à l'intérieur du système à commander. L'exocen-
trisme consiste à avoir une vision plus globale, par exemple en lmant de l'extérieur le système à
commander. Le continuum de cohérence entre l'achage et le contrôle qualie la perception du
réel. Un système de visualisation incohérent est, par exemple, celui qui acherait uniquement
la vidéo provenant d'un endoscope, sans information liée à son orientation dans le monde réel.
Il est possible que la caméra soit à l'envers. Lorsque le chirurgien veut s'éloigner d'un point
situé à droite sur l'image qu'il perçoit provenant de la caméra de l'endoscope, il ne saura pas
s'il faut bouger l'endoscope vers la droite ou vers la gauche. Un autre type d'incohérence est le
taux de rafraîchissement faible de la représentation visuelle d'un objet réel en mouvement. Un
système cohérent est, par exemple, un système de RA basé optique avec achage de contours
d'informations virtuelles par projection dans le microscope chirurgical en neurochirurgie avec
craniotomie. Les objets virtuels ne cachent pas la vue du réel, les outils sont directement vus
dans le microscope. La représentation visuelle de la réalité est celle directement perçue par
l'utilisateur.
2.2.2 Taxonomie centrée sur l'utilisateur

Une autre taxonomie très intéressante est celle présentée dans la thèse de doctorat de Dubois
[Dub01]. Cette taxonomie classe non seulement la visualisation, mais aussi tous les systèmes
d'apport supplémentaire d'informations, comme le retour haptique ou les avertissements so-
nores. Il parle plutôt de système mixte que de visualisation mixte. Cette taxonomie a pour but
d'être un compromis entre les approches de la communauté Interfaces Homme Machine et de
celles de la Synthèse d'Images. Les éléments permettant de classer les systèmes mixtes sont :
L'objet de la tâche, qui peut être :
- virtuel, pour les simulations de préparation du geste chirurgical ou pour les simulations
à but pédagogique, ou encore la simulation d'endoscopie pendant une opération.
- ou réel, pour le soin du patient.
L'augmentation peut avoir pour objectif :
- l'évaluation (typiquement les systèmes de RA), c'est-à-dire l'aide à la décision.
- l'exécution (typiquement les retours haptiques)
- à la fois l'exécution et l'évaluation
2.3 Classication proposée

Nous allons ici faire un tour d'horizon de la littérature concernant la visualisation peropé-
ratoire en chirurgie en se basant sur la taxonomie suivante, inspirée des visions de Milgram et
Dubois. Elle est basée sur la dénition des concepts de la section 2.1. Les éléments à prendre
en compte pour caractériser un système de visualisation mixte en chirurgie sont les suivants :
1. La tâche à réaliser : cette tâche peut être l'intégralité d'une chirurgie particulière,
une tâche particulière commune à plusieurs chirurgies ou encore une étape à réaliser
particulière dans une chirurgie particulière. La dénition de la tâche à réaliser permet de

dénir l'objectif du système de visualisation mixte. Ce sera l'objet du paragraphe 2.4.1.
2. La base de la visualisation (réelle ou virtuelle) : comme l'a déni Milgram et dans le
respect des dénitions données en 2.1, le type d'environnement dans lequel sont fusionnées
les informations virtuelles et réelles diérencie la RA de la VA. Il est cependant parfois
dicile de faire la diérence entre les deux. Les dénitions que nous avons posées des
environnements réel et virtuel nous permettent de classer une base de visualisation comme
virtuelle uniquement si sa visualisation n'est pas contrainte par la pose du capteur. Ce
sera l'objet du paragraphe 2.4.2. On précisera alors, pour toutes les informations déduites
de la base de visualisation :
leurs représentations visuelles ;
leur sémantique : par exemple, dans le cas d'une base réelle, s'agit-il de la surface externe
du patient, est-elle focalisée sur le champ opératoire, ou s'agit-il de données sous la
surface ? Dans le cas d'une base virtuelle, est-ce que ce sont des images préopératoires ou
des modèles issus de connaissance génériques ? Dans tous les cas, est-ce une information
anatomique, stratégique ou fonctionnelle ?
leur dimension : à la fois spatiale et temporelle ;
le capteur dans le cas d'une base réelle : quel est le capteur et le support matériel pour
ce capteur ? Utilise-t-on des dispositifs cliniques déjà en salle, ajoute-t-on de nouveaux
dispositifs ou remplace-t-on les dispositifs utilisés en salle par de nouveaux dispositifs ?
3. Les informations ajoutées
leur type : classiquement virtuelle pour la RA et réelle pour la VA ;
leur sémantique : stratégiques, comme la trajectoire chirurgicale planiée ; anatomiques
comme la zone cible, les zones à éviter, ou les amers chirurgicaux ; fonctionnelles, comme
des informations sur l'élongation d'un muscle ou le rythme cardiaque ;
leur dimension dans leur environnement d'origine : toujours 4D pour la réalité mais
pouvant être de dimension moindre en virtualité ;
la dimension de leur représentation visuelle dans la base de visualisation.
Ce sera l'objet du paragraphe 2.4.3.
4. La technologie utilisée pour fusionner informations réelles et virtuelles en se focalisant
sur le support matériel pour l'achage : par exemple, un casque, un projecteur. Ce sera
l'objet du paragraphe 2.4.4.
5. Le lieu de perception : c'est l'endroit où l'utilisateur doit regarder pour bénécier
de la visualisation mixte, i.e., la zone de l'environnement réel où l'utilisateur focalise son
attention pour avoir les informations virtuelles et réelles. Cela peut être le patient, un écran
extérieur ou encore la totalité de l'environnement réel, dans le cas d'un dispositif casque
qui acherait des informations virtuelles sans lien de localisation avec l'environnement
réel, comme la température du patient ou son rythme cardiaque sous forme de chire. Il
n'y a pas d'exemple de ce type dans la littérature en chirurgie guidée par l'image. Le lieu
de perception est généralement une conséquence de la technologie utilisée et sera traité
dans le paragraphe 2.4.5.
6. Le type d'interaction de l'utilisateur avec le système de visualisation mixte. Peut-
il se déplacer dans l'environnement virtuel avec une souris ou avec un outil, comme le
pointeur du système de neuronavigation en neurochirurgie ? Peut-il manipuler les infor-
mations réelles et virtuelles et choisir la quantité d'information qui lui est proposé et si
oui comment ? Cette question importante sera discutée dans le paragraphe 2.4.6. Elle est
souvent négligée par les systèmes de visualisation et peu d'auteurs s'intéressent à ce point
[NMT04, MNT05b, MNT05a].
État de l'art des systèmes de visualisation mixte pour la chirurgie 33
Nous prenons pour exemple, explicatif de cette classication, les deux modes de visualisation
proposés par les systèmes de neuronavigation classiques (par exemple la StealthStation de Med-
tronic, Boulder, Etats-Unis). Ces deux systèmes sont la réalité augmentée dans un oculaire du
microscope et la virtualité augmentée sur un écran extérieur. Dans le cas de la réalité augmentée,
la tâche à réaliser considérée est la chirurgie entière. La base de visualisation est réelle, il s'agit
de la vue dans les oculaires du microscope, donc focalisée sur le champ opératoire. Les informa-
tions ajoutées sont virtuelles, il s'agit de la cible, segmentée dans l'examen préopératoire, et de
la trajectoire chirurgicale planiée. Ces informations de dimension d'origine 3D sont achées
en 2D, et d'une seule couleur verte. La technologie utilisée est un projecteur VGA projettant
les contours dans un des deux oculaires du microscope. Le lieu de perception de l'augmentation
est alors le champ opératoire. L'intéraction avec le neurochirurgien est limitée au choix binaire
de l'achage d'une de ces deux informations, et au choix par changement de focal du plan
d'intersection des contours. La manipulation est faite par la panseuse (l'inrmière circulante).
Dans le cas de la virtualité augmentée du système de neuronavigation, la base de visualisation
est virtuelle. Il s'agit à la fois des coupes de l'examen préopératoire, et d'un rendu volumique de
cet examen. Les informations ajoutées sont à la fois virtuelles, pour la trajectoire chirurgicale
planiée, et réelles, pour la position du pointeur de neuronvigation. L'achage dans les coupes
2D est 2D, et celui sur le rendu volumique est 3D. Le lieu de perception est un écran extérieur,
placé à coté ou en face du neurochirurgien. L'intéraction avec ce mode de visualisation peut
etre faite soit par la panseuse, soit par le neurochirurgien, par l'intermédiaire du déplacement
du pointeur, ou par le changement de focal ou de position du microscope chirurgical dont la
position est suivie.
Dans la section suivante, nous allons donner les diérents éléments rencontrés dans la litté-
rature correspondants à chacun de ces points. Nous présenterons ensuite, dans la section 2.5,
les contraintes liées à notre domaine d'application tel que déni dans le paragraphe 2.1.1. Ces
contraintes sont en quelques sortes les spécications d'un système de visualisation mixte en
chirurgie. Dans la section 2.6, nous dresserons un bilan de l'état de l'art par rapport aux spéci-
cations. Avant de présenter notre solution, nous chercherons à anticiper les sources d'erreurs
d'un tel système dans la section 2.7.
2.4 État de l'art des systèmes de visualisation mixte pour

la chirurgie
2.4.1 Tâche à réaliser
La tâche à réaliser est un des éléments qui dénit un système de visualisation mixte puisque
les informations ajoutées et le matériel utilisé dépendent de cette tâche. Nous distinguerons,
dans cette section, les tâches dénies comme une chirurgie complète des tâches correspondant
à la réalisation d'une étape particulière de la chirurgie.
Tâche dénie comme une chirurgie complète. Commençons par considérer le type de
chirurgie par organe. La neurochirurgie [FSHR89, GKA+ 94], la chirurgie des scolioses [PTE95],
la chirurgie maxillo-faciale [NGH+ 05] ou orthopédique [MHT+ 03, dlFOS+ 05, AKDJ03, LYJ03]
ont en commun que les organes ou os concernés sont attachés à point xe et ont donc des mou-
vements limités et considérés rigides. Le type d'organe considéré implique certaines hypothèses
pour les systèmes de visualisation mixte. Par exemple, en neurochirurgie le cerveau a long-
temps été considéré comme un organe rigide et les systèmes de visualisation mixte se basaient
uniquement sur l'imagerie préopératoire. Nous verrons, dans la suite de ce chapitre, que cette
hypothèse en neurochirurgie n'est valable que jusqu'à la craniotomie. La visualisation mixte sur
organe mou pose des problèmes importants de suivi des déformations, notamment sur le foie
[NGP+ 05] ou le coeur.
Une autre manière de dénir une chirurgie complète est de la caractériser par le matériel uti-
lisé. Le matériel apporte alors un nouveau capteur, par exemple lors de l'utilisation d'ima-
gerie peropératoire[GGS+ 05, NBG+ 01], d'endoscope [SBM+ 02] ou de microscope chirurgical
[FSHR89, LM95]. L'utilisation d'un matériel spécique implique également des besoins d'in-
formation particuliers. En endoscopie, par exemple, la coordination main-oeil et le contexte
autour de l'endoscope sont des points particulièrement importants, puisque le champ de vue de
l'endoscope est très petit. Les chirurgies avec ces matériels se prêtent particulièrement bien à
la visualisation mixte puisque les images de l'endoscope, du microscope et les images peropé-
ratoires peuvent être récupérées au format numérique, sans modier le ux d'action chirurgical
et le matériel utilisé en salle d'opération. elles inuencent ainsi le choix de la technologie.
Tâche dénie comme un objectif particulier durant la chirurgie Nous souhaitons

maintenant nous focaliser sur la tâche spécique pour laquelle les systèmes de visualisation
mixte ont pu être conçus. L'insertion d'aiguille est une tâche demandant une localisation précise.
C'est une application typique de visualisation mixte [FDS+ 06, FDF+ 05, MMN+ 00]. En eet,
le chirurgien n'a pas accès à la visualisation directe des organes. Des systèmes de visualisation
mixte ont ainsi été développés pour l'insertion d'aiguille de radiothérapie (Radio Frequency
Ablation)[NGP+ 05], [DSS+ 06] ou d'aiguille de biopsie [WVK+ 06]. Le but de la plupart de
ces systèmes est la localisation de la lésion ou le suivi de trajectoire. En neurochirurgie, on
peut diérencier plusieurs tâches où la visualisation mixte a été utilisée : la dénition de la
craniotomie optimale de façon à la centrer sur la lésion [GEW+ 96], la localisation de zone à éviter
[GGS+ 05], ou encore la localisation macroscopique1 de la lésion après déformations [GNK+ 01]
et [NBG+ 01]. Lors de la craniotomie, par exemple, le neurochirurgien a besoin de beaucoup
d'espace devant lui. Il éloigne le microscope chirurgical de son champ de vision et d'action. Une
solution proposée dans la littérature [FSHR89] est d'utiliser les oculaires du microscope avec des
informations virtuelles. Les informations ne sont plus disponibles au moment de la craniotomie
suite au retrait du microscope et le chirurgien ressent la nécessité de concrétiser ces informations
en dessinant les contours avec un crayon sur la peau du patient comme le montre les images de
la gure 2.2. D'autres technologies ne gênant pas le chirurgien dans ce type d'opération sont
alors à préconiser, comme la projection directe sur le patient ou sur un écran extérieur. Les
informations ajoutées dièrent selon la tâche de l'intervention : pour réaliser la craniotomie,
le neurochirurgien a besoin de tout le contexte. Pour l'accès à la lésion, les informations utiles
sont la trajectoire, la zone cible, les zones à éviter et les repères. Pendant la tâche de résection,
le neurochirurgien a besoin de la localisation de la lésion et des zones à éviter proches de la
lésion.
2.4.2 Base de visualisation

La base de la visualisation dénit deux types diérents de systèmes de visualisation mixte :
la réalité augmentée (RA) et la virtualité augmentée (VA).
En RA La base de visualisation est réelle et sa pose est limitée par celle du capteur. Dans la
littérature, il y a principalement trois choix diérents de capteur : la vue optique, la vidéo ou
une modalité peropératoire d'imagerie médicale.
1 Nous parlons ici de localisation macroscopique par rapport à la possible localisation cellulaire, comme décrit
dans le chapitre 1 et qui n'a pas encore été utilisée en visualisation mixte, mais qui est une nouvelle modalité
d'imagerie très prometteuse
(a) (b)
Fig. 2.2 RA par achage des contours 2D d'informations de types anatomiques dans l'oculaire
gauche du microscope chirurgical en neurochirurgie (a) avant rasage (b) après rasage. La base de
visualisation est réelle et optique. Le chirurgien ressent le besoin de concrétiser, par un dessin,
l'image virtuelle, ce qui se justie par le fait que le microscope soit retiré du champ pour la
craniotomie.
Dimensions de la représentation visuelle La représentation visuelle de la base de visua-

lisation peut être 2D, dans le cas de la vidéo [UK95], y compris l'endoscopie, l'IRMi ou les
acquisitions échographiques 2D. L'utilisateur voit ce que capture le capteur, en 2D, avec la ré-
solution temporelle du capteur. Lorsque la base de visualisation réelle est optique, l'information
visuelle a les mêmes dimensions continues que la réalité. C'est le cas lorsque le chirurgien re-
garde directement le patient ou lorsqu'un système optique binoculaire est utilisé. Une technique
de vidéo stéréoscopique a également été présentée dans [WBHS02]. Le même principe avait éga-
lement précédemment été utilisé pour la chirurgie des scolioses par [PTE95]. Cette technique
de vidéo stéréoscopique a également été utilisée dans [TSH+ 06] pour l'orthopédie. Comme on
vient de le souligner, la visualisation 3D d'information réelle est possible même sans utiliser une
base optique qui permet d'utiliser le système de perception de profondeur performant qu'est le
système optique humain. L'acquisition de la vidéo à partir d'une caméra est 2D sauf en vidéo-
graphie [LHN+ 04]. Pour pouvoir acher une vidéo 3D, quelle que soit la technique d'achage
3D utilisée, il faut pouvoir retrouver la profondeur de la vidéo 2D. Plusieurs techniques sont
utilisées en visualisation mixte en chirurgie : l'usage de deux caméras ou d'une seule caméra
par l'utilisation d'une lumière structurée pour retrouver la profondeur. Nous reviendrons sur ces
méthodes dans le chapitre suivant 3.1. L'intérêt d'une vision de base réelle 3D pour la visualisa-
tion mixte peut être discutée. S'il est indéniable que la 3D apporte une meilleure perception des
distances, l'intérêt de l'usage de la 3D en endoscopie n'est pas réellement démontré [Pet06] et les
chirurgiens en coelioscopie ne semblent pas considérer l'intérêt d'une vision de base réelle 3D,
sauf éventuellement pour la réduction de la courbe d'apprentissage des chirurgiens. Cependant,
l'intérêt de la vision stéréoscopique pour la base de visualisation réelle a été démontré pour la
vidéo endoscopique dans le cadre de chirurgie assistée par robotique uniquement [MMD+ 04].
Vidéo ou Optique ? La base de la visualisation peut être vidéo ou optique comme nous
l'avons souligné. Dans le cas où la base est vidéo, il s'agit d'un capteur indirect alors que dans
le cas de l'optique, le capteur est direct. Les avantages et inconvénients de ces deux bases ont
été soulignés par Azuma dans [Azu97]. Les avantages de l'optique sont tout d'abord son coût
faible et le fait de n'avoir qu'un seul ux vidéo à gérer alors que la vidéo demande de gérer
à la fois le ux vidéo réel et virtuel. La fréquence de rafraîchissement des informations réelles
est similaire à celle du capteur direct, ce qui correspond à la contrainte de réaction au réel
de la sous-section 2.5.3. De plus, l'optique n'entraîne pas de diminution de la résolution du
réel contrairement à la vidéo. En cas de coupure de l'alimentation, le système de RA basé

optique transmettra la lumière du monde réelle de façon fortement atténuée, à la manière
de lunettes de soleil, tandis qu'un système vidéo cessera toute transmission de la vidéo, ce
qui rendra temporairement l'utilisateur aveugle. Le dernier avantage souligné de l'optique par
Azuma est la gestion plus simple du déplacement des yeux. En eet, la base vidéo ne se modie
pas en fonction du déplacement du regard de l'utilisateur. La solution est de mettre en place
un système de suivi de la position de la pupille, ou un système de miroir, ce qui complique
considérablement la gestion de la vidéo. Les avantages soulignés par Azuma d'une base vidéo
réelle par rapport à une base de visualisation optique est que la vidéo peut être combinée à
volonté avec la virtualité. On peut ainsi faire le choix de l'occultation complète de la réalité par
la virtualité à certains endroits stratégiques (exemple d'occultation gure 2.8). Ce type de choix
va cependant à l'encontre de la contrainte de réaction immédiate. Le problème des systèmes
de visualisation à base réelle optique est également un problème de confort de visualisation :
l'utilisateur doit alterner la mise au point de son oeil, entre la surface regardée et le plan de
projection des informations virtuelles, ce qui peut aller à l'encontre de la contrainte de réduction
de l'eort cognitif du neurochirurgien. Ce problème peut également créer des erreurs dues à la
parallaxe2 diciles à prendre en compte. La vidéo ore l'avantage d'une gestion complètement
libre de la transparence et de la correction ou de l'amélioration des images. Le réel et le virtuel
peuvent être totalement fusionnés dans une base vidéo, mais avec un possible retard d'achage
par rapport à la réalité. Ce retard va à l'encontre de la contrainte de réaction. Avec une base
de visualisation optique, il n'y a pas de retard d'achage, entre la réalité et sa représentation
visuelle, mais il peut y avoir un décalage entre la représentation visuelle d'un objet virtuel et
sa position attendue dans la réalité. Ce décalage est dû au temps de calcul de la représentation
visuelle de l'objet virtuel. C'est le contraire avec une base de visualisation réelle vidéo, si le
choix est fait de synchroniser les deux ux, réel et virtuel. Plus généralement, la vidéo est plus
facilement maîtrisée et la fusion d'images plus aisée avec un système à base vidéo qu'avec un
système à base optique, ce qui explique que ce soit le choix le plus couramment fait dans la
littérature. De plus, la vidéo peut orir un point de vue diérent de celui du chirurgien. Par
exemple, dans [CZHT+ 96], une caméra vidéo est montée sur un bras articulé et a une vue
macroscopique du patient sur laquelle sont combinées des images 3D préopératoires. La base
de visualisation vidéo de ce système est 2D.
En VA La base de visualisation est l'environnement virtuel. L'avantage principal est que la

visualisation n'est pas limitée à la pose du capteur. En chirurgie, la base virtuelle la plus utilisée
est le modèle patient construit en préopératoire. Il peut également s'agir d'un atlas général d'un
organe recalé sur des images 2D peropératoires du patient. Par exemple, dans [dlFOS+ 05], un
atlas statistique anatomique est adapté au patient en le recalant sur de la uoroscopie 2D pour
la pose de prothèse de la hanche. La base virtuelle, quelle que soit sa dimension, est souvent
achée sur des écrans 2D. Il s'agit soit directement de l'examen préopératoire du patient, soit
d'un modèle du patient 3D obtenu par des méthodes de rendu volumique [Fah06] ou par la
segmentation de surfaces des volumes d'intérêt. Lorsque le rendu de la base virtuelle est 2D,
il s'agit des 3 coupes de l'examen préopératoire. La visualisation n'est pas contrainte par la
réalité. la base virtuelle permet alors d'obtenir des points de vue insaisissables en réalité. La
VA a souvent comme principal intérêt de visualiser l'organe du patient dans sa globalité, alors
que le capteur réel (direct ou indirect) ne permet que d'en voir une partie.
2 Déplacement de la position apparente d'un objet, dû à un changement de position de l'observateur

2.4.3 Informations ajoutées

On diérencie les informations ajoutées à la RA et à la VA :
En RA Nous nous intéressons tout d'abord à la sémantique et à l'origine des informations

utilisées pour l'augmentation d'une base de visualisation réelle. Ces informations peuvent être
réelles et correspondre à une imagerie peropératoire du patient. Dans [SC01], la vue réelle
par le capteur direct du chirurgien est augmentée d'une autre information réelle, obtenue par
un échographe 2D (gure 2.3). L'information réelle ajoutée est ce qui se trouve actuellement
sous la surface visible du patient. Les informations virtuelles les plus souvent ajoutées sont des
informations anatomiques, issues du modèle du patient construit à partir des examens préopé-
ratoires. L'intérêt principal est alors de proter de la résolution des images préopératoires en
peropératoire. Il s'agit alors de localiser la lésion, les zones anatomiques de contexte comme les
ventricules, les sillons, ou encore le foie et les veines en ablation par radio-fréquences [NGP+ 05].
Des informations de stratégie, faisant le lien entre la préparation de la chirurgie et l'exécution
(a) (b)
Fig. 2.3 Superposition d'ultrasons sur la vue directe du patient à l'aide d'un miroir sans
tain. (a) Dispositif portable utilisé, (b) Image obtenue sur une main. La base de visualisation
est réelle et optique, les informations ajoutées sont réelles et vidéo : ce sont les acquisitions
échographiques. Illustration tirée de [SC01].
de la chirurgie, peuvent être achées en RA. La trajectoire planiée sur l'examen préopératoire
est une information virtuelle consistant en un point d'entrée dans le corps du patient et un
point cible, exprimé dans le repère associé au modèle du patient. Cette information virtuelle
est représentée par un segment de droite projeté sur la réalité (1D), ou un point correspondant
à l'intersection de cette trajectoire avec la surface visible du patient ou avec le plan focal du
microscope [LM95], par exemple. Ce plan focal est souvent utilisé parce qu'il est accessible par
calibrage du microscope chirurgical, alors que le calcul de la position de la surface visible est
plus dicile. Dans [HDR+ 01], la trajectoire et les images 2D préopératoires sont projetées sur
le patient avec une résolution de l'ordre du tiers de millimètre. Une lumière structurée projetée
permet de calculer la position de la surface visible du patient et donc de projeter la trajectoire
chirurgicale. Dans [PTE95], en chirurgie des scolioses, la position attendue des vertèbres est
achée sur la vidéo des vertèbres réelles.
La dimension des informations ajoutées est variable du 0D (un texte) au 4D (un volume 3D
en mouvement) et la représentation visuelle de ces informations a le plus souvent la même di-
mension, mais peut avoir une dimension moindre (représentation 2D d'un volume 3D). Un type
d'information 2D sont, par exemple, les coupes des images préopératoires [MMN+ 00, HDR+ 01].
Lorsque les informations virtuelles correspondent à des objets virtuels 3D, il y a trois solutions
pour la représentation visuelle de ces trois dimensions. La première solution consiste à acher
le 3D sur un écran 2D en utilisant des techniques de rendu de volume, comme montré sur la
gure 2.5. C'est le choix, par exemple, de [GEW+ 96], [CZHT+ 96], où l'achage de la tumeur
en 3D doit permettre d'optimiser la craniotomie pour la neurochirurgie. C'est également le
choix de [SBM+ 02]. Dans ce système, deux vidéos sont achées côte à côte. L'une est la vidéo
endoscopique 2D, tandis que l'autre est la vidéo endoscopique virtuelle crée à partir des exa-
mens 3D préopératoire avec le même point de vue que l'endoscope. La deuxième solution est de
n'acher que les contours 2D des objets virtuels 3D. Par exemple dans [LM95], l'intersection
de la surface de la lésion segmentée dans l'IRM préopératoire avec le plan focal du microscope
chirurgical est calculée. L'information virtuelle est alors achée comme un contour 2D projeté
dans les oculaires du microscope [LM95]. On est alors confronté à deux problèmes, expliqué
sur la gure 2.4. La troisième solution est d'acher les informations virtuelles en 3D. Dans
(a) (b) (c)
Fig. 2.4 Plan focal du microscope dans le modèle patient.(a) Simulation des contours qui
apparaîtraient dans les oculaires du microscope. (b) Modèle patient avec le plan focal trans-
parent gris. (c) Autre vue de la même scène. Deux problèmes sont soulignés. Premièrement,
l'achage correspondant à l'intersection du plan focal, représenté en gris transparent avec le
modèle patient complet, ne contient que les contours de la lésion et de quelques sillons, alors que
le modèle patient contient aussi des informations sur les zones fonctionnelles (en vert le langage
et en bleu le moteur). Ceci est du au fait que le plan focal n'est en intersection avec aucune
de ces zones. Deuxièmement, la mise au point de l'oeil du chirurgien. Pour faire apparaître les
contours des volumes d'intérêt profonds, la mise au point est faite de façon à ce que le plan
focal, correspondant à la vision nette, soit en profondeur. La surface réelle du patient paraît
alors oue au chirurgien.
[EKM+ 00], l'achage du modèle patient dans le microscope est stéréoscopique. Il permet de
donner l'impression de profondeur des volumes. Dans [LHN+ 04], [MML+ 06], un système de pro-
jection particulier permet de projeter le modèle patient en 3D sur le patient. Dans [TSH+ 06], le
scanner CT préopératoire du patient est aché en 3D par vidéo stéréoscopique combinée avec
le modèle stéréoscopique du scanner.
En plus de la dimension, la couleur est une source d'information virtuelle. Elle est utilisée autant
que la technologie le permet. Les technologies limitatrices sont les systèmes à base de visua-
lisation optique, les écrans VGA monochromes étant plus utilisés que les écrans couleurs. La
couleur peut apporter une information de diérenciation des zones d'intérêt [GEW+ 96] (gure
2.5) ou encore contenir une information fonctionnelle. Un exemple d'information fonctionnelle
donnée par la couleur est décrit dans [MML+ 06] où l'approche d'un outil d'une zone à éviter
entraîne la coloration virtuelle en rouge de l'outil.
Fig. 2.5 Augmentation de la base de visualisation réelle vidéo du champ opératoire par
information virtuelle 3D anatomique, visualisée sur un écran extérieur. Illustration tirée de
[GEW+ 96]
En VA Le type d'information ajoutée en virtualité augmentée a une sémantique de contexte

par rapport à la réalité. Il peut s'agir de l'outil, en 1D par exemple un point, ou 2D, par exemple
droite, comme ce qui est proposé par la plupart des stations de neuronavigation. L'utilisation
d'une surface ou de la vidéo comme information réelle permet d'augmenter la dimension des
informations ajoutées. En chirurgie coelioscopique, dans [DGS+ 02] par exemple, le modèle du
patient est enrichi de la vidéo endoscopique. En neurochirurgie guidée par l'image, ce concept
a été utilisé en 3D également en texturant le cortex segmenté dans les images préopératoires
avec des photos provenant du microscope chirurgical [JBJS96], [JBS+ 97]. Dans [JBJS96], la
méthode n'était pas automatique et il fallait trouver des amers visuels pour plaquer la texture
photographique sur le cerveau. Dans [DGS+ 02], la photographie obtenue par endoscopie est
plaquée automatiquement grâce au calcul de la profondeur des points de la photo et du suivi de
l'endoscope. Achée sur la base de visualisation virtuelle qu'est le modèle patient, l'utilisation
d'imagerie peropératoire comme capteur ajoute des informations comme la position de zones
fonctionnelles [GGS+ 05] (voir la gure 2.6) ou une mise à jour du modèle du patient, suite à
des déformations anatomiques peropératoires. Ces informations de déformations peuvent être
acquises par IRMi par exemple en neurochirurgie [GNK+ 01, NBG+ 01], ultrasons [AKDJ03]
ou uoroscopie 2D [MHT+ 03, LYJ03] pour l'orthopédie. Ces informations réelles sont des in-
formations utilisées en supplément de l'achage de la position d'un outil. L'outil peut être
entièrement modélisé ou alors avoir une représentation simpliée comme une droite. L'infor-
mation d'orientation de l'outil s'ajoute alors à celle de sa position. La trajectoire de l'outil est
également une information d'intérêt, pour l'implantation d'électrode ou d'aiguille de biopsie en
particulier. L'utilisation d'une surface ou de la vidéo comme information réelle permet d'aug-
menter les référents pour le lien en augmentant la dimension de l'information réelle. En chirurgie
coelioscopique, dans [DGS+ 02] par exemple, le modèle du patient est enrichi de la vidéo en-
doscopique. En neurochirurgie guidée par l'image, ce concept a été utilisé en 3D également
en texturant le cortex segmenté dans les images préopératoires avec des photos provenant du
microscope chirurgical [JBJS96], [JBS+ 97]. Dans [JBJS96], la méthode n'était pas automatique
et il fallait trouver des amers visuels pour plaquer la texture photographique sur le cerveau.
Dans [DGS+ 02], la photographie obtenue par endoscopie est plaquée automatiquement grâce
au calcul de la profondeur des points de la photo et du suivi de l'endoscope.
2.4.4 La technologie utilisée pour l'achage

Fig. 2.6 VA avec comme capteur une IRM fonctionnelle pendant l'opération (à paradigme
d'activation passif). La base de visualisation virtuelle est l'examen 3D préopératoire. En vert,
les informations "anatomiques" fonctionnelles ajoutées, en violet les artefacts probables. Illus-
tration tirée de [GGS+ 05]
Casque de RA La RA est souvent associée à l'idée de casque porté par le chirurgien. Deux
solutions techniques sont possibles. La première est de placer des caméras sur un casque opaque
et de n'acher comme information réelle que la vidéo captée par ces caméras dans le casque
du patient. Le principe de cette technologie est expliqué sur la gure 2.7. Les caméras lment
le champ de vision du chirurgien. A chaque instant, une image de la vidéo est envoyée à un
bloc appelé combinateur, qui prend également en entrée l'information virtuelle à acher. Une
nouvelle image est alors créée, avec, comme arrière plan, l'image provenant de la vidéo sur
laquelle est superposée la représentation visuelle de l'objet virtuel. Cette solution est la plus
Fig. 2.7 Principe d'un casque de RA à visualisation vidéo. Illustration tirée de [Azu97].
courante en RA. Elle permet notamment de faire le choix d'une totale occlusion de la réalité
par la virtualité dans certaines zones de la vidéo [FLR+ 98] comme illustré par la gure 2.8.
La deuxième solution technique est d'utiliser un casque dans lequel on place un projecteur.
La vision du casque est optique. Les représentations visuelles des objets virtuels sont projetées
sur un miroir sans tain, pour donner l'impression qu'elles sont superposées à la vision réelle. Le
principe de cette technologie est expliqué sur la gure 2.9. Un autre type de casque sert à porter
(a) (b)
Fig. 2.8 RA en laparoscopie.(a) Vision extérieure du système, les pastilles colorées collées sur
le fantôme servent de duciaires pour le recalage patient-image. (b) vue du casque utilisé dans
[FLR+ 98]. Le modèle 3D préopératoire est texturée par la vidéo endoscopique 3D. On observe
le choix d'une occlusion de la réalité par le virtuel. Illustrations tirées de [FLR+ 98].
Fig. 2.9 Principe d'un casque de RA à visualisation optique. Illustration tirée de [Azu97].
les projecteurs rétiniens. Cette technologie, où le capteur direct est utilisé, consiste à projeter
directement au fond de l'oeil des informations virtuelles à l'aide de laser modulé [VPN+ 98].
Cette application a été testée sur des personnes avec des défauts de vue. Cependant, à notre
connaissance, cette technologie reconnue sans danger n'a pas été appliquée en chirurgie. Le
principe de la projection rétinienne est expliqué gure 2.10. les problèmes de précision ne sont
pas encore résolus [VPN+ 98].
Fig. 2.10 Principe de la projection rétinienne. Illustration adaptée de [VPN+ 98].
Microscope chirurgical On peut également assimiler à cette approche de casque les sys-
tèmes de visualisation mixte utilisant le microscope chirurgical, puisqu'elles utilisent les mêmes
techniques de suivi du dispositif d'achage. La position du microscope est suivie comme le serait
celle d'un casque. Dans le projet MAGI [EKM+ 00] ou encore dans [FSHR89, LM95, JMF+ 02],
les informations virtuelles sont projetées en utilisant le même principe. Si dans [JMF+ 02]
les informations 3D sont ramenés à des contours 2D en calculant l'intersection des modèles
avec le plan focal du microscope, la visualisation est stéréoscopique dans [EKM+ 00]. L'utili-
sation du matériel déjà disponible en salle semble être une solution ecace par rapport aux
contraintes de coût et de moindre encombrement de la salle d'opération. Birkfellner a proposé
de remplacer le microscope chirurgical par un casque faisant également oce de microscope
[BFH+ 02, BFM+ 03]. Au lieu d'ajouter du nouveau matériel en salle, il remplace le microscope
chirurgical, matériel encombrant bien que déjà présent, par un casque léger, dans lequel le prin-
cipe de la RA à casque optique est appliqué. Les informations 3D sont également données en 3D
grâce à l'utilisation de deux projecteurs VGA dans chacun des oculaires. Le dispositif utilisé,
nommé Varioscope, est représenté sur la gure 2.11.
Écran extérieur Une autre solution technique utilise le même principe technique que les
casques vidéo, mais cette fois-ci le résultat des images combinées est aché sur un écran ex-
térieur. La gure 2.12 illustre cette approche. Les deux principales diérences avec le casque à
base réelle vidéo sont le lieu de perception, qui sera discuté dans la sous-section suivante 2.4.5,
et la simplication du système. En eet, l'écran extérieur n'a pas besoin d'être suivi et des
caméras xes sont, en général, utilisées [Nic04, NGP+ 05].
Projection sur patient La dernière solution consiste à projeter les informations sur le pa-
tient, soit directement en se servant du patient comme écran de projection [HDR+ 01, GW03],
Fig. 2.11 Le Varioscope. Ce casque de RA à visualisation optique est également un microscope

chirurgical. La base de visualisation est réelle et vidéo et les informations virtuelles ajoutées
de manière stéréoscopique sont 3D et correspondent au modèle patient. Illustration tirée de
[BFM+ 03].
Fig. 2.12 Schéma conceptuel de RA sur un écran extérieur. Illustration tirée de [Azu97].
soit par l'intermédiaire d'un miroir sans tain1 . Le principe de la projection directe sur le patient
nécessite un projecteur et le calcul de la position de la surface du patient (voir la gure 2.13).
Hoppe trouve cependant une précision sub-millimétrique dans la correspondance entre la pro-
jection d'un modèle et la zone réelle correspondante. Dans [GW03], la projection est réalisée
en utilisant un laser. Le miroir sans tain est une autre solution [MMN+ 00, FDS+ 06, FDF+ 05,
Fig. 2.13 Principe de la projection directe sur patient. Dans ce cas, la projection sert à la
fois à reconstruire la surface par lumière structurée et à projeter les informations préopératoires
2D, du patient, recalées grâce à la surface calculée. Illustration tirée de [HDR+ 01].
MML+ 06, LHN+ 04]. Ce miroir peut être xe par rapport au patient ou accroché à un outil
comme dans [SC01] où le miroir est accroché à une sonde ultrasonore (gure 2.3). Le principe
de la projection sur un miroir sans tain est expliqué gure 2.14. Un inconvénient de ce système
est son encombrement et la gêne possible pour l'accès à la zone de la chirurgie. Le projecteur
peut-être 2D [MMN+ 00, FDS+ 06, FDF+ 05], ou 3D à l'aide d'un système de projection vidéo
3D utilisant une technique appelée vidéographie intégrale [MML+ 06]. La projection est faite
à l'aide de plusieurs lentilles convexes qui vont converger à peu de distance de l'écran de per-
ception, ici le miroir. L'avantage de ce système est que le reste de la salle peut proter de la
visualisation mixte. Le problème est également le coût, a priori élevé bien qu'aucun chire ne
soit disponible, puisque chaque lentille capte un rayon. L'utilisation des miroirs sans tain a ce-
pendant un inconvénient que l'on retrouve dans l'utilisation des casques de RA à visualisation
optique. Outre la diminution des degrés de liberté du chirurgien, la lumière transmise du monde
réel est fortement atténuée, à la manière de lunettes de soleil.
Nous venons de souligner deux approches principales de base de visualisation réelle : l'une ba-
sée vidéo, l'autre optique directe ou indirecte. Quatre catégories de technologies d'achage ont
été énumérées : les casques, le microscope chirurgical, l'écran extérieur et la projection sur le
patient. Nous allons nous intéresser au lieu de perception de ces achages, souvent lié à la
technologie utilisée.
2.4.5 Le lieu de perception

Le lieu de perception du système de visualisation mixte est un choix important qui inuence
le choix de la technologie. Il dépend de trois questions pour lesquelles les réponses n'ont pas
1 Le miroir sans tain permet de transmettre les rayons lumineux de forte intensité mais aussi de reéter. En
projetant une image sur ce miroir, on la voit superposée avec ce qui se trouve derrière le miroir, ici le patient,
s'il est susamment éclairé
Fig. 2.14 Principe du miroir sans tain en chirurgie. Dans cet exemple en orthopédie, la
projection est 3D. Illustration tirée de [MML+ 06].
encore été données par la communauté médicale :

1) Y a t-il un intérêt à ce que les acteurs du bloc opératoire autres que le chirurgien bénécient
des apports de la visualisation mixte ?
2) Est-ce que l'attention du chirurgien doit toujours être le champ opératoire ?
3) Le chirurgien doit-il bénécier de l'intégralité de son environnement réel, ou une partie peut-
elle être masquée par des informations d'intérêt ?
En choisissant un lieu de perception, les auteurs font donc des hypothèses fortes sur la réponse
à chacune de ces questions. Le lieu de perception de la visualisation mixte peut être (gure
2.15) :
Fig. 2.15 Illustration de deux lieux de perception possible en laparoscopie. A gauche, sur un
écran extérieur. A droite, dans un casque de RA. Illustration tirée de [Sta06].
le patient ou le champ opératoire, correspondant à la zone imagée. C'est le cas de tous

les systèmes de RA n'utilisant pas d'écran extérieur lorsque les informations virtuelles
ont une relation spatiale avec le patient. Par exemple, la tumeur ne s'ache que si elle
est présente dans le champ de vision du chirurgien. L'avantage est que l'attention du
chirurgien ne quitte pas le champ opératoire.
un ou plusieurs écrans extérieurs, qui peuvent être placés en face du chirurgien, à coté
de lui ou être portable. Les écrans extérieurs permettent de ne pas encombrer la vue
du chirurgien et de laisser les personnes du bloc accéder aux mêmes informations. Par
contre, les écrans obligent le chirurgien à se concentrer sur un autre point d'attention
que le champ opératoire. Ces écrans sont généralement loin du chirurgien, une solution
intéressante serait eectivement d'avoir un écran suspendu au-dessus du patient. Le "mini-

screen" est un petit écran portable, proposé dans [NMT04, MNT05b], dont la position est
suivie et qui ache le modèle préopératoire du patient sans la réalité à la manière d'un
ltre. Cependant, comme pour les autres lieux de perception liés au patient, le chirurgien
ne voit pas d'information ajoutée si l'écran ne passe pas au-dessus du patient.
l'ensemble de l'environnement réel si les informations ajoutées n'ont pas de rapport spatial
direct avec le patient ou s'il s'agit de VA, achée dans une partie du champ de vision du
chirurgien. Il peut s'agir, par exemple, des coupes 2D de l'IRM, achées dans un coin du
microscope chirurgical.
2.4.6 Interaction Homme/Machine

Trois principaux problèmes sont à souligner pour l'interaction Homme/Machine. Le premier
est le problème de la perception 3D, le deuxième celui de la coordination main-oeil et le troisième
celui de la gestion des informations. Nous nous focalisons ici sur la gestion des informations.
Nous avons souligné, comme contrainte en salle d'opération, le nombre important de données
que le chirurgien doit prendre en compte. Cette contrainte peut conduire à des systèmes de
visualisation mixte diciles à comprendre parce que trop riches en information. Cependant, la
tâche à réaliser n'implique pas toujours le même besoin d'information. L'utilisateur est donc
amené à sélectionner les informations qu'il juge d'intérêt à tout moment de l'intervention, telle
qu'il l'a planiée. Mais le besoin d'information sera encore plus ressenti en cas de réalisation
d'un geste chirurgical non planié. Ce changement d'information passe par la sélection des
informations réelles et virtuelles à acher, mais aussi par leur importance respective dans la
visualisation mixte, par exemple en modiant leur transparence ou leur couleur. En VA, le
changement de point de vue ou la manipulation d'un rendu 3D en 2D est important puisque
c'est le principal apport de la VA sur la RA. Le problème est de gérer le nombre important
d'information. Le chirurgien ne peut pas se déplacer, lorsque l'opération a commencé, pour aller
cliquer de lui-même ou même toucher un écran tactile. Les contraintes de stérilisation font qu'il
ne doit plus sortir de sa sphère stérile. Comment lui permettre de sélectionner les informations
qu'il désire ?
Le plus simple et le plus utilisé est la commande vocale à un manipulateur, généralement une
inrmière de bloc opératoire. Une autre solution est la reconnaissance vocale automatique de
la commande, utilisé par exemple en clinique en robotique [LCT+ 06]. Dans la plupart des
papiers cités dans ce chapitre, l'interaction n'est pas abordée, ou limitée à la manipulation
d'un ordinateur extérieur, à la manière des systèmes commerciaux de navigation. Concernant
la manipulation de la pose de la visualisation mixte, la solution classique est de contraindre la
vue de la visualisation mixte par le capteur. C'est le cas pour les systèmes de RA où la vue
est la même que celle de la caméra. C'est également le cas en VA où l'information réelle est
l'outil : l'outil sert à se déplacer dans l'environnement virtuel. Le chirurgien se sert alors de
son outil comme d'une souris informatique. On peut cependant citer [Dub01], qui centralise
sa taxonomie sur l'interaction utilisateur, et le système mini-screen de [NMT04, MNT05b].
Dernièrement, le même principe de fenêtre déplaçable permettant de voir à l'intérieur du patient
a été présenté. La fenêtre est virtuelle cette fois-ci [BN06]. Dans [BSN06], un nouveau type
d'interaction est proposé, à la place de la manipulation par rotation classique. Il s'agit de
simuler un miroir virtuel qui permet d'accéder à un point de vue diérent sans avoir à changer
la pose de la visualisation mixte. Un autre problème important d'interaction, étant donné le
nombre d'information virtuelle ou réelle disponible, est de gérer leur disponibilité en fonction
de leur nécessité ou du moins de leur intérêt. L'identication de la tâche à réaliser est alors
essentielle comme nous l'avons souligné dans la sous-section 2.4.3. Une possibilité est de créer,
lors de la phase de préparation du chirurgien, des scènes contenant les informations qu'il juge
Contraintes de la salle d'opération 47
utiles selon l'étape de la procédure chirurgicale [JRF+ 02], [RJM+ 02]. Pour une tâche où le but
est d'atteindre une lésion sans toucher les zones saines, lorsque certaines zones ont été identiées
en particulier, une autre solution est l'interaction automatique par l'outil utilisé pour accéder
à la lésion ou pour l'enlever. Par exemple, dans [MML+ 06], l'information de distance entre la
cible ou les tissus importants permet de changer la couleur des éléments virtuels. Les tissus à
éviter deviennent rouges si l'outil s'en approche.
2.5 Contraintes de la salle d'opération

Le domaine d'application implique des spécicités qui doivent être prises en compte pour la
conception de solutions adaptées aux besoins. Certaines spécicités sont liées à l'environnement
virtuel, d'autres spécicités sont liées à l'environnement réel lors d'une intervention. Nous allons
énumérer les spécicités liées à l'environnement réel, la salle d'opération. Un schéma d'une
salle d'opération type en neurochirurgie avec microscope et système de neuronavigation est
représenté gure 2.16. Nous présentons les contraintes et leurs conséquences sur les systèmes
Fig. 2.16 Schéma de l'occupation d'une salle d'opération classique de bloc opératoire. Deux
zones correspondant à deux degrés diérents de stérilité sont nécessaires.
de visualisation mixte, en précisant les contraintes non discutables et qui ne changeront pas, de
celles qui sont la conséquence d'un choix de conception. On distinguera les contraintes liées à
l'architecture de la salle d'opération, celles liées à la procédure chirurgicale et celles liées aux
opérateurs humains, chirurgien et personnel hospitalier.
2.5.1 Contraintes liées à l'architecture de la salle d'opération

La stérilisation Cette contrainte n'est pas discutable. L'environnement doit être stérile, ce
qui implique des conditions sur les matériaux utilisés pour créer des dispositifs de RA. Selon
leur place et leur proximité du chirurgien et du patient, il y a deux zones avec deux degrés de
stérilité. Dans la première zone, notée "zone 1" dans la gure 2.16, tout matériel utilisé doit
être stérile, par exemple autoclavable3 ou recouvert d'une housse stérile de protection. Dans la
deuxième zone, notée "zone 2" dans la gure 2.16, tous les éléments doivent être nettoyés au
chion imbibé de désinfectant. Par conséquent, on peut rentrer des ordinateurs et des écrans
dans la zone 2, mais les interactions entre la zone 1 et la zone 2 doivent préserver la stérilité la
3 un autoclave est un récipient hermétique dans lequel on place les éléments à stériliser qui vont être traiter
à la vapeur d'eau sous pression, en absence d'air, pour détruire les germes microbiens.
plus élevée, i.e., celle de la zone 1. Si aucune commande n'est disponible dans la zone 1, alors
le chirurgien donne ses ordres oralement à un manipulateur qui se trouve dans la zone 2.
Le nombre de degré de liberté de mouvement Cette contrainte n'est pas discutable. Le

nombre de degré de liberté de mouvement des mains du chirurgien est variable. On peut dénir
une sphère d'action autour du champ opératoire dont le rayon dépend du type de chirurgie
et de la tâche à réaliser. Par exemple, la réalisation d'une craniotomie nécessite un rayon plus
important que celui nécessaire pour l'exérèse de la lésion. Dans [WWNBvdS06], le déplacement
des outils est enregistré, à une fréquence de 5 Hz environ, en plaçant des sphères rééchissantes
qui permettent au localisateur de suivre la position de ces outils. Leur orientation et position
sont alors calculés par le système de neuronavigation (StealthStation Treonplus , Medtronic
Navigation, USA). Selon le type de procédure, la vitesse maximale de l'outil était de 6,6 (pour
les résections) à 12,7 (pour une exérèse partielle) cm.s−1 avec une vitesse moyenne inférieure à
3cm.s−1 et une vitesse de rotation maximale entre 21 et 40 degrés.s−1 . La diérence d'orientation
de l'outil peut aller jusqu'à 73 degrés pendant une chirurgie de l'épilepsie dans le lobe temporal.
Par conséquent, les systèmes de visualisation mixte ne doivent pas gêner les mouvements du
chirurgien et doivent autoriser les degrés de liberté nécessaires.
La circulation optimale Le matériel déjà présent ou ajouté ne doit pas gêner le déplacement
des acteurs dans la salle d'opération et doit permettre un ux de déplacement dans la zone 2 de
stérilisation, sans avoir à passer par la zone 1. Il faut garder en tête cette contrainte d'espace et
de circulation autour de la salle lors de l'ajout en salle de matériel. Par conséquent, les câbles
réseau ou de transmission, les prises électriques multiples et rallonges rajoutées sont autant
d'obstacles aux déplacements. On cherchera donc plutôt à se diriger vers des technologies sans
ls de type WIFI pour les transmissions Ethernet ou Bluetooth pour la transmission d'autres
signaux. De plus, le matériel ajouté doit être susamment peu encombrant pour ne pas devenir
une gêne à la circulation des acteurs. C'est une contrainte discutable selon le choix du point
suivant.
Dénition de la salle d'opération Cette contrainte discutable est liée au choix suivant.
On peut choisir d'utiliser les salles d'opération telles qu'elles sont dénies aujourd'hui dans
les blocs opératoires et plus généralement dans l'hôpital, à savoir par spécialité chirurgicale.
On peut également choisir d'en dénir des nouvelles, comme, par exemple, à l'Interventional
Center, Oslo, Norvège, ou l'hôpital est déni par technologie et non par spécialité [LBFFL98].
La salle d'opération a été dénie avec un nombre ni de prises électriques ou prises réseau.
L'ajout de nouveaux matériels en salle doit tenir compte de la disposition de ces prises et de
leur occupation. On peut choisir de s'en ajourner et de proposer des solutions complètement
diérentes, en redénissant l'agencement des salles d'opérations. On peut également choisir de
rajouter des fonctions de visualisation mixte en utilisant le matériel existant. C'est le choix fait,
par exemple, dans [FSHR89] qui utilise le microscope chirurgical. Un autre choix possible est
de remplacer ce matériel par un équivalent amélioré. Par exemple, dans [BFM+ 03], un casque
de réalité augmentée fait également oce de microscope chirurgical.
2.5.2 Contraintes liées à la procédure chirurgicale

La précision chirurgicale Quelle est la précision nécessaire au chirurgien pour la visualisa-
tion mixte ? Évidemment, l'idéal serait un système sans erreur, dans lequel les objets virtuels
représenteraient parfaitement la réalité et seraient parfaitement placés dans l'espace. Le mieux
ne nuit jamais. Cependant, la diminution de l'erreur n'est pas toujours possible ou implique des
Contraintes de la salle d'opération 49
contraintes incompatibles avec la contrainte de temps de réponse, dénie en sous-section 2.5.3.

Il faut donc dénir une erreur acceptable pour les systèmes de visualisation mixte en chirurgie,
ce qui correspond à poser une hypothèse pour la validation des systèmes de visualisation mixte.
On distingue trois niveaux de précision :
La précision technique, liée à l'imagerie ou à la technologie utilisée. On peut, par exemple,
choisir de s'aligner sur la résolution de la modalité d'imagerie utilisée en référence. Pour
l'IRM 3D, par exemple, la résolution est la taille du voxel, de l'ordre de 1mm dans les
trois directions. L'hypothèse de précision chirurgicale nécessaire est alors que le système
de visualisation mixte doit avoir une précision de 1mm au maximum. On donne un autre
exemple de choix de précision technique : dans le système de neuronavigation commercial
Cranial 4 avec la StealthStation, Medtronic SNT, Etats-Unis, la précision minimale au-
torisée pour le recalage patient-image est de 5 millimètres. Le recalage patient-image est
souvent la source d'erreur statique la plus importante. Nous reviendrons sur la précision
de ce recalage et sa signication dans la section 2.7. Ce chire correspond a priori à une
erreur considérée comme acceptable par les neurochirurgiens.
La précision au bout de l'outil chirurgical. Ce deuxième choix correspond, aujourd'hui, à la fois
à la taille de l'outil et au mouvement des mains du chirurgien, dont la résolution dépend
des micro-tremblements des mains. Cette précision n'a pas été évaluée précisément en
synchronisation directe, mais on estime qu'elle est de l'ordre du millimètre en endoscopie
[DAB+ 05].
La précision globale du geste chirurgical. Ce choix correspond à dénir la précision nécessaire
par rapport à la taille de la pathologie et à sa distance des organes à protéger. Dans ce
cas, la précision nécessaire en neurochirurgie sera supérieure à celle de la chirurgie du
foie, car si une exérèse trop large de quelques millimètres n'a pas de conséquence pour
le foie, en neurochirurgie elle peut léser des tissus fonctionnels et avoir des conséquences
cliniques graves pour le patient. En chirurgie du foie ou du poumon, il est même conseillé
de laisser une marge de 1cm autour de la lésion ([WDKS05], tandis qu'en neurochirurgie,
le chirurgien aura plutôt tendance à arrêter l'exérèse trop tôt plutôt que de léser des
structures éloquentes.
Respect du ux d'action de la chirurgie Le ux d'action (workow en anglais) peut-

être abordé de façon périopératoire ou peropératoire [Jan05]. Le ux d'action chirurgical actuel
doit-il être respecté ? Une technique révolutionnaire pourra éventuellement être acceptée avec
une modication du ux d'action, mais elle sera plus facilement acceptée si le déroulement
classique de l'intervention n'est pas modié. Ce n'est pas le cas des systèmes de neuronavigation,
puisqu'ils rajoutent une étape assez longue (le recalage) à l'intervention. Récemment, plusieurs
groupes de travail se sont réunis pour discuter de la prise en compte du ux d'action [CKM05],
[LRH05]. Leurs conclusions soulignent surtout l'importance du ux d'action périopératoire, de
l'arrivée du patient à l'hôpital à sa sortie, mais parle peu du ux d'action propre à l'intervention
chirurgicale.
Le rapport coût/bénéce pour l'hôpital et la société Tout système clinique se doit de

justier son coût additionnel. Si un système a priori cher permet de réduire signicativement
le temps d'hospitalisation du patient et qu'il concerne un grand nombre de patients, alors la
balance coût/bénéce peut être en faveur du système de visualisation mixte. L'intérêt d'un
système de visualisation mixte est dicile à démontrer, parce qu'un chirurgien acceptant de
l'essayer pressent de son utilité. Si on trouve un système utile, alors comment en priver un
patient pour une évaluation des bénéces ? Par conséquent, on cherchera à s'orienter vers des
systèmes avec un rapport coût/bénéce faible.
Rapport risque/bénéce pour le patient Cette contrainte n'est pas discutable. Il faut un
ratio minimal entre le risque pour un patient et le bénéce qu'il peut en tirer. Les conséquences
sont, par exemple, la recherche d'absence d'invasivité des systèmes de visualisation mixte ou
des capteurs du réel utilisés. Autre exemple, les agents de contraste doivent être utilisés avec
parcimonie car s'ils permettent de repérer les structures à éviter, ils peuvent être nocifs pour le
patient [Pet06].
2.5.3 Contraintes liées à l'opérateur humain

Eort cognitif du chirurgien Cette contrainte n'est pas discutable. La concentration du
chirurgien doit être limitée à son champ opératoire à partir du moment où l'opération est com-
mencée. Avant de commencer l'intervention, la consigne est plus souple. Le chirurgien consacre
en général son attention à étudier à nouveau les informations du patient et à se remémorer la
stratégie chirurgicale planiée sur des images extérieures. On retrouve ce besoin d'information
dans la plupart des transitions entre les étapes de la chirurgie. Ces moments de transition sont
les plus lourds en eort cognitif et peuvent nécessiter une période de repos et de prise de recul.
Par contre, en période d'action chirurgicale, le chirurgien devrait pouvoir, non seulement ne
pas quitter des yeux le champ opératoire, mais également pouvoir conserver une mise au point
constante sur le champ opératoire. Par exemple, l'achage des contours des images préopéra-
toires dans les oculaires du microscope par l'utilisation d'un écran VGA est faite par projection
sur un miroir [LM95]. Le chirurgien doit alterner la mise au point de sa vision entre le plan de
projection et la surface du champ opératoire. Par ailleurs, la contrainte de stérilisation implique
souvent un système de visualisation éloigné du chirurgien, ce qui est incompatible avec cette
contrainte de concentration.
Un nombre important et croissant d'informations Cette contrainte n'est pas discutable.

Le chirurgien a besoin de beaucoup d'informations et d'informations diérentes selon la tâche à
réaliser, comme on le verra dans la sous-section 2.4.1. De plus, le nombre de modalités d'imagerie
préopératoires augmentant de plus en plus, on accède à une cartographie du patient de plus
en plus détaillée et complète. Pour respecter son éthique, un chirurgien doit mettre en oeuvre
tous les moyens qu'il a à sa disposition pour la santé du patient. Il faut donc prendre en
compte toutes les informations disponibles. Leur nombre a déjà considérablement augmenté et
il augmentera encore avec l'apparition de nouvelles modalités d'imagerie ou avec l'augmentation
de leur résolution. L'être humain ne peut assimiler et gérer ecacement qu'un nombre limité
d'information à la fois. Ceci entraîne une nécessité de dénition de politique de gestion des
informations.
Réaction immédiate du chirurgien en cas de problème Cette contrainte n'est pas discu-
table. Le temps de réponse entre un évènement anatomo-chirurgical et la réaction du chirurgien
doit être le plus court possible, au moins celui d'une perception directe par le chirurgien. Cette
contrainte signie également que le retour donné au chirurgien de ses outils doit être le plus
direct possible. Il faut que la détection d'une hémorragie, de la présence d'une veine, d'une
déformation ou de tout évènement non prévu par le modèle virtuel, puisse être fournie au chi-
rurgien immédiatement, que ce soit par une mise à jour du modèle ou par une information réelle.
La vision du réel du neurochirurgien ne doit donc pas être altérée ou supprimée par sa vision
du virtuel, de par les limitations technologiques actuelles, qu'on énoncera dans la section 2.7.
De plus, le capteur réel direct est considéré comme le capteur le plus sûr, tant que les systèmes
de visualisation mixte n'auront pas fait la preuve de leur robustesse. L'information virtuelle est
soumise à des erreurs de modélisation, sur lesquelles nous reviendrons dans la section 2.7. En
Bilan des éléments selon la classication 51
cas de discordance entre une information virtuelle et une information réelle, la conance doit
souvent être accordée à l'information réelle. En eet, en cas de discordance entre information
virtuelle et information réelle (ltrée par le capteur), la discordance peut signier que l'infor-
mation virtuelle est faussée, ou alors, au contraire, la discordance peut apporter au chirurgien
un élément qu'il n'avait pas vu. C'est au chirurgien de décider quelles informations intégrer et
de décider où placer sa conance. Par conséquent, le chirurgien doit pouvoir constamment dif-
férencier les informations réelles des informations virtuelles, contrairement à d'autres domaines
d'application comme la simulation où le but est alors d'augmenter la sensation d'immersion de
l'utilisateur. Une autre conséquence de cette contrainte est qu'en cas de dysfonctionnement du
système de visualisation mixte, le chirurgien doit conserver sa vision du réel. Une vision directe
ou optique du champ opératoire est alors à privilégier sur une vision vidéo ou sur un système
de VA seul.
2.6 Bilan des éléments selon la classication

Nous venons de présenter les systèmes de visualisation mixte. Dans chaque catégorie, les
systèmes dièrent par la tâche chirurgicale pour lequel ils ont été créés, les informations qu'ils
donnent et la technologie utilisée pour rendre accessibles ces informations. La tâche chirurgi-
cale dénit les informations nécessaires, mais également la technologie utilisée. On a ainsi donné
l'exemple incohérent de l'utilisation du microscope chirurgicale pour la craniotomie, tâche pour
laquelle les degrés de liberté de mouvement du neurochirurgien entraînaient le retrait du mi-
croscope chirurgical du champ opératoire. La base de la visualisation dénit la RA et la VA.
Le choix des capteurs réels est varié, mais la base de visualisation virtuelle est généralement
le modèle patient calculé à partir de ses images préopératoires. Les informations ajoutées sont
achées avec des choix diérents de dimensions et de représentation. L'amélioration de la tech-
nologie et des moyens de calcul informatique permet de tendre vers des représentations visuelles
3D couleurs et dynamiques. Les technologies utilisées dans les approches de la littérature mé-
dicale sont soit à base optique, soit à base vidéo. Dans les approches à base optique, le principe
est de projeter les informations virtuelles pour qu'elles soient perçues par le capteur direct de
l'utilisateur. La projection des informations utilise des projecteurs plus ou moins complexes, de
l'écran VGA monochrome à la vidéographie intégrale couleur. Les informations virtuelles sont
projetées directement sur le patient, sur un miroir sans tain, xé au-dessus du patient, ou dans
un système attaché à l'utilisateur sur des miroirs sans tain ou des systèmes de miroirs composés.
Le lieu de perception de l'utilisateur peut se résumer au choix suivant, à savoir directement sur
le patient ou sur un écran extérieur. Le problème est souvent de trouver un compromis entre la
contrainte sur l'eort cognitif du chirurgien, du nombre important d'information et du besoin
de réaction immédiate du chirurgien. Il faut faire en sorte que le chirurgien garde une vision
non encombrée du champ opératoire tout en protant du maximum d'information nécessaire.
Les informations doivent être simples à comprendre, le but étant de simplier la tâche du chi-
rurgien. L'interaction avec le chirurgien est un problème important qui a été peu étudié jusqu'à
présent. Depuis un an ou deux, les ergonomes et les spécialistes des interfaces hommes machines
ont commencé à se pencher sur la question des systèmes de visualisation mixte et les premiers
systèmes à interaction intelligente commencent à voir le jour [BSN06, NMT04, MNT05b].
On constate qu'il est dicile de trouver un système de visualisation mixte qui respecte si-
multanément les diérentes contraintes énumérées en section 2.5. Selon nous, l'approche idéale
ne repose pas sur un seul système de visualisation mixte, mais sur la combinaison des avan-
tages de plusieurs systèmes selon la tâche à réaliser. C'est également l'opinion de Colchester
[CZHT+ 96] qui soulignait, dès 1996, l'intérêt d'orir à la fois un système de RA et un système
de VA. Nous venons de présenter les diérents choix pour chaque élément de la classication
choisie. Un système de visualisation mixte correspond également à un ensemble de problèmes

techniques, correspondant à des briques, pour lesquelles la précision et la résolution doivent être
maximisées. Pour expliquer les questions de conception technique qu'un concepteur de système
de visualisation mixte doit se poser, nous avons choisi de présenter les sources d'erreurs de
chacune de ces briques. L'intérêt est double puisqu'il permet de comprendre les problématiques
de conception de systèmes de visualisation mixte et d'anticiper les sources d'erreurs.
2.7 Anticipation des sources d'erreurs dans un système de

visualisation mixte
Les sources d'erreurs d'un système de visualisation mixte se traduisent par une discordance
entre les objets réels et les objets virtuels correspondant, ou encore entre la préparation et
l'exécution. Nous allons détailler chacune de ces sources. De façon générale, les erreurs sont
liées, pour chaque brique, aux mesures automatiques, aux traitements des mesures et aux inter-
ventions humaines, par exemple dans le choix des seuils ou dans l'interprétation des mesures.
2.7.1 Création du modèle du patient

Comme nous l'avons souligné dans la section 2.4, les objets virtuels correspondent le plus
souvent au modèle anatomique et fonctionnel du patient issu de ses images préopératoires, mais
il peut également s'agir de labels ou d'atlas. De manière générale, quelle que soit la modalité
d'imagerie utilisée, on trouve des sources d'erreurs dues à la modalité d'imagerie, à la variabilité
biologique des organes et des patients à imager, à des hypothèses fausses, par exemple la rigidité
supposée de l'anatomie du patient, et à l'intervention humaine.
Acquisition des images préopératoires La première source d'erreur est la résolution et

la distorsion possible des informations du patient pour construire son modèle, comme soulignée
par Maurer [Mau02]. Par exemple en IRM, qui est une des deux modalités les plus couramment
utilisées en préopératoire, la résolution spatiale dépend de la force du champ magnétique, de 0,1
à 3 teslas. Pour les 3 Teslas, la résolution isotropique est de l'ordre du millimètre. Les sources
de distorsion sont nombreuses. Certaines sont dues à l'intervention humaine lors de l'imagerie,
comme des erreurs d'échelle de voxel due à un mauvais calibrage de l'appareil d'acquisition
en IRM ou à la présence d'objets métalliques dans un scanner. D'autres sont dues à des phé-
nomènes biologiques comme les distorsions qui se produisent à l'interface air-tissu. Une autre
source d'erreur importante lors de l'acquisition d'image est le bougé du patient. Les sources de
distorsion géométriques en scanner CT sont moindres [Pet06]. A part les distorsions, la réso-
lution même des examens est une source d'erreur. Les structures plus petites que la résolution
peuvent ne pas apparaître sur les images. Les eets de volumes partiels, communs à toutes les
acquisitions tomographiques, entraînent une erreur sur l'intensité des voxels. Pour des raisons
de stockage d'information, les images sont souvent compressées ; là encore, on peut avoir une
perte d'information sur la valeur en intensité des voxels, mais pas sur leur localisation spa-
tiale. Cependant, ces erreurs peuvent avoir pour conséquence une erreur sur la segmentation
ou le rendu de volume de structures anatomiques particulières. En imagerie fonctionnelle, par
exemple l'IRMf, l'intervention humaine est encore plus importante et la sélection des zones
fonctionnelles se fait en fonction des connaissances anatomiques de l'expert.
Segmentation La segmentation des volumes d'intérêt constituant le modèle patient est en-
core un domaine de recherche ouvert. Hormis certaines structures, comme les ventricules en
Anticipation des sources d'erreurs dans un système de visualisation mixte 53
neurochirurgie, les résultats des méthodes de segmentation automatiques ne donnent pas des
résultats de qualité égale d'un patient à l'autre, en particulier pour les organes ayant une lé-
sion. La segmentation des structures dans les images préopératoires est un problème dicile.
Aujourd'hui, les capacités de fabrication de contour de l'oeil n'ont pas été totalement repro-
duites par les méthodes informatiques et la méthode de référence reste encore la segmentation
manuelle par un expert. Pour une lésion tumorale en particulier, il faut parfois combiner plu-
sieurs types d'examen pour pouvoir calculer le volume tumoral. Tous les volumes d'intérêt sont
exprimés dans un même repère, le repère du modèle patient. Par ailleurs, sur les images IRM
basée fréquence, la segmentation automatique est souvent confrontée à un problème de rapport
signal sur bruit trop faible ou à des inhomogénéités. Lors d'examens anatomiques servant de
base de référence à une chirurgie guidée par l'image, l'intérêt d'une segmentation automatique
pousse les chirurgiens ou les ingénieurs à demander aux radiologues des images avec un fort
taux signal sur bruit, en augmentant la force du champ magnétique auquel sont soumis les
protons d'hydrogène (voir le paragraphe 1.2.3) pour diminuer le bruit. Cependant, comme l'a
souligné Maurer dans [Mau02], l'augmentation du champ magnétique réduit la délité spatiale
de l'examen. Il y a donc un compromis important à trouver ici. Une solution est d'envisager de
s'orienter vers de l'imagerie multimodale ou de la restauration d'image avant la segmentation.
Fusion d'images Lors d'un modèle patient construit à partir de plusieurs modalités, un
mauvais recalage entre ces modalités peut induire un mauvais positionnement des informations
dans le modèle patient. C'est le cas, par exemple, pour l'IRM fonctionnelle. Hormis le fait que
la délimitation des zones fonctionnelles n'est pas facile à eectuer, le recalage entre les deux
modalités IRM anatomique et IRM fonctionnelle est parfois une source d'erreur [Hel00].
2.7.2 Le capteur réel

Lors de l'utilisation de vidéo, l'image peut être sujette à distorsion, particulièrement en
endoscopie [SBM+ 02]. De plus, en vidéo 2D, l'acquisition du réel est limitée par la résolution
du capteur. Les systèmes utilisant des capteurs d'acquisition 3D, par stéréoscopie classique ou
par lumière structurée, sont confrontés à des problèmes de points aberrants. Ils doivent souvent
lisser ou faire une approximation de leur acquisition du réel [SFR+ 03a, TNDM04, FLR+ 98]. La
précision et la reproductibilité d'un système de réalité mixte doivent donc impérativement être
basées sur la précision et la reproductibilité du capteur réel.
2.7.3 Le calibrage du capteur réel

Le calibrage consiste à calculer le lien géométrique entre le capteur indirect de la réalité et
la réalité. La plupart des études de systèmes de réalité mixte abordent ce point, essentiel pour
la précision du capteur, que ce soit en endoscopie stéréoscopique [SDY05] ou en échographie
[RHB06]. La plus grosse source d'erreur du calibrage est l'inadéquation du modèle de capteur
avec la réalité physique du capteur. Dans le cas de capteurs de type microscope à zoom et
mise au point modiables, l'interpolation des paramètres de calibrage entre des valeurs, de
zoom et mise au point, eectivement calibrées induit une précision moindre [EKM+ 00]. Nous
reviendrons sur ce point dans le chapitre suivant 3.1.
2.7.4 La synchronisation
Une source d'erreur importante peut-être le manque de synchronisation entre les données
de positions de la technologie d'achage de visualisation mixte, du capteur et la récupération
des images associées. Plusieurs études cherchent actuellement à créer des cadres de travail pour
solidier la synchronisation comme CAMPAR [SFT+ 06] ou IGSTK [GIA+ 06].
2.7.5 Le système de localisation

Le système de localisation d'un outil, d'un dispositif de RA ou même du repère patient a
une erreur due, d'une part, au calcul par triangulation de la position 3D d'une diode ou d'un
capteur passif et, d'autre part, à la résolution de localisation de ces éléments. Le tableau 1.1
dans le chapitre 1 donne le type et la précision des localisateurs de duciaires, xés sur le
patient, sur un dispositif de RA ou sur les outils chirurgicaux.
2.7.6 Le suivi de la technologie d'achage ou des capteurs

Les dispositifs d'achage et les capteurs sont mobiles et peuvent changer de place à tout
moment. Il faut donc suivre leur position pour mettre à jour la visualisation. Dans le cas de la
RA basée vidéo, l'erreur sera transparente pour l'utilisateur. La virtualité sera bien superposée
à la base de visualisation réelle qu'est la vidéo, mais la vidéo ne correspondra pas à la réalité.
En RA optique, l'erreur sera visible à condition que le chirurgien dispose d'un point de repère
virtuel correspondant à une réalité visible. Le problème du suivi de position du dispositif est
souvent considéré comme la principale source d'erreur d'un système de RA [EKM+ 00].
Suivi basé sur l'utilisation de duciaires articiels C'est la solution la plus courante,
basée sur l'utilisation d'un localisateur et de duciaires sur le dispositif d'achage ou sur le
capteur. En endoscopie par exemple, la solution la plus fréquente est de placer des duciaires
magnétiques sur le bout de l'endoscope, ou sur l'extérieur s'il est rigide ou si les relations
mécaniques de mouvement sont accessibles. Un localisateur est alors nécessaire pour détecter
la position des duciaires articiels par triangulation. Dans [FSHR89], le microscope est suivi
par sonde sonore.
Suivi sans duciaires articiels En RA, nous avons vu qu'il y avait principalement trois
bases : l'optique, la vidéo et l'imagerie peropératoire. Les deux dernières bases permettent l'ob-
tention d'une modalité numérique qui peut servir à suivre la position du capteur. Des méthodes
de calcul de pose peuvent être appliquées sans utiliser de localisateurs supplémentaires. Par
conséquent, si le capteur et le dispositif d'achage sont liés, comme dans le cas de caméras
montées sur le casque, le dispositif d'achage peut être suivi par ces méthodes. Dans [UK95],
plusieurs points de vue de la réalité sont pris. Le recalage consiste alors à trouver le point de
vue qui correspond à l'image vidéo récupérée de façon à superposer la réalité pour calculer la
pose du système de RA. Une autre solution est d'eectuer un recalage 2D-3D où la vidéo est
directement mise en correspondance avec le modèle 3D virtuel [IR96]. Cette solution nécessite
d'extraire les contours de l'image vidéo et que la réalité, correspondant au modèle 3D, soit vi-
sible dans la vidéo. Dans [CZHT+ 96], le recalage, entre la vidéo et le patient, est fait grâce à une
acquisition laser de la surface lmée. Les duciaires, apparaissant à la fois dans la vidéo et dans
la surface scannée, sont alors mis en correspondance. Une autre solution est d'utiliser en plus
de la localisation par la technologie d'achage, des duciaires naturels [YON06]. Cependant,
le calcul de pose suppose que la scène acquise par la vidéo est xe, ce qui n'est pas le cas dans
la plupart des chirurgies.
2.7.7 Le recalage patient-image

Cette étape consiste à trouver la transformation géométrique permettant de passer du mo-
dèle du patient au patient en salle d'opération. L'importance du recalage patient-image dans la
visualisation mixte n'est plus à démontrer [Azu97]. Le recalage est souvent basé sur le même
système de suivi que ceux décrits dans la section 2.7.6. C'est une source d'erreur importante, sou-
vent supérieure au millimètre, même en considérant une anatomie sans déformation. Cependant,
comme nous l'avons décrit dans l'introduction de chapitre, cette hypothèse de transformation
rigide, entre le patient et son modèle, n'est pas vraie pour la plupart des chirurgies. Dans cette
section, nous parlons cependant de recalage rigide entre le modèle patient et le patient réel.
Recalage basé points Comme nous l'avons décrit dans le chapitre précédent, une méthode
classique est de reconnaître, dans le modèle du patient, des duciaires anatomiques ou articiels.
Cet ensemble de points est alors recalé aux mêmes points identiés sur le patient. La précision du
recalage dépend alors du nombre de points utilisés, théoriquement trois points non alignés. Elle
dépend aussi de la précision de leur localisation dans le modèle patient et sur le patient. Dans
[FWM98], l'erreur du recalage basé points est étudiée statistiquement. Une nouvelle dénition de
l'erreur due à ce type de recalage est dénie analytiquement à partir de l'erreur de localisation
des points, appelée en anglais FLE (Fiducial localisation error ), et de l'erreur mesurable de
recalage, point à point, notée FRE (Fiducial Registration Error ). Une erreur est alors dénie
statistiquement en tout point du volume à recaler, la TRE (Target Registration Error ), en
fonction de ces deux erreurs :
3
FLE2 1 X d2k
TRE2 (r) ' (1 + ) (2.1)
N 3 i=1 fk2
avec r la position spatiale pour laquelle on estime la TRE, N le nombre de duciaires utilisés
pour le recalage, k représente l'un des trois axes du repère du modèle patient 3D, dk la distance
entre la position r et l'axe k , donnée par la longueur du segment entre le point à la position r
et sa projection surq l'axe k . Enn, fk est la moyenne quadratique de la distance des duciaires
1
PN 2
à l'axe k : fk = N j=1 pjk où pjk est la longueur du segment entre le duciaire j et sa
projection sur l'axe k . Dans [Roh05], Rohr montre que la précision de la localisation 3D de -
duciaires dans les images préopératoires dépend du type de duciaire (lignes, ellipse, 2D ou 3D)
et peut atteindre un quart de voxel ou un demi voxel pour les ellipses. La meilleure précision est
obtenue pour la localisation 3D (plus d'information disponible) et pour les lignes par rapport à
l'ellipse. D'après l'expression statistique de la TRE de Fitzpatrick 2.1, cette erreur est propor-
tionnelle au carré de la FLE, l'erreur de localisation des duciaires, qui inclut leur déplacement
involontaire éventuel. Elle revêt donc une grande importance dans le recalage basé points. Un
problème de localisation des duciaires dans les images IRM est dû à la nature du duciaire.
L'huile est souvent utilisée à l'intérieur des duciaires, mais les protons d'hydrogène contenus
dans l'huile ont des réactions diérentes de fréquence par rapport à ceux contenus dans l'eau
lorsqu'ils sont soumis à un champ magnétique [Mau02]. Leur analyse spatiale donnera donc un
résultat de position dièrent de la réalité [Pet06]. Une possibilité non invasive est d'utiliser des
pastilles simplement collées sur la peau. Le problème est que le point retrouvé n'est pas obliga-
toirement celui identié sur les images, parce que la peau peut bouger. L'utilisation de points
anatomiques en neurochirurgie est souvent utilisée, par exemple le nasion ou le tragus. L'erreur
d'identication d'un point anatomique est de l'ordre du millimètre au minimum. Cependant,
la précision de recalage obtenue semble susante aux neurochirurgiens puisque ce type de re-
calage est souvent utilisé. Dans le cadre d'autres chirurgies, notamment celles de l'abdomen
ou du coeur, il parait dicile d'utiliser des duciaires naturels. En neurochirurgie, la meilleure
façon de diminuer la FLE est d'utiliser des duciaires implantés dans l'os parce qu'il n'y a pas
de déplacement des duciaires entre les acquisitions d'images pour la construction du modèle
patient et le moment de l'intervention, mais c'est une méthode invasive.
Recalage basé surface visible Le recalage, entre le modèle patient et le patient, peut être
basé sur le calcul d'une transformation rigide, mettant en correspondance une partie de la
surface du patient acquise en début d'opération et la surface du modèle 3D. La précision dière
selon le mode d'obtention de la surface du modèle patient. Dans le cas d'une segmentation,
cette surface est une surface discrétisée, généralement constituée de facettes liant les points
appelés vertex. Dans le cas de rendu de volume, la précision est celle de l'examen utilisé.
Le recalage est souvent basé sur la peau du patient et limité à une partie seulement de la
surface du patient en position opératoire. Si la surface n'est pas susamment signicative
au niveau de la forme, on se retrouve avec un problème d'ouverture (ou aperture en anglais)
qui signie que plusieurs minima de recalage existent, c'est-à-dire qu'il y a plusieurs solutions
possibles. La précision d'un recalage basé surface est dicile à évaluer sans connaître la vérité
terrain. L'erreur de recalage est souvent donnée comme l'erreur résiduelle après recalage entre
les deux surfaces. Cependant, cette erreur n'a pas beaucoup de signication, parce qu'à moins
d'avoir des points de comparaison connus, on ne peut pas être sur que le positionnement de
la surface acquise du patient sur l'image préopératoire est correct. Par exemple, si on veut
recaler un morceau de sphère sur une sphère complète, il y a une innité de solutions. De
plus, rien ne permet de dire laquelle est la plus juste, l'erreur résiduelle pouvant être nulle
pour cette innité de solutions. De plus, l'erreur résiduelle calculée sur la surface ne donne pas
d'indication sur le reste du volume non concerné par la surface. Il n'y a pas d'équivalent de
la TRE pour le recalage de deux surfaces. Dans [TNDM04], la reconstruction stéréoscopique
de la scène réelle doit permettre de recaler le modèle du patient sur le patient, en fait sur
sa reconstruction stéréoscopique. Cependant, en neurochirurgie, cela implique que la surface
couverte par la stéréoscopie soit susamment grande et que la zone du patient, acquise en 3D,
soit susamment signicative pour diminuer les problèmes d'ouverture. Dans [GEW+ 96], le
recalage patient-image est calculé grâce à la mise en correspondance de duciaires scannés par
un laser. Il est conseillé également d'utiliser, pour le recalage, une partie du patient riche en
points remarquables, comme le visage. Un dispositif, à faire mordre au patient, est proposé. Ce
dispositif donne une scène de structure assez riche pour être recalé ecacement après acquisition
laser. Dans [CZHT+ 96], le système de stéréo vidéo permet également de calculer le recalage
initial entre la peau du patient et son modèle 3D, en s'appuyant également sur la projection
d'une lumière structurée pour faciliter la mise en correspondance. Une mise à jour du recalage
rigide, par un autre recalage rigide basé duciaire, est prévu en cas de mouvement du patient. Le
logiciel du système de navigation endonasale ENTACT de PRAXIM, Grenoble, France, recale
la peau du patient extrait des examens préopératoires avec une acquisition faite au palpeur
ou pointeur, suivi par un localisateur.
Recalage basé image Le principe est de recaler de façon multimodale une imagerie préopé-
ratoire avec une imagerie peropératoire. Nous avons présenté diérentes modalités d'imagerie
peropératoire dans le chapitre 1. En visualisation, cette approche est plutôt utilisée dans les sys-
tèmes utilisant comme capteur ce type d'imagerie. La méthode classique et ecace pour recaler
de manière rigide deux modalités d'imagerie diérentes est l'information mutuelle (MI), basée
sur la comparaison de l'entropie des deux volumes ou images. L'intérêt est alors d'acher, dans
le même environnement, les images peropératoires du patient et le modèle préopératoire sans
avoir à recaler le patient et son modèle au préalable. C'est le cas, par exemple, lorsque le cap-
teur est une IRM fonctionnelle [GGS+ 05]. La base anatomique de l'IRM fonctionnelle est alors
recalée avec l'examen IRM préopératoire. Les images peropératoires peuvent également être
utilisées pour corriger le décalage en translation due à une erreur de recalage. Dans [LWVN05],
la comparaison de la position de la lésion sur l'IRM préopératoire, avec la position indiquée par
des images ultrasonores, permet d'aligner les lésions avec deux translations. L'une des transla-
tions est calculée suivant la direction de la gravité et la deuxième perpendiculairement à celle-ci.
Un autre intérêt du recalage basé image est la gestion des déformations anatomiques, que nous
allons présenter dans le paragraphe suivant. Cependant, les modalités d'imagerie peropératoires
sont souvent des appareillages encombrants et coûteux, avec une résolution moindre que celle
des modalités préopératoires, ou demande une modication de la procédure chirurgicale pour
l'acquisition.
Gestion des déformations En neurochirurgie, jusqu'à la craniotomie, on peut considérer

que le patient est eectivement rigide. Ce n'est plus le cas dès l'ouverture du volet osseux et nous
reviendrons plus en détail sur ce point important dans le chapitre 4. En chirurgie cardiaque,
une solution, pour se retrouver en condition rigide, est d'arrêter le coeur et de placer le patient
sur un coeur articiel. En chirurgie de l'abdomen, le contrôle de la ventilation du patient, ou sa
mise en apnée permet également de retrouver temporairement ces conditions. Dans [NGP+ 05],
la respiration du patient, placé sous contrôle respiratoire, est considérée comme négligeable.
Mouvement du patient Outre les déformations anatomiques, le patient doit rester xe par
rapport au repère de référence. Ce repère de référence est suivi par un système de localisation.
Tant que la tête du patient reste parfaitement xe par rapport à ce repère, il peut éventuellement
être déplacé pour bénécier d'un examen peropératoire situé dans une autre pièce [WHT+ 05].
En neurochirurgie, par exemple, la tête du patient est xée dans un cadre appelé Mayeld
Clamp qui permet de xer la tête dans la position opératoire désirée, sans avoir à utiliser un
plan d'appui. Cependant, les mesures de Hill [HMM+ 98], du déplacement de l'os du crâne au
cours de l'opération, ont montré des déplacements parfois supérieurs à 1,5 millimètre. L'erreur
de mesure de déplacement était celle de la localisation du pointeur et du repérage de duciaire,
soit 1mm maximum pendant son expérience, ce qui fait de la mesure des déplacements de l'os
du crâne, supérieurs à 1,5mm, une mesure signicative.
2.7.8 L'achage
La perception des distances est un problème complexe et peu étudié en chirurgie [SFT+ 06],
que ce soit par le 3D ou la vision active 4 s'il est en mouvement. D'autres problèmes, d'appro-
priation de l'information, ont été soulevés. Ces erreurs peuvent être dues à la parallaxe, à des
problèmes de fenêtrage d'intensité, mais aussi à la compression des volumes pour l'achage ou
à la résolution du support d'achage. La réalité est vraie par dénition, mais les informations
réelles sont passées par le ltre de la perception par le capteur et sont donc biaisées, que ce soit
par distorsion ou discrétisation. La discrétisation et la distorsion de la réalité sont inévitables,
que l'interprétation du capteur soit faite directement par un des capteurs naturels (les 5 sens)
ou grâce à l'enchaînement de plusieurs capteurs.
2.7.9 Évaluation globale

Comment évaluer l'apport de tels systèmes ? Des cadres d'études de perception dans ce
domaine commencent à émerger [CWP05]. Une solution est de mener des études sur fantôme
pour comparer les résultats obtenus avec ou sans système de visualisation mixte, comme dans
4 le 3D est plus perceptible sur un support de projection 2D s'il est en mouvement
[RSL+ 02] par exemple. Dans ce papier, l'intérêt de la visualisation mixte proposée par [FLR+ 98],
par casque de RA 3D, a été démontré en biopsie du foie en comparant les résultats obtenus
avec des biopsies par guidage ultrasons et des biopsies par guidage ultrasons en visualisation
mixte. La précision au point cible était de 2.48 mm avec la sonde ultra-sons contre 1.62 mm
pour la RA. Les systèmes actuels ont très peu été étudiés du point de vue ergonomique ou
simplement en faisant remplir aux chirurgiens des questionnaires de satisfaction [MNVV03] et
des questionnaires techniques aux techniciens. Les trois aspects suivants sont pris en compte :
la satisfaction des utilisateurs, la complexité du système et la répétabilité des résultats.
2.8 Discussion
2.8.1 Synthèse et limitations des systèmes actuels
Nous venons de présenter les systèmes de visualisation mixte. Ceux-ci se divisent en deux
catégories principales, la RA et la VA. Dans chaque catégorie, les systèmes diérent par le lieu
de perception de l'utilisateur (directement sur le patient ou sur un écran extérieur), par le type
de capteur et le type d'information virtuelle, ainsi que par la qualité de leur représentation,
dimension et résolution. Les termes de RA et VA présentent des ambiguïtés pour la dénition
des systèmes de visualisation mixte, notamment pour les systèmes utilisant un capteur indirect
des informations réelles, comme l'imagerie peropératoire. En eet l'imagerie peropératoire peut
être à la fois une information virtuelle lorsqu'elle a pour nalité la mise à jour du modèle patient,
et une information réelle lorsqu'elle sert de support de visualisation, que ce soit en VA ou en
RA. De plus la réalité et la virtualité sont des concepts assez vagues et il serait plus juste de
les remplacer par la notion de perception augmentée.
Les technologies sont en place, les outils nécessaires ont été développés ou ne tarderont pas à
l'être. Toutes les briques sont en place pour construire le système de visualisation qui diminuera
le temps d'intervention, l'invasivité de la chirurgie et le temps de convalescence du patient, et
qui permettra une exérèse complète et précise de la lésion sans causer le moindre dommage
aux tissus environnants. Mais les fondations n'ont pas été creusées. Il manque une étape de
base importante, que ce soit en spécications technologiques ou en ergonomie. Il reste des
questions dont les réponses n'ont pas été dénitivement acceptées par la communauté, et qui
correspondent aux contraintes discutables du bloc opératoire, exposées dans la section 2.5.
Revenons sur les contraintes du bloc opératoire que nous avons soulevées.
1. Qui a besoin d'information dans la salle d'opération ? Le chirurgien n'est pas le seul acteur
dans la salle d'opération. Doit-on créer des systèmes focalisés sur le chirurgien ou doit-
on prendre en compte les diérents utilisateurs ? Nous considérons que le chirurgien est
l'acteur principal à prendre en compte, mais que le reste de la salle doit être capable de
comprendre ce qui se passe sans avoir à rentrer dans le champ stérile. Cette hypothèse
est celle acceptée dans les salles d'opération aujourd'hui où une colonne vidéo ache ce
que voit le chirurgien dans le microscope chirurgical, mais où les eorts de visualisation
mixte se focalise sur le chirurgien.
2. Le dispositif technologique utilisé doit pouvoir être stérilisé. Il semble compliqué d'assurer
la stérilisation des dispositifs de type casque de RA.
3. L'eort cognitif du chirurgien doit être minimisé. L'idéal serait eectivement que, quel
que soit le dispositif choisi, le neurochirurgien puisse conserver son point d'attention au
même endroit, et ne pas avoir à faire de mise au point. Cependant, lors de l'exérèse d'une
tumeur sous microscope, il a été constaté que le neurochirurgien quittait son champ de
vision microscopique à plusieurs reprise : lors de la craniotomie, lors de décisions diciles
à prendre.
Discussion 59
4. Concernant la liberté de mouvement du chirurgien, seul l'usage de miroir sans tain réduit
leur liberté.
5. Un dispositif accepté en salle passe par un encombrement supplémentaire minimum en
salle, ce qui est discutable pour les approches de projection sur le patient, ou caméra
montée sur un bras articulé supplémentaire. Nous voulons proposer un système à encom-
brement minimum.
6. Un système mixte doit prendre en compte l'aspect déformable du patient. Dans sa thèse
[Nic04] montrait qu'en biopsie du foie, cette prise en compte était inutile dans le cas de
respiration contrôlée, étant donnée la précision nécessaire, évaluée à 5 mm. En neuro-
chirurgie, la précision attendue est millimétrique, et les déformations peuvent atteindre
3cm. Nous chercherons donc à prendre ces déformations en compte. Ce sera l'objet de la
deuxième partie de cette thèse.
7. Diérencier la réalité de la virtualité est considéré comme un défaut dans la plupart
des applications de visualisation mixte. Cependant, en chirurgie, il nous semble que le
chirurgien doit rester maître de ces décisions, et ne pas être assujetti à une erreur de
perception.
8. Les systèmes de type casque de RA basés vidéo sont dicilement acceptables en clinique.
En eet, le gros désavantage clinique de la vidéo est qu'en cas de dysfonctionnement
du système l'utilisateur devient aveugle. Un délai d'achage, peut également avoir des
conséquences sur le temps de réaction de neurochirurgien.
2.8.2 Présentation de notre solution

Nous allons nous intéresser à notre application spécique qu'est la neurochirurgie, et en
particulier l'exérèse de tumeurs et de malformations. Beaucoup de systèmes de réalité mixte ont
été développés pour la neurochirurgie. Cela s'explique par les spécicités de ce type de chirurgie.
Les zones fonctionnelles ne sont pas diérentiables à l'oeil nu, et les tumeurs de bas grades sont
parfois dicilement diérentiables du tissu sain. L'exérèse de lésion est à ciel ouvert, c'est à dire
que le neurochirurgien a un accès visuel à l'organe qu'il opère, mais uniquement au niveau de la
craniotomie. On constate que la vidéo du microscope chirurgical est un capteur qui n'a pas été
utilisé en VA en chirurgie. Notre système de neuronavigation dispose des deux systèmes, RA
par l'achage du modèle patient dans l'oculaire gauche du microscope, et VA par l'achage
de la position de l'outil dans les coupes de l'IRM ou du scanner 3D préopératoire. Il nous a
semblé important de passer à un système de VA plus performant, en augmentant le modèle 3D
du patient par des informations réelles 3D. On va donc proposer un système de VA, développé
au laboratoire IDM [FDSJ01] et optimisé dans le cadre de cette thèse. Ce système est basé
sur l'acquisition de surfaces par stéréoscopie grâce à deux caméras placées dans le microscope
chirurgical. Ce choix permet de respecter les contraintes chirurgicales liées à la procédure et
à l'architecture de la salle d'opération. Notre système cherche a aider le neurochirurgien dans
la localisation des zones cibles et des zones à éviter, tout au long de la chirurgie. Il a pour
but d'aider à concrétiser le lien entre le champ opératoire et le modèle du patient. Le système
choisi a donc une base de visualisation virtuelle, qu'est le modèle patient 3D et le modèle de la
chirurgie, ce qui permet d'orir des points de vue non disponibles en RA. Cette base virtuelle
est augmentée par des surfaces 3D obtenue à partir des vues du microscope chirurgical. La scène
de visualisation mixte est visualisée sur un écran extérieur, et est manipulée par la panseuse à
la demande du neurochirurgien, lorsqu'il a besoin d'une aide à la décision.
Chapitre 3
Virtualité augmentée par la surface

3D du champ opératoire
Dans ce chapitre, nous allons présenter un système permettant de créer des scènes de vir-
tualité augmentée (VA) en neurochirurgie. Le système repose sur l'acquisition d'information
de profondeur sur la surface corticale apparente lors d'une intervention d'exérèse de lésion, à
l'aide de deux caméras placées dans le microscope chirurgical. Les binoculaires permettent au
chirurgien d'appréhender, de manière stéréoscopique, la profondeur de la scène. Notre objectif
est d'augmenter le modèle patient 3D par une information réelle correspondant à la vue du
neurochirurgien dans le microscope binoculaire. Cette vue est construite et explicitée par les
deux images du microscope binoculaire qui nous permettent de construire un modèle texturé
de la surface du champ. Dans un premier temps, nous allons décrire les méthodes concurrentes
d'acquisition de surfaces, texturées ou non, et donner leurs limitations. Puis, nous expliquerons
la méthode que nous avons développée pour créer des scènes de VA pendant l'intervention neu-
rochirurgicale. Nous décrirons d'abord la façon dont nous obtenons le modèle 3D multimodal
du patient, puis le système d'acquisition des scènes stéréoscopiques, y compris le calibrage des
caméras du microscope chirurgical. Nous décrirons ensuite la validation de ce système.
3.1 Tour d'horizon de la numérisation de surface

Dans cette section, on présentera d'abord les diérentes méthodes d'acquisition de surfaces
utilisables en conditions cliniques. La modélisation de la surface peut également être accessible
par son balayage par un outil, dont la position est suivie par un système de localisation. Nous
avons déjà abordé ce point dans les chapitres précédents (en 1.5 et 2.7.7). Nous nous intéres-
sons ici aux méthodes sans contact, plus adaptées à l'utilisation à ciel ouvert. Nous présenterons
ensuite, dans le paragraphe 3.1.2, la stéréoscopie et les méthodes de calibrage de systèmes sté-
réoscopiques. Nous ne donnons ici que quelques éléments de compréhension. Le lecteur intéressé
pourra se référer à [KSK96] ou [Fau93]. La solution proposée sera présentée dans la section 3.2.
3.1.1 Méthodes d'acquisition de surfaces sans contact

On diérencie les systèmes d'acquisition actifs, des systèmes passifs. Numériser une surface
consiste à obtenir un ensemble dense de points 3D ou de courbes. Un algorithme de reconstruc-
61
62 Virtualité augmentée par la surface 3D du champ opératoire
tion, tel que la triangulation de Delaunay1 , doit ensuite être appliqué pour obtenir une surface.
Par systèmes actifs, on entend des systèmes où l'acquisition de la surface demande d'émettre un
signal ou de changer des paramètres. Les systèmes passifs ne nécessitent pas d'autre intervention
que des modules de calcul, après l'acquisition, pour reconstruire la surface.
Systèmes actifs On trouve quatre catégories de systèmes actifs permettant de modéliser

une surface observée. La première catégorie est basée sur l'utilisation d'un laser et calcule la
profondeur de la surface de la scène en mesurant le temps mis par le laser pour être rééchi.
Plus le temps est long, plus le point est loin de la source émettrice du laser [KSK96]. Les
systèmes de la deuxième catégorie sont basés sur la projection d'une lumière structurée sur la
scène. Cette lumière structurée peut-être une grille ou une série de lignes, appelées franges.
L'angle de projection doit être connu. Une seule caméra permet alors de récupérer l'informa-
tion 3D. Elle permet de mesurer les variations par rapport au motif projeté et de retrouver la
profondeur de la scène [KSK96]. La troisième catégorie peut également se satisfaire d'une seule
caméra. Il faut au moins deux acquisitions, avec des paramètres de positions ou de réglage de
la caméra diérents. Les systèmes qui sont basés sur le mouvement d'une caméra utilisent le
même principe de calcul de la disparité que la stéréoscopie, mais suppose une scène xe entre
deux acquisitions. La disparité est la distance en pixel entre deux points correspondants dans
la paire d'images considérée. Certains systèmes se basent sur le changement de mise au point.
Il faut acquérir deux images au moins provenant de la même caméra, mais avec changement
de la distance de mise au point entre les deux acquisitions. La récupération de la profondeur,
par cette technique, suppose l'immobilité de la scène imagée [KSK96]. La dernière catégorie
concerne l'imagerie peropératoire. L'IRMi, le scanner ou les ultrasons 2D suivis en 3D, per-
mettent également de faire des acquisitions de la surface, avec une étape supplémentaire de
segmentation. De plus, les ultrasons nécessitent que la sonde soit en contact avec la surface à
modéliser, contrairement au trois premières catégories. Dans [ASP99], un système actif, basé la-
ser, utilisant à la fois les techniques de triangulation et de variation de mise au point, permettait
d'obtenir 64536 points acquis en 256 courbes. Ces courbes sont acquises une par une, avec dé-
placement du dispositif, en un temps total de 4 secondes. Le pouls cérébral ayant une pulsation
diérente du taux d'acquisition, on peut déjà reprocher à ce système un manque de précision
dû au temps d'acquisition. La précision spatiale de localisation du système est donnée à 0,5
mm. Les acquisitions de surface n'ont pas été utilisées à but de visualisation en chirurgie, mais
plutôt de quantication [SDD+ 05, ASP99] ou de recalage patient-image [TNDM04]. Il est donc
assez rare qu'une texture soit associée au nuage de points, bien que la texture soit une source
d'information importante pour la quantication des déformations, comme nous le verrons dans
le chapitre suivant. Quelques méthodes permettent d'obtenir la surface du champ opératoire
ainsi que la texture associée et ont été utilisées en neurochirurgie. Dans [GEW+ 96], un système
laser est couplé à une caméra vidéo, de manière à faire le lien entre la surface reconstruite et
l'image vidéo. Dans [CDM06, MSC+ 03, SDD+ 05], un système actif commercial (RealScan USB
200, 3DDigital Inc., Sandy Hook, CT) utilise la technique de la lumière structurée par franges.
Ce système permet d'obtenir un nuage de points avec une précision de 0,3 mm à une distance
de 30 cm du champ opératoire. La résolution obtenue entre deux points du nuage de 0,5 mm.
Ce scanner 3D a la particularité de pouvoir associer, à chaque point 3D, les coordonnées du
pixel correspondant dans une image acquise avec une caméra numérique en même temps que
le nuage de points, grâce à un calibrage réalisé par le fabricant. Cependant, ce type de système
est un peu encombrant (gure 3.1). Pour une utilisation sur le champ opératoire, il doit être
1 Un triangle est déni par 3 points tel que le cercle passant par ces 3 points ne contient aucun autre point.
Cette méthode a été inventée par le mathématicien russe Boris Delone 1890-1980 (ou Delaunay comme il l'a
lui-même francisé)
Tour d'horizon de la numérisation de surface 63
xé au plafond de la salle d'opération ou placé à coté du champ à chaque acquisition (gure
3.1 (c)). De plus, ce dispositif est très sensible aux variations de lumière du champ opératoire.
Lors de leurs expérimentations, les scialytiques étaient écartés du champ opératoire le temps de
l'acquisition. Dans [SDD+ 05], les auteurs disent attendre que cette technologie soit disponible
pour un microscope chirurgical, pour résoudre le problème de la place et de l'interruption d'opé-
ration. Ils projettent également de calibrer les caméras dans les mêmes conditions d'éclairage
que pendant l'intervention chirurgicale. Le système utilisé permet d'acquérir de 40 000 à 50 000
points en 10 secondes.
Fig. 3.1 Système commercial RealScan USB 200. (a) Lentilles d'acquisition du scanner (c)
Diodes placées sur le système pour que la position du laser soit suivie. (c) Support télescopique
pouvant élever le dispositif jusqu'à 1,50m du sol. Illustration tirée de [SDD+ 05].
Systèmes passifs Les systèmes basés sur l'ombre reposent sur l'hypothèse d'une source de
lumière unique, ce qui est loin d'être le cas en microchirurgie. La lumière peut provenir des scia-
lytiques et de l'éclairage du microscope. Quelques auteurs ont proposé l'utilisation de systèmes
stéréoscopiques passifs pour l'acquisition de la surface. Dans [STD00, SNJ02] la méthode de re-
construction de la surface corticale est basée sur deux hypothèses. La première est l'hypothèse de
la continuité de la surface acquise. La deuxième repose sur un modèle de réexion Lambertienne,
qui correspond à une hypothèse de surface mate. De plus, la méthode requiert l'initialisation de
l'algorithme de reconstruction par un point de recherche, mis en correspondance sur les deux
images. Le calibrage utilisé est un calibrage faible. Dans [SFR+ 03b, SFH+ 03, Sun02, SRF+ 05],
un système de caméras stéréoscopiques est monté sur le microscope chirurgical. Le champ opé-
ratoire est segmenté manuellement. Seuls 1000 pixels sont utilisés pour estimer la surface. Les
auteurs ont montré, sur un nombre très limité de duciaires de référence, que prendre plus de
points n'augmentait pas la précision de la reconstruction stéréoscopique. Une approximation
du nuage de points obtenu est calculée par un modèle sphérique [SFR+ 03a]. Le calcul d'une
reconstruction prend environ une minute. Dans [SRF+ 05], les auteurs rajoutent la texture, en
utilisant les coordonnées de l'image dans laquelle est exprimée la carte de disparité. Nous allons
maintenant détailler les méthodes d'obtention de surface par stéréoscopie.
3.1.2 Reconstruire une surface par stéréoscopie

Dans cette section, nous présentons le principe de la stéréoscopie. Le lecteur intéressé par
un état de l'art de la stéréoscopie, par deux ou plusieurs caméras, pourra se référer à [Fau93,
KSK96]. Les images issues d'un système stéréoscopique possèdent toujours la caractéristique
suivante. Un même point 3D sera projeté sur les deux images sur deux droites dites épipolaires
conjuguées. Pour pouvoir retrouver la profondeur d'une scène, il faut d'abord pouvoir modéliser
les caméras utilisées. Un modèle général couramment utilisé est le modèle sténopé, dit aussi
"en trou d'épingle". Après avoir présenté ce modèle, nous présentons la manière de calculer
les paramètres spéciques de ce modèle pour une caméra, puis pour un système stéréoscopique
de caméras. Cette étape est appelée calibrage. Nous discutons cette étape avant de proposer
notre solution. Le modèle sténopé, couramment utilisé pour le calibrage, de par sa simplicité
et son ecacité, est représenté sur la gure 3.2. Placer le système d'acquisition de surface par
stéréoscopie directement dans le microscope chirurgical permet de ne pas rajouter de matériel
encombrant dans la salle d'opération. Par contre, il complique l'étape de calibrage parce que
l'optique du microscope est également à prendre en compte.
Fig. 3.2 Explication géométrique des paramètres du modèle de caméra sténopé. En rouge, les
coordonnées sont exprimées en pixel. Le repère (C, xc , yc , zc ) est le repère associé à la caméra.
Le point C est le centre optique de la caméra, par lequel passent toutes les droites de projection
d'un point 3D sur le plan image.
Modèle de caméra sténopé La longueur focale f , entre le centre optique et sa projection

suivant l'axe des zc , appelée point principal, est exprimée en millimètre. Le point M 3D a pour
coordonnées (X,Y,Z) dans le repère monde en millimètre. La première étape consiste à exprimer
ses coordonnées dans le repère 3D millimétrique caméra (C, xc , yc , zc ). La matrice de passage
d'un repère à l'autre est appelée matrice des paramètres extrinsèques. C'est une transformation
rigide (translation et rotation). La deuxième étape consiste à projeter le point 3D M , exprimé
dans le Repère Caméra (Xc , Yc , Zc ), dans le plan image. Les coordonnées de la projection m
du point M sur le plan image en millimètre se calculent à partir des coordonnées de M dans le
Repère Caméra. Pour cela, on applique le théorème de Thalès, successivement, dans le plan
(C, M, Mxz ) et le plan (C, M, Myz ). Mxz est la projection de M sur l'axe zc suivant −→
xc et Myz
−
→
est la projection de M sur l'axe zc suivant yc . Pour passer au Repère Image en pixel, on doit
estimer également la taille horizontale d'un millimètre en pixel ku et sa taille verticale kv . Le plan
image est parallèle au plan (C, − →
xc , −
→
yc ). Les coordonnées de m dans le Repère Caméra sont
alors (f Zc , f Zc , f ).Il faut également tenir compte du changement d'origine pour le Repère
Xc Yc
Image, car l'origine d'une image est couramment placée en haut à gauche de l'image alors
que l'origine du Repère Caméra se projette en c0 de coordonnées (u0 , v0 ) dans le Repère
Image en pixel. On tient également compte du fait que les lignes et les colonnes des capteurs
des caméras CCD, ne sont pas parfaitement orthogonales. Pour cela, un facteur correctif est
appliqué. Ce facteur dépend de l'angle entre les lignes et les colonnes, l'angle θ (souvent très
proche de π2 ) ([Fau93]). On a alors le calcul suivant :
f Xc f Yc
u = ku − ku cos(θ) + u0
Zc Zc
et
f Yc
v = kv sin(θ) + v0
Zc
On peut écrire cette relation sous la forme d'une transformation ane, appelée matrice in-
trinsèque de calibrage IP en faisant le changement de variable suivant : (x, y) = ( X Yc
Zc , Zc ). Les
c
coordonnées de m dans le Repère Caméra peuvent s'écrire (f x, f y, f ). (u, v, 1) = IP ×(x, y, 1)

avec  
ku f −ku f cos(θ) u0 0
IP =  0 kv f sin(θ) v0 0 
0 0 1 0
Le symbole × représente, dans tout le chapitre, le produit matriciel. On souligne ici que la
relation m = IP × EP × M est une relation projective, à un facteur d'échelle près, ce qui
signie que prendre la relation dans le sens contraire ne donnera la position 3D d'un point
2D qu'à un facteur près. C'est l'usage de deux images qui permet de lever cette ambiguïté
projective et de se placer en géométrie euclidienne. L'étape de calibrage consiste alors à trouver
une approximation de la valeur de ces paramètres.
Calibrage d'une caméra La méthode de calibrage la plus courante est celle de Tsai [Tsa86].
Elle utilise une mire, c'est-à-dire un objet dont les coordonnées 3D sont connus dans un repère
monde arbitraire. La méthode de calibrage de Tsai consiste à calculer séparément les paramètres
extrinsèques puis intrinsèques. Dans une seconde étape, une approximation, simultanée, des
paramètres intrinsèques et extrinsèques, est calculée en maximisant par Levenberg-Marquadt
leur vraisemblance par rapport à la projection qu'ils donnent des points 2D sur les points
3D. Dans le modèle de caméra de Tsai, on rajoute aux paramètres intrinsèques précédents
un coecient de distorsion radiale. La mire, utilisée pour ce type de calibrage, doit être 3D
ou du moins 3D simulée. Une autre méthode de calibrage classique est celle proposée par
Zhang [Zha00], qui se base également sur l'utilisation d'une mire, mais simplement 2D, déplacée
arbitrairement, avec modélisation de la distorsion radiale. A partir de points extraits dans
l'image, les paramètres extrinsèques et intrinsèques sont calculés analytiquement en considérant
5 paramètres intrinsèques (les 5 cases non nulles de la matrice présentée). Dans une seconde
étape, la distorsion radiale est prise en compte, puis tous les paramètres sont ré-estimés par
maximum de vraisemblance.
Calibrage d'un système stéréoscopique : fort ou faible ? Le calibrage fort consiste à

calculer les paramètres intrinsèques et extrinsèques du modèle de caméra choisi à partir de
points 3D dont on connaît la position dans un repère monde. Ce type d'objet aux coordonnées
3D connues est appelé mire de calibrage. Le calibrage est alors réalisé pour chaque caméra
indépendamment. On obtient deux matrices de projection perspective qui permettent de re-

trouver la géométrie euclidienne, lorsque le même point dans les deux images droite et gauche
est mis en correspondance. Le calibrage faible consiste à calibrer le système stéréoscopique, i.e.,
les deux caméras en même temps, à un facteur projectif près et sans mire. En se basant sur la
géométrie épipolaire, propre aux systèmes stéréoscopiques, la mise en correspondance de points
dans les deux images permet le calcul de la matrice fondamentale et de la matrice de projection
perspective. Le calibrage fort permet d'obtenir la géométrie euclidienne de la scène. Selon les
expériences publiées dans [Dev97], le calcul de la géométrie épipolaire (et donc la rectication)
fonctionne mieux avec un calibrage faible.
Calcul de la matrice fondamentale à partir des paramètres des deux caméras On

appelle matrice fondamentale la matrice qui donne la relation entre un pixel de l'image gauche
pg , de coordonnées (ug , vg )T , et un pixel de l'image droite pd de coordonnées (ud , vd )T .Soit F
cette matrice. La traduction de la contrainte épipolaire permet d'écrire la relation suivante :
pTg F pd = 0.
Calcul des matrices de rectication La rectication des images consiste à arranger la

géométrie épipolaire de façon à contraindre la recherche d'un point correspondant, soit à une
ligne, soit à une colonne (gure 3.3). La rectication consiste à projeter les plans image sur un
autre plan de façon à obtenir des droites épipolaires parallèles. Pour calculer ces matrices de
projection à partir de la matrice fondamentale, une contrainte possible sur le choix du plan est
de choisir un plan commun parallèle à la droite reliant les deux centres optiques, C et C', des
caméras du système stéréoscopique, tel que vdR = vgR , où vdR et vgR sont les nouvelles positions
des points correspondants dans les images rectiées droite et gauche, respectivement.
Fig. 3.3 Principe de la rectication : les plans image sont projetés sur un plan commun, paral-
lèle à la droite reliant les deux centres optiques, C et C', des caméras du système stéréoscopique.
Illustration tirée de [Dev97].
Mise en correspondance des points sur les deux images Pour retrouver la profondeur
d'un point à partir du modèle des deux caméras, il faut apparier ces points et mesurer leur
distance en pixel an de construire la carte des distances entre pixels, appelée carte de disparité.
En stéréoscopie, on peut choisir de n'apparier les points que de manière éparse si on possède des
informations a priori sur la structure de la scène (si l'objet est rigide, par exemple). Dans ce cas,
on extrait des points particuliers, plus faciles à mettre en correspondance. Il est aussi possible
de chercher à apparier tous les pixels d'une image. La mise en correspondance d'images d'une
paire stéréoscopique a des contraintes particulières qui facilitent cette mise en correspondance,
par rapport à un appariement de pixel pour du recalage par exemple. Ces contraintes sont dues
à la géométrie épipolaire, auxquelles il est ajouté les contraintes d'unicité (un pixel possède
un seul correspondant), de continuité (traduite par la continuité des dérivées de la carte de
disparité) et d'ordre (si un pixel A est apparié à un pixel B, un pixel à droite de A devra
être apparié à un pixel à droite de B). On cherche alors à maximiser la similarité de bloc de
pixel pour décider de l'appariement du pixel au centre du bloc. Les mesures de similarité les
plus courantes en stéréoscopie sont les mesures basées luminance, comme la corrélation ou les
moindres carrés de l'intensité. Ces mesures peuvent être normalisées, de manière à prendre en
compte des diérences d'illumination entre les deux images, dues à une mauvaise balance des
blancs ou à l'angle d'éclairage.
Interpolation des valeurs des paramètres pour les couples zoom/mise au point
non calibrés Toute la procédure de calibrage décrite doit être répétée pour tous les réglages
de microscope dans lequel sont placées les caméras. En eet, les paramètres intrinsèques et
extrinsèques changent avec le zoom et la mise au point. Cela signie qu'idéalement, la procédure
de calibrage devrait être réalisée pour tous les réglages possibles du microscope. On peut tout de
même se limiter à ceux qui sont le plus couramment utilisés lors d'une opération (nous n'avons
pas eu l'occasion, par exemple, de voir le neurochirurgien utiliser le zoom à son niveau maximal).
Plusieurs auteurs se sont intéressés à l'interpolation des paramètres trouvés pour quelques
réglages de la caméra, en utilisant des relations physiques entre les paramètres et le réglage du
microscope. Dans [EVF94], un modèle ane, de prise en compte du changement de distance de
mise au point par un modèle à 3 paramètres, est utilisé. L'approximation linéaire est faite par
un développement de Taylor. Dans cette étude, on ne connaît pas les nouvelles valeurs de zoom
et de mise au point. On se sert de la mise en correspondance de quelques points (2 au minimum)
pour estimer les changements. Les hypothèses sous-jacentes à cette étude sont l'invariance des
paramètres ku et kv (taille d'un millimètre en pixel) et de l'angle θ toujours à Π/2 ± ² avec
epsilon, tel que l'erreur, conséquente à cette hypothèse, est négligeable. D'autres hypothèses
permettent de limiter les paramètres à interpoler. Le rapport d'aspect entre la hauteur et la
largeur d'un pixel est considéré robuste aux changements de zoom et de mise au point [EVF94]
mais également aux changements de position et d'orientation par rapport au volume de calibrage
[SM99]. Une autre hypothèse tirée de [LRD93] est que le centre optique suit un déplacement
le long de l'axe optique lors de la variation de la focale. Pf 0 = A.Pf + tc où A est une matrice
ane pour laquelle il ne subsiste alors que 2 inconnues. Cependant, dans [VSB06] et [FM96], il
est conclu que pour un modèle sténopé sans distorsion, les paramètres intrinsèques calculés sont
faux : ils compensent localement la trop grande simplicité du modèle. La conséquence est que
le calibrage donne une matrice de projection correcte dans le volume ayant servi au calibrage
(i.e., aux calculs des paramètres compensés du modèle). Mais dès qu'on s'en éloigne, le modèle
calculé donne des résultats faux. Par contre, dans [VSB06] il apparaît que pour un modèle
sténopé avec distorsion radial (ordre 4), l'estimation des paramètres intrinsèques est robuste.
Pour pouvoir interpoler les paramètres intrinsèques en fonction des valeurs de zoom et de mise
au point récupérées, il faudrait qu'il n'y ait pas de compensation locale lors de l'estimation
des paramètres pour les couples zoom/mise au point calibrés. Dans ces études, les modèles
analytiques sont développés. Mais ce ne sont que des modèles physiques d'approximation, car il
s'agit de modèles complexes de lentilles. Les mesures sont toujours faites empiriquement pour
chaque caméra. Il serait cependant intéressant de pouvoir étudier l'optique de ces systèmes et
de cesser de les considérer comme des boites noires. Une idée encore diérente est de calibrer un
nombre plus important de couples. Les paramètres sont interpolés par régression polynomiale
par exemple [EKM+ 00].
Correction de calibrage peropératoire Dans [Sun02], le calibrage fort, réalisé hors opéra-
tion, est corrigé, à chaque acquisition, par une correction de calibrage. Cette correction est basée
sur l'implantation dans l'os du patient de micro vis sur les bords de la craniotomie. La position
2D de ces micro vis est extraite, manuellement, dans la paire d'images stéréoscopiques et leur
position 3D est calculée automatiquement par le localisateur. La matrice de projection est alors
minimisée de façon à permettre la superposition du point, reconstruit en 3D par stéréoscopie,
et du point 3D, obtenu par le localisateur. Les résultats sont améliorés de 92% pour les micro
vis et de 72% pour 2 points sur la surface corticale. Les auteurs attribuent cette détérioration
corrigée, par rapport au calibrage initial, au mouvement du microscope. Cependant, le micro-
scope est suivi par le localisateur et nous pensons plutôt que le problème vient du calibrage
initial ou des transferts d'erreurs lors de la multiplication des matrices impliquées, de la matrice
de projection au repère patient. De plus, aucune mention n'est faite de la distance de mise au
point ou du zoom du microscope, dont tous les microscopes chirurgicaux disposent. Les auteurs
disent observer, comme erreur, un décalage en translation, entre les positions 3D attendues et
les positions reconstruites. Ils attribuent ce décalage à un problème de repère. Nous avons aussi
observé ce décalage, mais il correspondait aux acquisitions faites pour une distance de mise au
point non calibrée.
3.1.3 Discussion
Nous avons exposé dans le chapitre précédant les contraintes du bloc opératoire, notamment
concernant l'espace disponible et les contraintes de stérilisation. Par ailleurs, pour les images du
champ opératoire, l'hypothèse de non spécularité des images (hypothèse Lambertienne utilisée
dans [STD00, SNJ02]) est dicilement acceptable car le cortex est une surface humide. Nous
avons choisi de développer une méthode d'acquisition de surface en neurochirurgie, basée sur le
travail de Fleig [FDSJ01] pour l'intégration du système au bloc et de Devernay [Dev97] pour
la partie stéréoscopie. Nous avons choisi un modèle de caméra sténopé sans distorsion, pour sa
simplicité et parce que nous n'avons pas observé de distorsion. En testant l'algorithme de Tsai
[Tsa86] sur nos données de calibrage, il s'est avéré que les valeurs de distorsion étaient quasiment
nulles. Le calibrage fort est ici adapté à notre problème. En eet, dans le cas de capteur visuel
dynamique (caméra à zoom et mise au point modiables), il est plutôt considéré que le calibrage
doit être fait sans mire (auto-calibrage) parce qu'on ne connaît pas les valeurs des nouveaux
paramètres. Ce n'est pas le cas ici : la station de neuronavigation nous permet de récupérer
les paramètres zoom et mise au point du microscope. L'approche qui nous semblait alors la
plus pertinente et la plus précise est un calibrage fort pour plusieurs valeurs de zoom/mise
au point. Dans notre modélisation, nous avons chercher à estimer les paramètres intrinsèques
α = ku f , sx = kkuv sin(θ),γ = −kv f cos(θ) et les paramètres extrinsèques tx , ty , tz , Rz , Ry , Rx .
Habituellement, certains de ces paramètres sont fournis par le constructeur, mais malheureuse-
ment nous ne possédions qu'une documentation succincte du système sans aucune indication sur
les paramètres des caméras. De plus, celles-ci étant placées dans le microscope, le système est
modié par l'optique du microscope. Le calibrage que nous réalisons ne répond pas aux critères
permettant une interpolation physique des paramètres, notamment du fait que nous forcions le
centre optique au centre de l'image pour des raisons de stabilité numérique. Le calibrage est
un processus long. L'accès au microscope chirurgical en salle d'opération est limité, nous avons
par simplication limiter notre calibrage à quelques couples. Concernant la nécessité de corriger
en peropératoire le calibrage, les caméras sont xées d'une seule façon possible. On exclut les
déplacements mécaniques involontaires. Les seules sources d'erreurs crédibles, selon nous, sont
liées à la synchronisation entre la récupération des matrices de position du microscope et de
la croix dénissant le repère patient en neuronavigation, (cette croix est représentée dans le
chapitre 1, gure 1.9) et à leur précision. Les diodes sur le microscope chirurgical ne sont pas
Matériel et Méthodes 69
toujours toutes repérées par le localisateur. Dans la section suivante, nous allons présenter notre
méthode d'obtention de scène de VA. Globalement, la méthode consiste à appliquer, au modèle
multimodal du patient, la transformation image-patient, qui a été calculée par la station de
neuronavigation. On va ensuite, aussi souvent que désiré par le neurochirurgien, acquérir la
surface vue par le neurochirurgien à travers le microscope, directement dans le repère patient.
Cette surface est achée dans le modèle multimodal du patient. Techniquement, la précision des
reconstructions repose sur l'étape de calibrage des caméras, pour laquelle nous avons utilisé la
méthode que nous allons décrire dans le paragraphe 3.2.5, utilisant les avantages de la géométrie
épipolaire tout en conservant la précision d'un calibrage indépendant pour les deux caméras.
Pendant l'opération, le calcul de la disparité repose sur la mise en correspondance des points
des deux images. La géométrie épipolaire est utilisée pour accélérer et rendre plus robuste la
recherche. En exprimant la carte de disparité dans le repère de l'image droite, l'intensité du
pixel correspondant à l'image droite peut être attribuée à chaque point 3D reconstruit. Les
contours dans le microscope utilisé sont achés dans l'oculaire gauche. Nous avons donc choisi
d'utiliser l'image droite, car l'image gauche peut contenir ces contours.
3.2 Matériel et Méthodes

Nous allons montrer dans cette partie comment nous obtenons une scène de VA à plusieurs
reprises pendant l'intervention chirurgicale. Nous commençons par montrer comment le modèle
patient est obtenu, en présentant notre expérience de neuronavigation multimodale au CHU de
Rennes. Une scène complète est présentée gure 1.7. Dans les exemples, les modalités utilisées
étaient l'IRMf et l'IRM3D T1 avec ou sans injection. D'autres modalités peuvent être ajoutées
au modèle patient, à partir du moment où il est possible de les recaler avec l'IRM 3D T1.
3.2.1 Création du modèle patient multimodal

Les volumes d'intérêt sont segmentés sur diérentes modalités et recalés sur l'IRM 3D T1
utilisé pour la neuronavigation. Les informations sélectionnées sont alors sauvées, en tant que
surfaces 3D, dans le format VTK (Visualization Toolkit (VTK)) [SML93]. Un exemple de scène
multimodale ainsi obtenue, est représenté sur les gures 3.4 et 1.7.
Fusion de données Utiliser plusieurs modalités a un principal intérêt qui est de proter des
avantages et des données complémentaires de chaque modalité. L'IRM 3D est l'examen qui a la
plus forte résolution anatomique parmi nos données préopératoires, nous allons donc exprimer
les informations contenues dans les autres modalités, dans le repère attaché au volume IRM
3D. On applique alors des techniques de recalage d'image, entre plusieurs modalités du même
patient [JFS+ 00].
Segmentation des régions d'intérêt Les volumes d'intérêt sont le volume cible (par exemple,
la lésion) et les zones à éviter (par exemple, les vaisseaux ou les zones fonctionnelles). La seg-
mentation de la peau et du cerveau peut également avoir un intérêt pour localiser la lésion
par rapport au patient. A cette liste s'ajoute l'utilisation d'amers anatomiques, tels que les
sillons corticaux. La peau est segmentée par extraction de surface sur le volume IRM 3D. Le
cerveau est segmenté grâce à une technique de segmentation du cerveau basée Level Set utili-
sant la logique oue [CB05]. De manière générale, la grande variabilité biologique des patients
et des lésions est une cause d'échec courant des algorithmes de segmentation automatique. La
segmentation est eectuée sur des organes pathologiques, avec un large type de lésion, parfois
hétérogènes, n'ayant pas toujours le même type de réaction au champ magnétique de l'IRM. La
(a) (b)
Fig. 3.4 Exemple de modèle patient 3D pour un patient présentant un gliome de bas grade,
construit à partir des images préopératoires. (a) Le gliome (en bleu), le cortex et les sillons
corticaux (rubans jaunes et oranges) ont été obtenus à partir de l'examen anatomique IRM 3D
T1 ; les zones fonctionnelles représentées par des sphères agglomérées ont été obtenues à partir
des IRM fonctionnelles à paradigmes d'activation moteur et langage.(b) Localisation de la scène
dans le cortex. L'échelle est donnée par le cube englobant la scène : un échelon représente un
centimètre.
lésion est rarement homogène. Elle est couramment entourée d'un oedème, d'un hyper-signal à
l'IRM correspondant à des saignements. Lorsque la segmentation automatique basée intensité
échoue, nous avons recours à la segmentation manuelle [YPH+ 06]. La segmentation des sillons
et leur modélisation utilise la méthode développée au laboratoire [LGBB97].
Choix de la stratégie chirurgicale A la n de la phase de préparation, le modèle patient

3D ainsi construit est présenté au chirurgien. Il sélectionne les traces externes des sillons qu'il
compte utiliser, soit comme guide sulcal, soit comme amer anatomique, pour se repérer lors de
l'intervention. Des rubans sont générés pour marquer les sillons en profondeur, par la méthode
des rubans actifs. Il sélectionne les zones fonctionnelles qu'il juge près de la lésion ou empêchant
un choix de trajectoire chirurgicale. Le chirurgien détermine la position du patient, les points
d'entrée et cible pour atteindre le plan de clivage, en tenant compte des zones d'intérêt à éviter.
La trajectoire d'accès à la lésion peut être transgyrale (passant par un gyrus) ou transsulcale
(passant par un sillon). La trajectoire dénie est représentée comme une droite.
3.2.2 Les étapes de la réalisation du geste chirurgical

Nous parlons de notre expérience avec la station de neuronavigation StealthStation, Med-
tronic. Suite à un travail réalisé avec Medtronic SNT pour retrouver les fonctionnalités oertes
par le système précédent (STNSNN , ZEISS, Allemagne), les contours des régions d'intérêt sé-
lectionnées au laboratoire apparaissent dans les coupes de l'examen anatomique de référence
achées par la station de neuronavigation. Ils sont également achés dans un des deux oculaires
du microscope chirurgical, de façon monochrome et 2D. Une station informatique supplémen-
taire munie de deux grands écrans est utilisée pour acher la cartographie 3D du patient et les
éléments sélectionnés par étapes. La solution proposée dans ce manuscrit a été développée pour
un type particulier de chirurgie, l'exérèse de lésion avec craniotomie avec microscope chirurgical
et neuronavigation multimodale. Nous expliquons ici le déroulement d'une telle procédure an
que le lecteur puisse comprendre les futures références aux étapes de ce type de chirurgie.
Le patient est amené en salle et anesthésié.
Positionnement du patient : Le neurochirurgien place ensuite le corps du patient et sa tête
Fig.3.5 Cadre de Mayeld xant la tête du patient pour la durée de l'intervention. Image
Mayeld Clinic.
dans la position opératoire en fonction de la localisation de la craniotomie qu'il a planiée. La

tête est maintenue, à l'aide d'un cadre mécanique, appelé Mayeld Clamp, qui xe la tête du
patient dans la position choisie (gure 3.5). La croix de neuronavigation, repère de référence,
est xée sur ce cadre.
Recalage patient-image : Le neurochirurgien utilise le pointeur du système de neuronavi-
gation pour localiser des points précédemment dénis sur les images préopératoires ou pour
récupérer une surface sur le patient (gure 3.6). Lorsque le recalage calculé par le logiciel de
(a) (b)
Fig. 3.6 Recalage patient-image.(a) Coupe IRM du patient prise avant l'opération, les po-
sitions des pastilles (cercle rouge) sont exprimées dans le Repère IRM3D. (b) Le neurochi-
rurgien récupère les positions de ces mêmes pastilles dans le repère patient (Repère Croix)
à l'aide du pointeur du système de neuronavigation. Le calcul de la matrice de transformation
ane entre image et patient est alors calculée par minimisation des erreurs de superposition
des pastilles.
neuronavigation atteint une précision susante, le système est dit en navigation. L'outil appa-
raît alors dans les images préopératoires en temps réel.
Optimisation de l'incision de la peau : Il se repère par rapport aux images préopératoires

en balayant le patient avec le pointeur ou en jouant sur la mise au point du microscope chirur-
gical. Le patient est ensuite rasé dans la zone de la craniotomie (gure 3.7 (a)). On passe alors
en phase stérile, le patient est drapé en ne laissant découverte que la zone où va être eectuée la
craniotomie. Le chirurgien, l'aide opératoire et l'inrmière instrumentiste se changent et désor-
mais personne à part eux ne peut rentrer dans la sphère stérile qui entoure le patient. Il ne doit
plus y avoir de contact avec le reste de la salle d'opération. La peau est alors incisée, soulevée
et pliée sur les bords de la future craniotomie, de façon à ce que l'os du crâne soit apparent
(gure 3.7 (b)).
Craniotomie : La craniotomie est eectuée. Elle correspond à la réalisation d'une ouverture
dans le crâne. Le volet osseux est conservé pendant toute la durée de l'opération pour être
replacé lorsque celle ci sera terminée.
Incision de la dure-mère : Sous l'os se trouve une membrane blanche et opaque, la dure-
mère (gure 3.7 (c)). A la manière de la peau, la dure-mère est incisée et pliée sur les bords
de la craniotomie. On accède ainsi à une deuxième membrane appelée arachnoïde, beaucoup
plus transparente et avasculaire (gure 3.7 (d)). Après incision de l'arachnoïde, le chirurgien
accède au cortex, encore recouvert d'une membrane appelée pie-mère. Cette membrane est plus
ne que la précédente. Elle suit parfaitement les circonvolutions du cortex, tandis que les deux
membranes précédentes l'entouraient. Elle sera uniquement incisée pour l'exérèse.
Repérage anatomique : Le neurochirurgien visualise à nouveau le modèle de son patient et
vérie à l'aide du pointeur ou de son microscope la position des zones d'intérêt. Il se repère par
rapport aux sillons, gyri ou autres marqueurs anatomiques.
Accès à la zone cible : Le neurochirurgien va suivre la trajectoire qu'il a planiée. L'approche
peut être par exemple transsulcale ou transgyrale.
Exérèse de la lésion : Le chirurgien commence alors l'exérèse de la lésion (gure 3.7 (e)), en
dénissant un plan de clivage entre le tissu sain et la lésion. Il se sert d'outils tels que la pince
bipolaire, les écarteurs à cerveau (pour écarter ou récliner), l'aspirateur.
Fermeture : A la n de la résection, la dure-mère, l'os et la peau sont recousus.
3.2.3 Matériel en salle

Dans le cadre de cette thèse, nous avons successivement utilisé deux systèmes. Le premier
système de neuronavigation était un ZEISS (Carl Zeiss, Allemagne) comprenant une station de
travail (STNSNN Surgical Tool Navigator), un localisateur optique (FlashPointT M Model 5000)
et un microscope chirurgical OPMI Neuro monté sur statif NC4 (Carl Zeiss, Allemagne). La
position du microscope chirurgical était suivie par des diodes électro-luminescentes (voir la gure
3.8(a)). Depuis, le système a été remplacé par un système de neuronavigation StealthStation
Treon équipé du logiciel Cranial4 (Medtronic SNT, Boulder, USA), incluant son propre système
de suivi de marqueurs passifs ou actifs, par infrarouge ou optique (système SureTrackT M ). Nous
présenterons dans ce chapitre l'utilisation de notre système de VA avec ce dernier système. Un
système de stéréovision, Zeiss 3-D Compact Video Camera S2, Carl Zeiss, Allemagne, est installé
entre les binoculaires du neurochirurgien et le microscope. La gure 3.8(b) montre son placement
sur le microscope et la place minime occupée. La gure 3.9 donne les diérents composants du
système Zeiss 3-D Compact Video Camera S2, dont les caméras étaient initialement prévues
pour faire de la stéréovision à l'aide de lunettes polarisées. Il est composé de deux caméras
analogiques compactes CCD (Charged Coupled Device), une par oculaire du microscope. L'unité
de contrôle du système gère le traitement des signaux vidéos reçus des caméras gauche et droite.
La sortie de cette unité est reliée à une station de travail supplémentaire. Cette station de travail
est équipée d'une carte d'acquisition vidéo PICOLO, Euresys, Belgique. Le poids du système
de caméra stéréoscopique est inférieur à 4 kg. Le poids des câbles sur le microscope n'est pas
(a) (b) (c)
(d) (e)
Fig. 3.7 Images d'interventions lmées par le microscope chirurgical : (a) la peau, (b) l'os
recouvert de taches de sang, (c) la dure-mère recouverte de taches de sang, (d) l'arachnoïde,
(e) le cortex après résection d'une tumeur.
(a) (b)
Fig. 3.8 (a)Installation clinique du système de VA pendant la procédure d'évaluation des

performances. Vue globale du système dans le bloc opératoire, avec de droite à gauche : la
station de travail (ancienne version) externe, la station de neuronavigation Zeiss, le microscope
chirurgical équipé du système de caméra stéréo. Derrière le microscope, on aperçoit le locali-
sateur et sur la table, la croix de référence dynamique attachée au fantôme.(b) : A gauche, le
schéma du système Zeiss 3-D Compact Video Camera S2, Carl Zeiss, Allemagne, monté sur la
tète du microscope chirurgical ; à droite, la photographie de ce même système, avec le système
Zeiss 3-D Compact Video Camera S2 colorié en rouge, avec le nouveau système de navigation
StealthStation Treon Medtronic, USA.
(a) (b)
Fig. 3.9 Système d'acquisition stéréoscopique. 3D Compact Video Camera S2, par Zeiss. (a)
unité de contrôle pour la création du ux vidéo analogique. (b) système de caméras stéréosco-
pique. (1) Emboîtement mâle pour le tube binoculaire du microscope. (2) Vis assurant le même
positionnement du système de caméras stéréoscopiques. (3) Vis de maintien du tube binocu-
laire. (4) Port pour rajout optionnel d'un tube supplémentaire d'observation (non utilisé). (5)
Câbles de connexion reliant les caméras à l'unité de contrôle.
estimé, mais ces deux poids supplémentaires implique le besoin de rééquilibrage du statif du
microscope NC4 à chaque début d'opération. L'équilibrage du microscope fait partie de la
procédure. Pour éviter de rallonger le ux d'action, il sut d'attendre que les caméras soient
montées sur le microscope avant de l'équilibrer. Le microscope est fait pour être utilisé de 20 à
42 cm du champ opératoire.
3.2.4 Repères
Le repère image associé au volume IRM est appelé le Repère IRM3D Voxel dans la
gure 3.10. La taille du voxel étant connue, on passe au Repère IRM3D millimétrique
par la transformation mm Tvoxel . Les diodes infrarouges émettrices du système Medtronic sont
aussi placées sur un outil appelé pointeur de navigation et sur une croix servant de repère de
référence patient. Le repère géométrique associé au microscope est appelé Repère Microscope
et celui du pointeur Repère Pointeur. Le repère associé à la croix est appelé Repère Croix
dans la gure 3.10. Il est déni comme le repère patient parce que la croix doit rester xe par
rapport au patient. Le repère associé au localisateur est appelé Repère Localisateur. Les
positions du pointeur et du microscope sont récupérées de la station de neuronavigation, en
utilisant la librairie de communication StealthLink, Medtronic, USA. Elles sont exprimées dans
le Repère Localisateur. On passe du Repère Localisateur au Repère Croix en utilisant
la relation Croix TLocalisateur . Le calcul de la transformation géométrique entre le Repère
Croix et le Repère IRM3D millimétrique est eectué par le logiciel de neuronavigation.
Il était basé sur la mise en correspondance de marqueurs anatomiques et d'une partie de la
surface de la peau du patient, acquise au pointeur. La transformation permettant le passage
entre ces deux repères, appelée matrice de recalage, est notée Croix TIRM3D . Chaque image
issue de caméras placées dans le microscope a son propre repère 2D, nommé respectivement
(a)
(b)
Fig. 3.10 Relations entre les repères. (a) Repères liés à la neuronavigation (b) Repères liés
au microscope chirurgical.
Repère Image Droite et Repère Image Gauche.
3.2.5 Reconstruction de la surface 3D du champ opératoire

Acquisition Une acquisition consiste à récupérer, de façon synchrone, les éléments suivants :
Ig et Id les images provenant des caméras gauche et droite respectivement, récupérées grâce à
la carte d'acquisition de la station externe ;
Croix T
Microscope , la matrice de transformation entre le Repère Croix et le Repère Mi-
croscope, récupérée par connexion Ethernet avec le neuronavigateur ;
les réglages de zoom et mise au point, récupérés également par connexion Ethernet avec le
neuronavigateur.
Seules 7 couples de mise au point et zoom ont été calibrés. On ne présentera cependant que
les résultats pour 2 couples, valeur minimale du zoom et valeurs maximale et minimale de
la distance de mise au point. Ces deux couples sont en eet les seuls couples pour lesquels
la procédure d'évaluation des performances complète fut réalisée. Les acquisitions avaient été
réalisées, avant que la librairie StealthLink ne permette de récupérer les valeurs nominales du
réglage du microscope. Le calibrage des caméras pour d'autres couples, selon la même méthode,
a été réalisé lors d'une autre séance. Nous n'avons pas réitéré les procédures d'évaluation de
performance présentées dans la section 3.3 pour ces autres couples. Nous avons juste conrmé
la précision clinique par l'acquisition de points. Le tableau 3.1 récapitule les valeurs de zoom
et les mises au point eectivement calibrées. Dans le cas d'un changement de mise au point, la
Tab. 3.1 Couples calibrés. Les couples eectivement calibrés sont indiqués par le symbole X.
Les couples ayant bénécié des procédures d'évaluation de performances sont indiquées par le
symbole V
mise au point\ Zoom 1.03 (min) 1.2 1.25 1.46

403 (min) X-V X
437 X
486 X X
541 X X
589 X
610 X
625 (max) X-V X
position du microscope doit être modiée pour obtenir une image nette. Les tailles de champs
opératoires couvertes par les images de résolution 768 × 576 pixels est alors de 4 × 3 cm pour
la distance de mise au point minimale et 8 × 6 cm pour la distance de mise au point maximale.
Calibrage Avant de calibrer les caméras, on fait la balance des blancs. La première étape du
processus de calibrage consiste à trouver les paramètres extrinsèques et intrinsèques de chaque
caméra, lorsqu'elles sont montées sur le microscope, à l'aide d'une mire de calibrage. Nous ne
possédions malheureusement pas les caractéristiques techniques, habituellement données par
les constructeurs de caméra. Nous n'avions pas le schéma optique du microscope. Le modèle
de caméra choisi est un modèle sténopé sans distorsion, i.e., projectif. Le choix de ce modèle a
été justié dans le chapitre 3.1. Le calibrage de chaque caméra inclut l'optique du microscope.
Pour éviter de remettre à jour le calibrage à chaque déplacement du microscope et donc des
caméras, les paramètres extrinsèques sont exprimés dans le Repère Microscope.

Paramètres du modèle sténopé Les paramètres extrinsèques décrivent la transformation
rigide entre le système de coordonnées 3D associé au Repère Microscope et le système
de coordonnées 3D associé à chaque caméra Repère Caméra Droite et Repère Caméra
Gauche. Ces paramètres sont stockés dans les matrices EPg et EPd pour les caméras gauche et
droite respectivement, où g et d sont les indices pour les images gauche et droite respectivement
Nous exprimons la rotation comme une composée des rotations selon l'axe des x (angle Rx ),
des y (angle Ry ) et des z (angle Rz ). On note (tx , ty , tz ) la translation en millimètre entre le
repère monde arbitraire, correspondant souvent à celui de la mire, et le Repère Caméra.
(Xc , Yc , Zc )T = EP × (X, Y, Z)T

avec
0 1
cos(Ry )cos(Rz ) cos(Ry )sin(Rz )sin(Rx ) − sin(Ry )cos(Rx ) cos(Ry )sin(Rz ) ∗ cos(Rx ) + sin(Ry )sin(Rx ) tx
B sin(Ry )cos(Rz ) sinRy )sin(Rz )sin(Rx ) + cos(Rx )cos(Ry ) sin(Ry )sin(Rz )cos(Ry ) − cos(Ry )sin(Rx ) ty C
EP = B
@
C
A
−sin(Rz ) cos(Rz )sin(Rx ) cos(Rz )cos(Rx ) tz
0 0 0 1
La matrice des paramètres intrinsèques est notée IPg et IPd pour les caméras gauche et
droite respectivement. Elle permet de passer du système du Repère Caméra au système de
coordonnées 2D pixel Repère Image.
 
αg γg u0g 0
IPg =  0 sxg v0g 0 
0 0 0 1
où g est l'indice pour l'image gauche, α et γ sont la distance focale exprimée en pixel donc dépen-
dant de la taille des pixels, sx est le facteur d'échelle pour tenir compte de la non-orthogonalité
des cellules photo voltaïques caméras CCD et (u0 , v0 ) sont les coordonnées en pixel du point
principal. Pour plus d'explication sur le modèle utilisé se référer à la section 3.1.2.
Mire de calibrage On a utilisé une mire de calibrage plane, imprimée sur imprimante laser
haute précision, qu'on a transformée en mire 3D en la xant sur une crémaillère (gure 3.11).
La crémaillère permet de changer la hauteur de la mire avec une précision sub-millimétrique.
La croix du système de neuronavigation est xe par rapport à la base de la crémaillère.
Calcul de la transformation entre la mire et le Repère Croix Les coordonnées des
Fig. 3.11 La mire plane utilisée lors du calibrage avec les 3 hauteurs de crémaillère utilisées,
distantes de 10 millimètres 2 à 2.
points de la mire sont récupérées dans le Repère Croix en utilisant le pointeur de neuronavi-
gation.
XCroix =Localisateur TCroix ×Localisateur TPointeur XPointeur
où XCroix sont les coordonnées du bout du pointeur dans le Repère Croix,
XPointeur sont les coordonnées du bout du pointeur dans son propre repère (soit (0, 0, 0, 1)),
Localisateur T Croix T −1
Croix = ( Localisateur )
est la matrice de passage entre le Repère Localisateur et le Repère Croix,
Localisateur T
Pointeur est la matrice de passage entre le Repère Pointeur et le Repère
Localisateur.
Pour le calibrage, on dénit un repère associé à l'objet de calibrage, appelé mire. Ce repère
est noté Repère Mire. La mire était virtuellement constituée de 3 plans superposés. On a
ensuite calculé la matrice de passage Croix TMire rigide entre le Repère Mire et le Repère
Croix. Ce calcul est eectué par minimisation des moindres carrés entre la position des points
de la mire acquis au pointeur et exprimés dans le Repère Croix et leurs coordonnées millimé-
triques dans le Repère Mire.
Extraction des points Pour chaque caméra, pour chaque couple zoom/mise au point traité,
on acquiert des images de la mire avec des positions de crémaillères diérentes. On extrait auto-
matiquement les points dans l'image en utilisant le détecteur de Harris (décrit dans le chapitre
5, section 5.5.2) et on les classe par rapport à leurs coordonnées dans l'image. On associe chacun
des points détectés à leurs coordonnées dans le repère associé à la mire. On connaît pour chaque
image la transformation Localisateur TMicroscope et la matrice de passage Croix TMire qui a
été calculée. On peut donc associer, à chacun des points des images, les coordonnées 3D du
point correspondant dans le Repère Microscope.
Calcul des paramètres intrinsèques et extrinsèques Pour chaque caméra, pour chaque
couple zoom/mise au point, les paramètres extrinsèques et intrinsèques sont calculés dans le
Repère Microscope. La méthode utilisée pour une première initialisation est celle de Tsai
[Tsa86] entre les points exprimés dans le Repère Microscope et les points exprimés dans
le plan image, présentée dans la section 3.1.2. Après obtention d'une première convergence, le
point principal est forcé au centre de l'image (u0 , v0 ) = (384, 288) et le calcul des paramètres
par maximisation de la vraisemblance est réitéré.
Calcul de la géométrie épipolaire Les matrices de rectication Rg et Rd sont obtenues par
décomposition de la matrice fondamentale et permettent de rectier les images gauche et droite
respectivement. Nous avons utilisé la relation donnée par Devernay [Dev97] pour le calcul de la
matrice fondamentale à partir des paramètres extrinsèques et intrinsèques :
F = (IPgT )−1 × T (R) × IPd−1

 
0 tz ty
T =  −tz 0 tx 
−ty −tx 0
avec  
tx
 Rot ty 
EPgd = EPg × EPd−1 = 


tz 
000 1
et la notation T (R) signiant que chaque colonne de la matrice résultat est dénie par T
multiplié par chaque vecteur colonne de R. La matrice fondamentale dénit la transformation
entre les coordonnées en pixel d'un point sur l'image gauche et les coordonnées de ce même point
dans l'image droite. Nous avons choisi classiquement de projeter les images sur un plan commun
de façon à ce que les droites épipolaires soient parallèles et de même ordonnée (gure 3.12).
Nous utilisons l'algorithme de Devernay [Dev97]. Les résultats du calibrage sont donc EPg et
(a)
(b)
Fig. 3.12 Rectication des images du champ opératoire. (a) Paire d'images gauche et droite
non rectiées. (b) Paire d'images gauche et droite rectiées. Les points correspondants sont
désormais sur la même ligne.
EPd qui sont les matrices 4 × 4 des paramètres extrinsèques, IPg et IPd qui sont les matrices
4 × 3 des paramètres intrinsèques, et Rg et Rd qui sont les matrices 3 × 3 de rectication. Le
processus de calibrage n'est eectué qu'une seule fois pour chaque couple zoom/mise au point.
Les résultats obtenus sont alors utilisés pour toutes les chirurgies à suivre. Sauf changement de
système, on ne calibre pas à nouveau les caméras, car il n'y a qu'une façon de les placer sur le
microscope.
Reconstruction de la surface du champ opératoire Construction de la carte de

disparité Pendant une intervention chirurgicale, chaque nouvelle paire d'image Ig et Id est
rectiée. La rectication des images permet de limiter la recherche des points correspondants
sur deux droites colinéaires, parallèles à l'axe des abscisses. La recherche sur une seule droite
repose sur l'hypothèse d'une rectication parfaite. Nous avons testé l'élargissement de la zone
de recherche aux deux droites directement adjacentes au-dessus et aux deux droites au-dessous,
de la ligne épipolaire rectiée, mais les résultats n'étaient pas améliorés et le temps de mise
en correspondance était beaucoup plus long. D'autres contraintes sont utilisées pour accélérer
et rendre plus robuste la mise en correspondance. En eet, nous cherchons à mettre en corres-
pondance 768 × 576 soit 442 368 pixels. On note IgR et IdR les images Ig et Id rectiées par la
projection de matrices Rg et Rd , respectivement. Grâce à la rectication, un pixel de coordon-
nées (u, v) dans IdR correspond au pixel de coordonnées (u + d(u, v), v) dans IgR , où d(u, v) est
(a) (b)
Fig. 3.13 Carte de disparité. (a) Les deux images rectiées sont visuellement superposées.
Des lunettes à ltres rouge et bleu permettent d'appréhender la profondeur de cette scène. (b)
La carte de disparité code la diérence de position en abscisse comme un niveau de gris et
l'attribue au pixel de l'image droite rectiée.
appelée la disparité. Un intervalle de recherche est expérimentalement déterminé pour chaque

couple zoom/mise au point. Une carte de disparité est construite en attribuant une valeur de
disparité d(u, v) à chaque pixel de l'image IdR . Un exemple de carte de disparité est donné par
la gure 3.13. La valeur de la disparité est estimée par la minimisation du critère de la somme
des moindres carrés (critère ZNSSD zero-mean normalized sum of squared dierence) :
d(u, v) = argmind (ZNSSD(u, v, d))
P 0 0 2
i,j (Id (u+i,v+j)−Ig (u+i+d,v+j))
ZNSSD(u, v, d)) = qP
i,j IgR (u+i+d,v+j)2
où d est l'argument qui doit minimiser le critère dans l'intervalle de recherche.
Ig0 (u, v) = IgR (u, v) − IgR (u, v)
Id0 (u, v) = IdR (u, v) − IdR (u, v)

Les indices g et d marquent les images gauche et droite respectivement, IgR (u, v) et IdR (u, v)
sont l'intensité de la luminance du pixel (u, v) des images rectiées IgR et IdR respectivement.
IgR (u, v) et IdR (u, v) ont pour valeur l'intensité moyenne dans une fenêtre des images IgR et
IdR . La fenêtre utilisée a une taille de 11 × 11 pixels, centrée sur le pixel (u, v). Les indices
i, j sont des entiers tels que −10 ≤ i ≤ 10 et −10 ≤ j ≤ 10. La robustesse de la mise en
correspondance est augmentée en respectant la contrainte d'ordre, avec l'hypothèse que l'ordre
des points mis en correspondance n'est pas modié par lignes épipolaires conjuguées. De plus,
une valeur de disparité n'est attribuée à un pixel que si elle est validée. La validation d'une
valeur de disparité consiste à comparer la valeur d(u, v), calculée par minimisation du critère
ZNSSD appliqué à l'image IdR , avec la valeur −(dinverse (u + d(u, v), v)), où dinverse (u, v) est
la valeur de disparité calculée en minimisant le critère ZNSSD appliqué à l'image IgR . Si la
diérence est supérieure à 3 pixels (valeurs correspondant à l'erreur possible d'appariement
visuel), alors une valeur par défaut de disparité est attribuée au pixel, ce qui signie qu'il n'a
pas été apparié. La carte de disparité obtenue est alors lissée par un ltre médian pour éliminer
les points erronés. Elle est ensuite lissée par opérateurs morphologiques. Cinq ouvertures sont
ainsi appliquées pour éliminer les îlots de reconstruction. Cinq fermetures permettent de remplir
les trous de disparités. Une régression linéaire plane est calculée sur une fenêtre 11 × 11, qui
permet d'appliquer la contrainte d'ordre [DF94, Dev97]. Ces paramètres ont été choisis après une
série de tests ne modiant qu'un paramètre à la fois sur une seule paire d'image de cortex après
ouverture de la dure-mère. Nous cherchions la meilleure qualité de reconstruction par rapport
au temps de calcul. D'autres critères ont été testés, notamment l'utilisation de la couleur dans le
critère de similarité, mais n'amélioraient pas la reconstruction. Les critères testés Le problème
des caméras mono-CCD est que la couleur est obtenue par des ltres, qui peuvent provoquer
un eet de Moiré et donc des décalages dans la couleur attribuée au pixel. L'utilisation des
caméras tri-CCD permettrait de résoudre ce problème. Les critères normalisés ZNSSD et le
critère de corrélation normalisé donnait des résultats équivalents, mais ces mêmes critères, non
normalisés, donnaient plus d'erreur et un moins bon taux de reconstruction.
Calcul de la matrice de reconstruction La matrice de reconstruction, notée Td−>Croix
permet de déterminer les coordonnées (x, y, z) d'un pixel (u, v) de la carte de disparité. Son
calcul se fait de la manière suivante. Premièrement, les matrices 3 × 4 projectives euclidiennes
G et D sont calculées directement :
G = Rg × IPg × EPg ×Croix T−1

Microscope
D = Rd × IPd × EPd ×Croix T−1

Microscope
où EPg et EPd sont les matrices des paramètres extrinsèques, IPg et IPd sont les matrices
des paramètres intrinsèques, Rg et Rd sont les matrices de rectication. La transformation
entre le Repère Croix et le Repère Microscope, récupérée en même temps que la paire
d'image, est notée Croix TMicroscope =Croix TLocalisateur ×Localisateur TMicroscope . Si la
projection d'un point 3D (x, y, z, 1) sur IdR est (u, v, 1), alors la projection du même point sur
IgR est supposée avoir pour coordonnées en pixel (u + d(u, v), v, 1). La matrice de reconstruction
Td−>Croix peut alors s'écrire :
 −1
D00 D01 D02 D03
 D D11 D12 D13 
Td−>Croix = 10
 G00 − D00

G01 − D01 G02 − D02 G03 − D03 
D20 D21 D22 D23
où  
G00 G01 G02 G03
G =  G10 G11 G12 G13 
G20 G21 G22 G23
et  
D00 D01 D02 D03
D =  D10 D11 D12 D13 
D20 D21 D22 D23
On calcule alors les coordonnées du point 3D dans le Repère Croix à partir de la carte de
disparité :
(x, y, z, 1)T = Td−>croix × (u, v, d(u, v), 1)T
Si la valeur de disparité attribuée à un pixel est la valeur par défaut2 , alors on ne reconstruit
pas de point 3D correspondant à ce pixel. En utilisant la librairie [SML93], une surface maillée,
composée de triangles, est calculée. Les sommets des triangles (appelés vertex) sont les points
3D de coordonnées (x, y, z, 1). Texture On associe également à chacun de ces vertex les
coordonnées (u, v) de l'image droite du champ opératoire :
(su, sv, s)T = (Rr )−1 (urR , vR
r
, 1)T
Les coordonnées de la texture associée à chaque point sont normalisées par la taille de l'image
de façon à être stockées comme une texture VTK (coordonnées 2D comprises entre 0 et 1) dans
le chier VTK contenant la reconstruction stéréoscopique. Lissage de la reconstruction Les
surfaces texturées, obtenues à cette étape du processus de reconstruction, sont appelées les
reconstructions stéréoscopiques brutes. Elles contiennent encore des points aberrants. Les zones
dans lesquelles les points n'ont pas été reconstruits sont des trous dans la surface, les trous de
disparité. Pour obtenir les surfaces à visualiser, les surfaces brutes sont décimées3 et lissées par
un ltre Laplacien. La décimation a pour but de soulager la carte graphique lors de la visua-
lisation. Le lissage cherche à remplir les trous de disparités et à enlever les points aberrants.
Les surfaces obtenues après ce lissage seront appelées dans la suite du manuscrit les reconstruc-
tions stéréoscopiques lissées. La génération d'une reconstruction stéréoscopique lissée, incluant
donc la génération d'une reconstruction stéréoscopique brute à partir d'une paire d'image prend
environ 30s sur un Pentium 4 2.40GHz avec une mémoire cache de 512 KB et 1 GB de RAM.
3.2.6 Visualisation
La transformation géométrique entre le patient et le modèle patient, Croix TIRM3D , est
calculée en début d'opération par le système de neuronavigation. Cette transformation est
récupérée par connexion Ethernet avec la station de neuronavigation et appliquée en début
d'opération au modèle patient. Le modèle patient est ainsi projeté dans le Repère Croix. Le
modèle patient, composé de chaque élément segmenté et fusionné dans le même repère, recalés
dans le Repère Croix, peut être visualisée par segmentation de surface, avec décimation et
reconstruction de la surface. Dans notre cas, les triangles reliant chaque point, obtenu par la
segmentation des surfaces, sont calculés par la méthode de triangulation de Delaunay. On calcule
alors pour chaque facette la normale de cette facette de manière à obtenir un éclairage réaliste.
On utilise la librairie de visualisation 3D open source VTK [SML93]. La gure 3.14 montre un
exemple de triangulation. Durant l'intervention, chaque nouvelle reconstruction stéréoscopique
est directement exprimée dans le Repère Croix. La fusion entre les informations réelles, qui
sont données par les acquisitions stéréoscopiques, et le monde virtuel, qu'est le modèle patient,
est alors directe pendant tout le reste de l'intervention. Le résultat de notre système de VA est
une scène virtuelle représentant les surfaces 3D multimodales préopératoires 4 et la surface 3D
du champ opératoire, vue par le neurochirurgien à travers le microscope chirurgical, superposée
sur cette scène virtuelle. C'est la reconstruction stéréoscopique lissée qui est achée. Au nal,
dans la salle d'opération, le neurochirurgien pouvait visualiser cette scène de VA aux moments
clefs de son intervention. Il pouvait interagir avec cette scène en éliminant objets 3D qui ne
lui paraissaient pas importants à cette étape. Il pouvait changer la transparence, même de
sa vision du champ opératoire. Il pouvait demander au manipulateur de charger les scènes
qu'il avait choisies selon l'étape de la chirurgie. Il pouvait également, contrairement au système
de réalité augmentée, changer le point de vue de la scène. Ce dernier point est un avantage
important de la VA par rapport à la RA, comme nous l'avons vu dans le chapitre précédent.
2 Ce qui signie qu'il n'a pas été validé
3 Le nombre de triangles est diminué
4 ou modèle patient
Méthode d'évaluation des performances 83
(a) (b)
Fig. 3.14 Représentation de la surface des volumes d'intérêt. (a) Les facettes ne sont pas
remplies et permettent de voir la structure maillée des surfaces. (b) Les mêmes volumes avec
les facettes remplies.
3.3 Méthode d'évaluation des performances

3.3.1 Étude de la précision du calibrage
Pendant le calibrage
Nous avons cherché à mesurer l'erreur résiduelle de la mise en correspondance des points
dans les images utilisées pour le calibrage avec leur position 3D. Les résultats sont données dans
la section 3.4.1.
Pendant l'intervention chirurgicale

Le drapage supplémentaire, par la housse stérile et un cache, entraîne une diérence de
luminosité entre les images avec et sans cache. Nous avons vérié que ce cache n'entraînait pas
de diérence d'optique (gure 3.15). Les résultats sont donnés dans la section 3.4.1.
(a) (b) (c)
Fig. 3.15 Diérence entre les conditions cliniques et les conditions de calibrage : (a) Image
gauche sans cache ; (b) Image de diérence entre l'image droite avec cache et l'image droite
sans cache, avec la diérence nulle ramenée à 128 ; (c) Image de diérence entre l'image gauche
avec cache et l'image gauche sans cache. La diérence nulle a été ramenée à 128. Il n'y a pas
de diérence de position, uniquement des diérences d'intensité.
Écart interoculaire des caméras

Les matrices de paramètres extrinsèques nous permettent de donner une approximation de
la distance entre l'origine des deux repères caméras, soit de la distance entre les caméras, en
calculant la transformation EPg × EPd−1 .
Point principal
Dans la méthode d'Oliver Fleig [FDSJ01], le point principal (u0 , v0 ) est forcé au centre de
l'image. Nous avons cherché à évaluer l'erreur induite par cette hypothèse an de choisir ou non
de la conserver.
3.3.2 Evaluation des performances sur fantôme

Les performances de notre système de VA ont été étudiées sur un fantôme en conditions
cliniques. Le fantôme utilisé était un crâne en résine, moulé à partir d'un crâne humain. Il a
été texturé manuellement (gure 3.16(a)). La précision du système a été évaluée en compa-
(a) (b) (c)
Fig. 3.16 Surfaces de référence pour l'évaluation des performances de notre système de VA.
(a) : Photographie du fantôme utilisé. (b) : Surface 3D segmentée à partir du scanner CT
du fantôme utilisé pour la première et la seconde procédure d'évaluation des performances.
(c) : Surface 3D obtenue par triangulation du nuage de 2000 points utilisée pour la troisième
procédure d'évaluation des performances.
rant les reconstructions stéréoscopiques du fantôme, exprimées dans le Repère Croix, avec
les surfaces de référence du fantôme, exprimées dans ce même Repère Croix. Trois procé-
dures d'évaluation ont été utilisées pour évaluer les performances des reconstructions lissées et
brutes. Nous nous sommes replacés en condition d'acquisition clinique, en considérant ce crâne
comme un patient (gure 3.8(a)), sauf pour la housse de stérilisation. La première procédure
avait pour but d'évaluer les performances globales du système de VA, en prenant en compte
l'erreur de recalage patient-image. La surface de référence correspondante est représentée sur
la gure 3.16(b). Le crâne, muni de duciaires articiels, a été imagé par un scanner CT 3D.
La surface du crâne a été segmentée dans ce scanner. La surface de référence était la surface
du fantôme recalée dans le Repère Croix. Le but de la deuxième procédure était de vérier
l'eet du recalage image-patient sur les performances globales de notre système. Pour cette
procédure, la surface de référence utilisée était la même que celle de la première procédure,
mais recalée dans le Repère Croix en utilisant à la fois les duciaires articiels et un nuage
de 2000 points, acquis grâce au pointeur de neuronavigation. Le nuage de points couvrait la
partie de la surface étudiée. La troisième et dernière procédure devait estimer l'erreur due au
processus de reconstruction stéréoscopique seul, incluant l'erreur de calibrage de notre système.
La surface de référence utilisée a été calculée à partir du nuage de 2000 points.
Un cadre standardisé de validation, présenté dans [JGM06], a été appliqué pour décrire ces
trois procédures. Cette description est donnée dans le tableau 3.2.
L'eet de deux paramètres d'entrée a été étudié. Ces deux paramètres sont le niveau de
brillance et la distance du microscope au champ opératoire. Le niveau de brillance correspond
Méthode d'évaluation des performances 85
Tab. 3.2 Description des trois procédures d'évaluation

Ensemble des données Crâne sec Crane sec Crane sec
d'évaluation
Paramètres d'entrée Propriété spéculaire, Propriété spéculaire, Propriété spéculaire,
focale du microscope focale du microscope focale du microscope
Méthode à évaluer scène VA scène VA précision reconstructions
Reconstructions 292 brutes 292 brutes 178 brutes
288 lissées 288 lissées 152 lissées
Référence Scanner CT, recalage Scanner CT, recalage 2000 points acquis par
patient-image basé patient-image basé le pointeur de navigation
amers articiels amers articiels dans le repère
et surface croix
Erreur estimée TRE <TRE Précision
des références du pointeur
Fonction de transformation Marching Cubes Marching Cubes Triangulation
de la référence + extraction +extraction de Delaunay
pour comparaison avec de la surface extérieure de la surface extérieure
les données d'évaluation
Référence normalisée Surface extérieure Surface extérieure Surface de la face
pour la comparaison de la référence de la référence avant du crâne
Métrique d'évaluation pour ICP , distance ICP, distance ICP, distance
comparer les reconstructions d'un point à la surface d'un point à la surface d'un point à la surface
et la référence normalisée
Mesure de la diérence i.médianea b , i.maxa b , i.médianea b , i.maxa b , i.médianea b , i.maxa b ,
entre les reconstructions i.RMS a b
, i.RMS a b
, i.RMSa b ,
et la référence normalisée i.stddev a b
, SR i.stddev a b
, SR i.stddeva b , SR
Indice de qualité Moyenne , stddev ,
a a
Moyenne , stddev ,
a a
Moyennea , stddeva ,
max ,min
a a
max ,min
a a
maxa ,mina
Test statistiques Test de Wilcoxon, Test de Wilcoxon, Test de Wilcoxon,
ANOVA ANOVA ANOVA
a
en millimètre.
b
i.* marque les résultats de l'ICP.
au niveau de spécularité. La distance au champ opératoire est représenté par le changement

de distance de mise au point. Deux valeurs d'état ont été attribuées à la brillance en rendant
le crâne mat ou brillant. L'état brillant a été obtenu en couvrant le crâne de gel, l'état mat
était l'état naturel du crâne. Deux distances très diérentes du microscope ont été étudiées,
correspondant aux distances de mise au point maximale et minimale. Le zoom utilisé était le
même, minimal, de façon à conserver une vue entière du volet osseux.
Surfaces normalisées de référence Pour la première procédure, le fantôme crâne a passé

un scanner CT haute résolution (512×512×425 avec une taille de voxel isotropique de 0.48 mm).
Huit duciaires articiels furent collés au crâne avant l'examen. Le crâne étant complètement
rigide, on peut armer que les amers n'ont pas été déplacés entre l'examen et la procédure. Ces
duciaires ont été identiés dans les images du scanner CT. Ils ont été localisés dans le Repère
Croix grâce au système de neuronavigation. La surface du crâne a été extraite en utilisant l'al-
gorithme des Marching Cubes [LC87]. Comme l'os du crâne a une épaisseur, la surface extraite
était constituée de deux surfaces : une intérieure et une extérieure. Pour pouvoirs comparer les
reconstructions à la surface, la surface de référence utilisée était la surface extérieure du crâne.
Pour supprimer la surface intérieure, on a supprimé tous les triangles rencontrés par un lancer
de rayon multidirectionnel depuis le centre de gravité du crâne. La transformation géométrique
rigide, calculée entre le Repère IRM3D millimétrique et le Repère Croix grâce à l'appa-
riement des duciaires, a ensuite été appliquée à la surface extraite. Pour obtenir une estimée
de l'erreur de recalage, la TRE (Target Registration Error) sur l'ensemble de la surface a été
calculée à partir de la FLE et de la FRE (Fiducials Localisation Error et Fiducials Registration
Error ) de la manière décrite dans [FWM98]. La surface de référence normalisée est donc la
surface extérieure du crâne dans le Repère Croix.
Pour la deuxième procédure, on a utilisé la même surface de référence que pour la première
procédure. La diérence entre ces deux procédures est la façon dont le recalage patient-image
a été calculé. Pour cette procédure, un nuage de 2000 points a été acquis en balayant la surface
réelle du fantôme avec le pointeur de neuronavigation du système. Les coordonnées des points
acquis étaient directement exprimées dans le Repère Croix. Elles n'ont donc pas d'autre source
d'erreur que celle liée à la localisation du pointeur (pouvant être inférieure au millimètre, selon
le constructeur) et aux faux mouvements d'acquisition (minimisés par attention). Le recalage
de la surface extraite du scanner CT fut alors calculé en corrigeant le premier recalage basé
duciaire par un recalage avec le nuage de points acquis. La transformation rigide entre le
nuage de points et la surface du crâne a été calculée par ICP (Iterative Closest Point ) [BM93].
La transformation obtenue est celle permettant de recaler le nuage de points sur la surface du
crâne, c'est la transformation inverse qui est appliquée pour recaler le crâne dans le Repère
Croix. Pour la troisième procédure, la surface de référence a été obtenue par triangulation du
nuage de 2000 points acquis directement dans le Repère Croix. La méthode de triangulation
utilisée était celle de Delaunay.
Données d'évaluation Chaque procédure d'évaluation a été réalisée deux fois, l'une pour les
reconstructions stéréoscopiques brutes et l'autre pour les reconstructions stéréoscopiques lissées.
Un plan factoriel complet de taille 4 (2 états de brillance × 2 niveaux de mise au point) a été
déni. Pour chaque combinaison, 75 paires d'images ont été acquises. Ces 300 paires d'images
étaient acquises avec des points de vue diérents du microscope, de façon à couvrir toute la face
avant du crâne. Pour les deux premières procédures d'évaluation, les 300 surfaces ont toutes
été étudiées. Dans la troisième procédure, on n'a conservé que les surfaces ayant un taux de
recouvrement de 100% avec la surface générée par triangulation du nuage de points. Cette
sélection a été faite manuellement. Le nombre de reconstructions stéréoscopiques conservées
Résultats 87
était de 178.
Métrique de validation Pour les trois procédures, la métrique d'évaluation était la distance
en millimètre entre chacun des vertex d'une reconstruction stéréoscopique et le point le plus
proche dans la surface de référence. Chaque reconstruction stéréoscopique brute contient plus de
30 000 vertex. La recherche du point le plus proche était assurée par l'utilisation de l'algorithme
ICP 5 . La surface source était la reconstruction stéréoscopique et la surface cible la surface de
référence normalisée. Chaque résultat préxé par ".i" correspond au calcul eectué pour une re-
construction stéréoscopique. Les résultats de l'ICP, pour chaque reconstruction stéréoscopique,
étaient la médiane (notée i.médiane), l'écart type (noté i.stddev) et la valeur maximale (notée
i.max) des distances calculées pour chaque point de la reconstruction stéréoscopique. On a éga-
lement déni un taux de succès SR comme le pourcentage de points reconstruits à une position
correcte en rapport au nombre total de points. Ce taux de succès est donné par l'expression
suivante :
SR = RR ∗ QR ∗ 100
où RR est le taux de reconstruction déni comme le nombre de points reconstruits par rapport
au nombre de pixels étudiés, QR est le taux de qualité, i.e., le rapport entre le nombre de points
reconstruits avec une distance à la surface de référence inférieure à un seuil et le nombre total
de points reconstruits. Le seuil a été posé à la valeur de la pire médiane.
Indices de qualité Les indices de qualité ont été dénis de la manière suivante pour les trois
procédures et sur l'ensemble des reconstructions stéréoscopiques étudiées :
La résolution a été dénie comme l'écart type et la valeur maximale des mesures i.médiane,
i.max et i.stddev. La résolution est ici à prendre au sens du terme anglophone precision,
i.e. une mesure de la répétabilité des mesures.
La précision a été dénie comme la moyenne des mesures i.médiane. La précision est une
mesure de la diérence entre les valeurs obtenues par la méthode évaluée et les valeurs
obtenues par la méthode de référence.
La robustesse a été dénie comme les résultats obtenus pour la plus mauvaise combinaison
du plan factoriel et par la valeur du taux de succès SR .
L'analyse de l'inuence des paramètres d'entrée a été vériée par analyse de la variance
des résultats sur les reconstructions stéréoscopiques classées dans le plan factoriel de taille
4 pour i.moyenne et RR .
3.4 Résultats
3.4.1 Étude de la précision du calibrage
Pendant le calibrage
Pour chaque couple, 60 points sur les trois plans de la mire ont été extraits pour le calibrage
des images provenant d'une caméra. Plusieurs sources d'erreurs apparaissent dans le calibrage.
Premièrement, le calcul de la matrice de passage rigide du Repère Mire vers le Repère Croix
était entachée d'une erreur de type TRE. La mire utilisée était une mire plane, déplacée à l'aide
d'une crémaillère. Pour indication, l'erreur de recalage entre le Repère Mire et le Repère
Croix à l'aide de l'identication des points au pointeur était de 0.64mm en moyenne quadra-
tique (FRE). La FLE calculée était de 0.66 mm. Deuxièmement, l'extraction du centre des
5 Pour plus de détail sur le recalage de surface, se référer au chapitre 5, section 5.1
Tab. 3.3 Erreurs résiduelles de calibrage par réglages de microscope.
Caméra Zoom mise au point Nb Points Erreur Image (pixel) Erreur Monde (mm)
Gauche 1.03 625 58 1.6 ± 0.6 0.19 ± 0.07
Droite 1.03 625 60 1.5 ± 0.6 0.18 ± 0.07
Gauche 1.03 403 25 1.1 ± 0.4 0.13 ± 0.05
Droite 1.03 403 59 1.3 ± 0.6 0.15 ± 0.07
Gauche 1.03 486 53 1.5 ± 0.6 0.17 ± 0.07
Droite 1.03 486 60 1.6 ± 0.6 0.18 ± 0.06
Gauche 1.2 589 60 1.4 ± 0.6 0.14 ± 0.66
Droite 1.2 589 60 1.99 ± 0.6 0.20 ± 0.07
Gauche 1.46 486 45 1.3 ± 0.4 0.11 ± 0.04
Droite 1.46 486 56 1.3 ± 0.6 0.11 ± 0.05
Gauche 1.46 625 58 2.0 ± 0.7 0.18 ± 0.06
Droite 1.46 625 58 2.5 ± 0.7 0.22 ± 0.06
points peut présenter une erreur de quelques pixels. Troisièmement, nous avons soigneusement
mesuré la distance entre les points de la mire. Nous avons vérié qu'elle était régulière dans
les trois directions. Mais une erreur de mesure ou de fabrication de la mire est possible. Notre
méthode de calibrage calcule par approximation les paramètres extrinsèques et intrinsèques.
L'erreur résiduelle est calculée par image et donnée dans le tableau 3.3 :
- entre les positions dans l'image des points utilisés pour le calcul du calibrage, et celle calculé
par projection des points 3D dans l'image, utilisés pour le calibrage image. Cette erreur est
donnée dans la colonne Erreur Image, en pixel, sous la forme moyenne et écart type pour toutes
les images correspondant au couple calibré.
- entre les positions 3D dans le Repère Caméra, des points 3D mesurés et utilisés pour le
calibrage, et les positions 3D dans le Repère Caméra des points images. La position des
points mesurés est obtenue dans le Repère Caméra en appliquant la matrice des paramètres
extrinsèques. La position 3D des points images dans le repère Caméra est calculée à partir des
paramètres intrinsèques. Cette diérence est exprimée en millimètres dans la colonne Erreur
Monde du tableau, sous la forme moyenne et écart-type.
Pendant l'intervention chirurgicale

Diérence entre les conditions cliniques et les conditions de calibrage Il y a une
diérence d'intensité qui n'inue pas la pertinence du calibrage mais qui par contre change
légèrement l'intensité et sa répartition, avec une diminution de 9 niveaux de la médiane de
l'histogramme d'intensité en niveau de gris (256 niveaux de gris) et de 2 niveaux en écart-type,
lorsque le cache est posé, par rapport aux images acquises en absence de cache pour les images
gauche et droite.
Absence d'interpolation des couples calibrés Nous demandions au neurochirurgien de

se placer dans une des congurations calibrées lorsqu'il souhaitait faire une acquisition stéréo-
scopique. La conguration la plus utilisée en clinique était la conguration zoom minimale,
distance de mise au point maximale (1.03-625) ce qui nous permettait d'avoir tout le champ
opératoire.
Résultats 89
Carte d'acquisition vidéo à une entrée L'échec de la mise en correspondance par corré-
lation en clinique est plus important que celui quantié sur un fantôme xe. Nous expliquons
cette diérence par l'acquisition alternative des images gauche et droite. En eet, la carte d'ac-
quisition vidéo utilisée ne peut gérer qu'un ux vidéo en entrée. Après chaque acquisition, notre
algorithme d'acquisition stéréo demande à un commutateur externe, par le biais du port paral-
lèle de la station informatique, de changer de caméra. Entre la demande d'acquisition de l'image
gauche et le début d'acquisition de l'image droite, nous avons réglé l'attente à 2 secondes en
prenant en compte le temps de commutation et le temps d'acquisition de l'image gauche. Ces
2 secondes sont susantes pour qu'un changement se produise dans le champ opératoire.
Écart interoculaire des caméras

La valeur de l'écart interoculaire varie entre 46.53 et 57.314 millimètres, ce qui montre
bien que les paramètres s'auto-compensent, cette distance ne devant pas varier. Cependant,
les résultats obtenus en précision de localisation et de reconstruction sont très satisfaisants. Le
modèle sténopé est un bon modèle, mais il faut garder en tête que les paramètres n'ont pas de
valeur physique.
Point principal
Les deux tableaux suivants illustrent les résultats de calibrage obtenus, pour le même ob-
jectif, à partir de deux ensembles diérents de 18 points étalons ; les valeurs imposées sont en
gras.
Rapport des dimensions du pixel 1.00834 1.00822 1
Coordonnées (en pixel) du point principal -102/-46 0/0 0/0
Écart moyen (en pixel) Point projeté-point image 0.80 0.80 0.94
Écart maximal (en pixel) Point Projeté-point image 1.58 1.76 2.68
Rapport des dimensions du pixel 1.00823 1.00798 1

Coordonnées (en pixel) du point principal -72/56 0/0 0/0
Écart moyen (en pixel) Point projeté - point image 0.86 0.86 1.12
Écart maximal (en pixel) Point projeté - point image 1.54 1.51 2.04
De toute évidence les instabilités du calcul ne permettent pas de déterminer une position
able du centre optique puisque les valeurs obtenues sont sensiblement diérentes et que les
écarts moyen et maximal point projeté - point image ne sont guère aectés en imposant au
centre optique de se trouver au centre de l'image. Par contre, au vu des mêmes éléments, il
paraissait nécessaire de laisser libre le paramètre constitué par le rapport des 2 dimensions du
pixel.
3.4.2 Résultats de l'évaluation de performance

Inuence des paramètres d'entrée Pour étudier l'eet de la distance du microscope au
champ, exprimée par la focale correspondant à la mise au point, et l'eet de la propriété
spéculaire du champ sur la performance, les reconstructions stéréoscopiques ont été classées
dans le plan factoriel de taille 4 décrit dans la section 3.3. La distribution de i.médiane est
montrée sur la gure 3.17 pour les trois procédures. L'eet des paramètres n'est pas corrélé
à la procédure utilisée. Une analyse de la variance (ANOVA) à deux facteurs (mise au point
et brillance) de la valeur de i.moyenne et du taux de reconstruction RR a été réalisée sur les
échantillons de la première procédure. Les résultats de cette analyse sont montrés sur la gure
Rough surface meshes Smooth surface meshes

First procedure Second procedure Third procedure First procedure Second procedure Third procedure
mm
75
72
6
75 74 72
75 75 74
75
5
33 33
75 30
34
4
75
75
75
3
75
75
75 55 56
2
55 56
1
Specularity b m b m b m b m b m b m b m b m b m b m b m b m
Focal length min max min max min max min max min max min max
Fig. 3.17 Résultats de l'évaluation des performances de la méthode de VA. Les boites à
moustache donnent la distribution de la médiane de la distance, en millimètre, entre les re-
constructions stéréoscopiques et la surface de référence pour chaque échantillon correspondant
à une combinaison du plan factoriel et pour les trois procédures d'évaluation. Le nombre indi-
qué sous chacune des boîtes à moustache est le nombre de reconstructions stéréoscopiques de
l'échantillon. Les abréviations m et b signient champs mat et champs brillant, respectivement.
5.0
specularity specularity
75
mat skull mat skull

bright skull bright skull
4.5
mean of i.mean.all (mm)
74
mean of ratio (%)
4.0
73
3.5
72
3.0
71
2.5
70
2.0
maximum minimum maximum minimum

focal length focal length
(a) (b)
Fig. 3.18 Résultats de l'analyse des eets des paramètres sur la première procédure d'éva-
luation, avec les reconstructions stéréoscopiques brutes. L'ANOVA a été réalisée avec les deux
facteurs mise au point et brillance : (a) Résultats pour la moyenne des i.moyenne ; (b) Résultats
pour la moyenne du taux de reconstruction RR .
Résultats 91
3.18. Le fort impact de la distance au champ a été supposé parce que la mise au point avait
un impact signicatif sur la valeur de i.moyenne.(p-value ≤ 2, 2e−16 ). La diérence moyenne de
résultat était de 2, 5mm. L'inuence de la distance sur le taux de reconstruction est également
signicative mais moins importante (p-value ≤ 9e−7 ). On a trouvé des résultats similaires lors
de l'étude des reconstructions lissées.
Résultats de la première procédure Nous avons étudié 300 reconstructions brutes et 296
reconstructions lissées. La diérence de quatre reconstructions s'explique par un échec de l'in-
terpolation pour le lissage. Aucune surface lissée n'a été reconstruite pour les 4 reconstructions
brutes à faible taux de reconstruction. La valeur de i.médiane, calculée sur plus de 30 000 vertex
pour chacune des 150 reconstructions brutes avec la distance de mise au point minimale, avait
une valeur moyenne de 2, 29±0, 59mm avec un troisième quartile6 à 2, 65mm et une valeur maxi-
male de 4, 32mm. Pour les 146 reconstructions lissées, les valeurs de l'indice i.médiane étaient
légèrement plus élevées, avec une valeur moyenne de 2, 56 ± 0, 57 mm et une valeur maximale
de 4, 61mm. Les résultats sur l'ensemble des reconstructions donnaient les résultats suivants
(les 2 distances de mise au point confondues) : 3, 47 ± 1, 36mm et 3, 53 ± 1, 17mm pour les
reconstructions brutes et lissées respectivement. La TRE moyenne était de 3 mm sur la partie
frontale du crâne où les images stéréoscopiques ont été acquises. Un test non-paramétrique de
Wilcoxon a montré que 95% des reconstructions stéréoscopiques avaient une valeur de i.RMS
7 pouvant être considéré comme inférieure à la TRE pour l'ensemble des reconstructions. Le
taux de succès SR avait une valeur moyenne de 62, 15% avec un seuil de 5mm pour l'ensemble
des reconstructions brutes. Le plus bas taux de succès trouvé sur l'ensemble des reconstructions
brutes était de 24, 38%. Cependant, 219 des 300 reconstructions brutes avaient une valeur de
SR supérieure à 55%. Le meilleur résultat pour SR , de 84, 15%, a été obtenu pour un champ
brillant (qui correspond à une spécularité forte) et une valeur de distance de mise au point
minimale (distance la plus proche).
Résultats de la deuxième procédure Pour chacune des 150 reconstructions brutes avec la
distance de mise au point minimale, la valeur i.médiane avait une valeur moyenne de 1, 09±0, 31
mm avec un troisième quartile de 1,26 mm et une valeur maximale de 2,17mm. Pour les 146
reconstructions lissées avec la distance de mise au point minimale, les valeurs étaient légèrement
plus élevées avec une moyenne des i.médiane à 1, 8 ± 0, 45 mm. Pour les deux valeurs de focales
confondues, la plus grande valeur de i.médiane était de 6,73mm pour les reconstructions brutes
et de 5,65 mm pour les reconstructions lissées.
Résultats de la troisième procédure Le nombre de reconstructions (sélectionnées par

rapport à leur taux de recouvrement avec la surface de référence) ayant une mise au point
minimale est de 111. Pour ces 111 reconstructions, la moyenne des i.médiane était de 0, 76 ±
0, 27mm pour les reconstructions brutes et de 1, 07 ± 0, 47mm pour les surfaces lissées. Pour
la distance de mise au point minimale, un test non paramétrique de Wilcoxon a montré que
l'indice i.médiane pouvait être considéré comme inférieur à 1mm (p-value≤ 10−11), pour les
reconstructions brutes, et à 1, 5mm (p-value≤ 10−16) pour les reconstructions lissées.
3.4.3 Description d'un cas clinique

Notre système a été utilisé sur 6 cas cliniques, en complément de la réalité augmentée. La
gure 3.19 montre la complémentarité de ces informations. Les pathologies du cerveau traitées
6 75% des points
7 Root Mean Square, équivalent au calcul de la TRE et plus élevé que la moyenne en général
(a) (b) (c) (d)
Fig. 3.19 Vues de RA et VA du champ opératoire obtenues à deux étapes de l'intervention

chirurgicale pour le patient décrit dans la section 3.4.3 (gliome de bas grade) : (a) et (b) Avant
le rasage et l'incision de la peau ; (c) et (d) Après ouverture de la dure-mère. (a) et (c) sont
les vues qu'a le neurochirurgien dans l'oculaire gauche du microscope. Les contours 2D sont
l'intersection du modèle patient avec le plan focal du microscope. (b) et (d) sont les vues
correspondantes de la scène de VA, achées sur un écran extérieur.
lors des interventions étaient trois cavernomes et trois tumeurs de bas grade. Nous allons décrire
l'utilisation de notre système de virtualité augmenté pendant la résection d'un gliome de bas
grade sur un patient de sexe masculin âgé de 31 ans. Le patient a bénécié d'une IRM 3D
et d'IRM fonctionnelle à paradigme d'activation moteur et langage. Les surfaces 3D des zones
d'intérêt ont été automatiquement ou semi-automatiquement segmentées à partir des images
IRM 3D. Les zones d'intérêt anatomiques extraites étaient le cortex, la peau, la lésion cible, les
parties supérieure et inférieure du sillon frontal et les parties moyenne et supérieure du sillon
pré central. L'IRM fonctionnelle a été recalée sur l'IRM 3D T1. Elle a révélé que les activations
linguistiques étaient principalement localisées dans la partie postérieure et inférieure de la lésion.
Les activations motrices étaient situées derrière le sillon pré central, à environ 10 millimètres
de la partie postérieure de la lésion. Cette information fonctionnelle a été également extraite
et stockée au format de chier VTK comme surface 3D. Une scène entière 3D a été créée.
Pour chacune des surfaces 3D, un niveau de transparence et une couleur a été choisie (gure
3.4). Pendant la phase de préparation du geste chirurgical ou planning, le neurochirurgien
pouvait interagir avec les images originales IRM enrichies des segmentations des zones d'intérêt
et avec la scène 3D obtenue à partir de ces images. Pendant la chirurgie, le recalage image-
patient Image TCroix a été calculé en utilisant des duciaires anatomiques et un nuage de
points pris sur la partie frontale de la tête du patient. Cette transformation a été appliquée à
la scène 3D préopératoire. La position du patient pour la chirurgie était un décubitus dorsal
en position semi-assise. Une première reconstruction stéréoscopique de la peau a été acquise
(gure 3.20). Les reconstructions stéréoscopiques du champ opératoire étaient accessibles en une
minute dans le Repère Croix, y compris le temps de lancement manuel de l'application. Cette
reconstruction a permis au neurochirurgien de vérier le recalage image-patient. Après l'incision
du scalp, une deuxième reconstruction stéréoscopique a été demandée par le neurochirurgien
pour l'aider à comprendre la relation entre le champ opératoire et le modèle patient. Après la
craniotomie, une nouvelle acquisition d'images stéréoscopiques de la dure-mère a été eectuée
(gure 3.21). Pendant l'ouverture de la dure-mère, l'arachnoïde a été soigneusement conservée
pour limiter les déformations. Une reconstruction stéréoscopique de l'arachnoïde est montrée sur
la gure 3.22. Le neurochirurgien pouvait vérier l'information fonctionnelle et anatomique en
naviguant dans la scène de VA, ce que ne lui permettait pas la réalité augmentée. A l'ouverture
de l'arachnoïde, la surface corticale s'est déformée. Une nouvelle reconstruction stéréoscopique
du champ opératoire fut alors calculée et a permis au neurochirurgien de mieux appréhender
la déformation. La VA a permis dans cette étape d'évaluer les déformations anatomiques d'un
Résultats 93
(a) (b)
Fig. 3.20 Scène de VA obtenue avant le rasage et le scalp de la peau pour le patient décrit dans
3.4.3. (a) La peau a été segmentée depuis l'examen IRM 3D et recalé dans le Repère Croix
par Image TCroix . La reconstruction stéréoscopique de la peau était directement obtenue dans
le Repère Croix.(b) Une des deux images prises grâce aux caméras dans le microscope.
(a) (b)
Fig. 3.21 Scène de VA avant ouverture de la dure-mère pour le patient décrit. Le cerveau a
été segmenté sur l'image 3D de référence anatomique IRM et recalé rigidement dans le repère
du patient en position d'être opéré en utilisant Image TCroix . Sur le cerveau est achée une
reconstruction stéréoscopique de la surface du cerveau avant ouverture de la dure-mère : (a)
Vue latérale gauche ; (b) Vue antérieure. La reconstruction stéréoscopique est très proche de
la surface segmentée du cerveau, malgré les sources potentielles d'erreur due à la méthode de
reconstruction stéréoscopique, à la segmentation et aux déformations.
Fig. 3.22 Scène de VA après ouverture de la dure-mère pour le patient décrit. Il s'agit de la
même scène que celle de la gure 3.19(d) mais d'un point de vue diérent. La transparence de
la surface a été modiée. Le cube donne l'échelle de la gure : un échelon correspond à 1cm.
point de vue quantitatif, aussi bien pour le neurochirurgien que pour les personnes dans la salle
suivant l'opération sur la colonne vidéo 2D et qui habituellement ne voient pas ces déformations.
En eet, la vidéo 2D seule ne permet pas de montrer les déformations. La gure 3.23 montre
une déformation de l'ordre du centimètre. A la n de la chirurgie, une nouvelle reconstruction
(a) (b)
Fig. 3.23 Scène de VA avant et après ouverture de l'arachnoïde pour le patient décrit. (a) et
(b) : deux points de vue diérents de la même scène montrant le phénomène des déformations
cérébrales peropératoires (voir le chapitre 4.1.2)
stéréoscopique de la cavité d'exérèse a été faite. La scène de VA a conrmé l'importance des

déformations anatomiques puisque les images préopératoires sont devenues obsolètes (gure
3.24). Ce cas est représentatif de l'ensemble des cas cliniques testés, mais il s'agit de celui
pour lequel le plus grand nombre d'étapes a donné lieu à des reconstructions stéréoscopiques.
Les acquisitions sur la peau n'ont pas eu lieu pour trois cas sur six, parce que le microscope
chirurgical n'a été branché qu'après la craniotomie. La mise en place d'un protocole d'acquisition
a permis de résoudre ce problème. Pour deux cas, des reconstructions stéréoscopiques après
Discussion 95
(a) (b) (c)
Fig. 3.24 VA en n d'exérèse : (a) une prise de vue du microscope chirurgical ; (b) la scène de
VA vue du dessus ; (c) la scène de VA vue de prol. Si les déformations ne sont pas corrigées,
la scène préopératoire devient obsolète. La lésion devrait se trouver dans la cavité d'exérèse.
fermeture de la dure-mère ont été acquises, mais présentaient peu d'intérêt aux sens de l'aide
à la décision. Des absences de reconstruction stéréoscopique pendant ou après l'exérèse sont
à déplorer pour deux cas, le réglage du microscope ne faisant pas partie des couples calibrés.
Nous n'avions pas voulu ralentir l'intervention chirurgicale en demandant à ce moment critique
de modier les réglages du microscope.
3.5 Discussion
Nous avons développé un système de VA pour la neurochirurgie qui ache des surfaces sté-
réoscopiques 3D texturées du champ opératoire dans un modèle multimodal 3D du patient. Ce
système de VA est totalement non invasif et ne requiert pas de matériel supplémentaire coûteux.
Il ne modie pas l'espace du bloc opératoire, sauf pour la station extérieure. L'évaluation des
performances réalisées pour deux calibrages a montré la faisabilité du système. Les premiers
cas cliniques ont montré son utilité.
3.5.1 Évaluation des performances

Le système inclut un grand nombre de composants logiciels, chacun pouvant être une source
d'erreur potentielle. Ces composants sont la localisation 3D, le recalage patient-image, l'identi-
cation des duciaires, le calibrage et l'algorithme de reconstruction stéréoscopique. Trois pro-
cédures d'évaluation ont été appliquées pour diérencier l'erreur globale du système et l'erreur
intrinsèque liée à l'algorithme de reconstruction stéréoscopique, incluant l'erreur de calibrage.
La précision du système global a été calculée par les deux premières procédures, basées sur la
comparaison avec la surface externe du scanner CT recalé dans le Repère Croix. Pour la pre-
mière procédure, la précision du système globale était du même ordre de grandeur que l'erreur
de recalage patient-image. Les résultats étaient meilleurs pour la deuxième procédure. Pour la
deuxième procédure, l'erreur de recalage ne pouvait pas être calculée précisément. Cependant,
dans [MHM+ 98], Maurer a montré que le recalage patient-image, basé sur une combinaison
de duciaires et de surface, comme utilisé dans la deuxième procédure, avait une erreur moins
élevée que le recalage basé amers seuls. Nous avons ainsi montré que le recalage patient-image
était la principale source d'erreur de notre système de VA. La précision des reconstructions
stéréoscopiques a été calculée en appliquant la troisième procédure basée sur la comparaison
des reconstructions stéréoscopiques avec la surface de référence crée à partir du nuage de points.
La troisième procédure est donc sans erreur de recalage. La précision obtenue pour les recons-
tructions lisses, destinées à être achées, était de 1, 5mm. Elle était encore meilleure pour les
reconstructions stéréoscopiques brutes. Avec la distance de mise au point minimale, la résolution
dénie par l'écart type des résultats était inférieur à 0, 6mm pour les trois procédures d'évalua-
tion et pour les deux types de reconstruction. Nous avons également montré la robustesse de
notre système. Les 300 paires d'images stéréoscopiques acquises ont permis d'obtenir 100% de
reconstructions brutes visuellement correctes, et 98,6% de reconstructions lissées. Les échecs du
lissage des 4 reconstructions stéréoscopiques brutes concernées peuvent être expliqués par leur
faible taux de reconstruction. Les diérences de performances dues au changement de mise au
point, et donc à la distance de travail, s'expliquent par la diminution de résolution lorsqu'on
s'éloigne du champ. Les tailles de champs opératoires couvertes par les images de résolution
768 × 576 pixels est alors de 4 × 3cm pour la distance de mise au point minimale et 8 × 6cm pour
le réglage de distance de mise au point maximale, ce qui représente un rapport de résolution de
2. Par ailleurs, notre méthode d'évaluation de la performance de notre système est limitée par
la métrique utilisée. En eet, le fait de prendre le point le plus proche au sens de la distance
euclidienne peut conduire à une surévaluation des performances car la métrique utilisée n'est
pas symétrique. Cependant, l'utilisation d'estimateur statistique tel que la médiane pour repré-
senter les résultats de toutes les distances points-surface d'une reconstruction stéréoscopique
(≥ 30000) permet de modérer cette sous-estimation de la distance.
3.5.2 Comparaison avec d'autres travaux

Dans la méthode de reconstruction stéréoscopique de notre système, il n'y pas d'approxima-
tion à un modèle pour les reconstructions stéréoscopiques, à part une approximation linéaire très
locale, contrairement à [SFR+ 03a] où une approximation des reconstructions stéréoscopiques
est obtenue par un modèle sphérique. Le modèle de sphère ne nous semble pas adapté ici, la
déformation nous semblant être de plus haut degré. Une nappe polynomiale de degré faible
pourrait être plus adaptée. De plus, les zones locales trop sombres ou avec de trop grandes
zones de spécularité n'aectent pas la précision du reste de la reconstruction. Si un pixel n'est
pas bien apparié entre les deux images, alors il n'est pas reconstruit, mais sans incidence sur le
reste de la reconstruction stéréoscopique, ce qui n'est pas le cas dans [STD00]. La plupart des
études de performance de système de reconstruction de surface en chirurgie se limitent à véri-
er visuellement l'accord des résultats ou à prendre seulement quelques points de vérication.
C'est le cas dans [SFR+ 03a] où la précision est étudiée sur cinq points d'une seule reconstruc-
tion stéréoscopique, tandis que nous étudions plus de 30 000 points, pour chacune des 178-300
reconstructions brutes, et plus de 5 000 points, pour chacune des 152-296 reconstructions lissées.
Notre système est un système de visualisation mixte, qui a pour but de fusionner une vision
du réel, i.e., le champ opératoire du neurochirurgien, avec le virtuel, i.e., le modèle patient
issu des images préopératoires. Comme on l'a vu dans le chapitre 2, il y a deux approches
concurrentes : la réalité augmentée (RA) et la virtualité augmentée (VA). Un des arguments en
faveur de la RA, dans notre cas, est que le neurochirurgien focalise son attention sur une seule
zone de l'espace, le champ opératoire. L'achage de contours dans le microscope permet au
neurochirurgien de ne pas avoir à quitter son champ de vue pendant l'opération. Cependant,
à certains moments de l'opération, le neurochirurgien enlève le microscope du champ opéra-
toire. La craniotomie, par exemple, n'est jamais pratiquée sous microscope. L'information de
réalité augmentée disparaît à ce moment, ce qui se traduit par le besoin du neurochirurgien
de concrétiser l'information à ce moment. Continuer à acher la scène rigide de VA, sur un
écran à coté, pourrait l'aider à continuer de faire le lien. Par ailleurs, après ouverture de la
dure-mère et avant de commencer la résection ou au moment du choix de l'arrêt de l'exérèse, le
neurochirurgien quitte des yeux le microscope chirurgical pour faire une pause ou pour prendre
sa décision. A ces moments, les scènes de VA achées sur un écran extérieur sont utiles. La VA
permet aussi expliquer l'information de réalité augmentée lorsque l'information est trop chargée
ou que le plan de coupe ne montre pas tous les éléments de la scène. Contrairement à la réalité
Discussion 97
augmentée, la base virtuelle de notre système permettait de tourner la scène à volonté. Elle
permettait ainsi de ne plus voir seulement sous la réalité mais aussi autour.
3.5.3 Avantages et limitations de notre système de VA

Notre système est indépendant du logiciel et du système de neuronavigation. Il a été utilisé
d'abord sur un système SMN de ZEISS, STNSNN de SNS et sur la station Treon StealthS-
tation de Medtronic. Notre système n'ajoute pas de matériel supplémentaire encombrant en
salle d'opération. Actuellement une station de travail externe supplémentaire est ajoutée en
salle. On peut tout à fait imaginer d'acher et de calculer la scène sur une seule station de
neuronavigation. Les caméras S2, matériel compatible ZEISS NC4, pourraient tout à fait être
remplacées par un autre système. En eet les caméras stéréoscopiques sont en option sur la
plupart des microscopes chirurgicaux. Les microscopes chirurgicaux les plus récents permettent
l'acquisition directe d'un signal vidéo numérique provenant des deux oculaires. De plus comme
la position du microscope chirurgical est suivie par le système de neuronavigation, il n'y a pas
besoin de rajouter de matériel supplémentaire de suivi. L'ajout de nouvelles modalités d'ima-
gerie, se fait de façon immédiate, en recalant simplement ces nouvelles modalités dans le repère
de l'examen IRM 3D de référence et en rajoutant ces informations dans le modèle patient. De la
même manière, on peut imaginer recaler des informations provenant d'atlas numériques. Dans
notre choix d'implémentation, nous sommes dépendants du recalage patient-image calculé par
la station de neuronavigation. Une autre limitation importante de notre système est due aux
déformations que subit le cerveau pendant une opération et qui rend le modèle patient obsolète
comme nous le verrons dans la partie suivante.
Conclusion partielle
Pour conclure cette partie, notre système de VA doit être utilisé en complément de la RA. Il
permet de faciliter la compréhension des relations spatiales complexes entre le champ opératoire
et le modèle patient. En eet, de plus en plus d'informations sont disponibles et utiles en neu-
rochirurgie, rendant le modèle patient de plus en plus riche et de plus en plus complexe. Grâce
à notre système, le neurochirurgien et le personnel clinique peuvent interagir avec la scène 3D
en salle d'opération. Ce système est également une aide pédagogique importante, puisqu'elle
reète plus la vision du champ opératoire et la connaissance du neurochirurgien qu'un simple
achage dans une colonne vidéo 2D, comme actuellement en salle d'opération. Comme nous
l'avons souligné dans la discussion du chapitre 2, il faut une réelle évaluation des informations
apportées par chaque système, c'est-à-dire déduites de la perception de la visualisation mixte
par le chirurgien, mais aussi par les autres acteurs du bloc opératoire, pour pouvoir évaluer
les diérents modes de visualisation selon les étapes opératoires. Une limitation importante
du système présenté sont les déformations anatomiques peropératoires. Après l'ouverture de
l'arachnoïde, les déformations de la surface du cortex sont signicatives et l'information pré-
opératoire ne correspond plus à la réalité anatomique du patient. Par conséquent, les surfaces 3D
segmentées dans les examens préopératoires s'achent décalés par rapport aux reconstructions
stéréoscopiques de la surface, puisque les reconstructions stéréoscopiques de la surface donnent
la réalité anatomique du patient. Notre système de VA perd donc de son intérêt lorsque le
cerveau se déforme. Cependant, la précision montrée des reconstructions stéréoscopiques brutes
est susamment élevée pour imaginer s'en servir comme outil de détection et quantication
de ces déformations. La détection et la quantication des déformations, ainsi que l'ajout dans
notre système de virtualité d'un autre type d'information visuelle qu'est la quantication du
déplacement, feront l'objet de la prochaine partie. Nous présenterons d'abord le phénomène des
déformations anatomiques peropératoires et l'état de l'art des méthodes de détection, quan-
tication et correction, dans le chapitre 4. Dans le chapitre 5, nous présenterons la méthode
proposée, basée sur le ux vidéo provenant du microscope chirurgical et sur les surfaces acquises
par stéréoscopie, et nous étudierons ses performances.
99
Deuxième partie
Suivi des Déformations

Anatomiques Peropératoires en
Neurochirurgie guidée par l'image
101
103
Dans cette partie, nous souhaitons montrer qu'il est possible d'augmenter la précision du
lien entre réel et virtuel en augmentant la précision du recalage patient-image. On augmente la
précision du recalage patient-image, grâce à la vidéo provenant du microscope chirurgical, et à
la méthode de stéréoscopie décrite en 3. L'hypothèse utilisée dans le chapitre précédent était que
la transformation entre le patient en salle d'opération et son imagerie préopératoire est rigide.
La géométrie du patient est considérée identique à celle qu'il avait au moment de l'acquisition
des images préopératoires. Or cette hypothèse est fausse : le cerveau subit des déformations
peropératoires se produisant principalement lors de l'ouverture des méninges le protégeant et
lors de la disparition de matière, par exemple le LCS, les tissus sains et tumoraux. On ne réfute
pas complètement l'hypothèse de la correspondance rigide entre les images préopératoires et
le patient. On considère qu'il ne s'agit que d'une première approximation qu'il faut corriger
par une mise à jour peropératoire de la position des structures anatomiques. Cette mise à jour
s'appuie sur la déformation en surface calculée grâce aux reconstructions stéréoscopiques.
104
Chapitre 4
État de l'art sur les déformations

anatomiques cérébrales
peropératoires
Dans ce chapitre, nous allons décrire le phénomène complexe des déformations peropératoires
en neurochirurgie d'un point de vue temporel et spatial, en insistant sur leur aspect multi-
paramétrique. Après avoir énuméré les paramètres explicatifs des déformations peropératoires
dans la sous-section 4.1.1, nous donnerons l'amplitude de ces déformations, telles que décrites
dans la littérature, et leur répartition dans le cerveau dans la sous-section 4.1.2. Dans la section
4.2, nous présenterons les approches de prise en compte de ces déformations dans la littérature,
en soulignant leurs limitations. A la n de ce chapitre, nous justierons la solution proposée,
basée sur le recalage de deux reconstructions stéréoscopiques avant et après déformation. Dans
le chapitre 5, nous détaillerons la solution proposée et montrerons son intérêt clinique. Après un
bref état de l'art des méthodes de recalage entre deux surfaces, nous proposerons une nouvelle
source d'information pour la mise en correspondance : le ux vidéo provenant du microscope
chirurgical. Nous présenterons alors la méthode développée pour notre problème spécique par
rapport au type de surfaces traitées et aux déformations attendues.
4.1 Les déformations anatomiques peropératoires en neu-

rochirurgie
Les déformations peropératoires en neurochirurgie sont un phénomène complexe 4D, spatial
et temporel, qui nuit à la précision de la neurochirurgie guidée par l'image. Les premières
mentions de cette source d'erreur sont faites dès 1986 [KKGE86] pour la stéréotaxie avec cadre.
Ce phénomène est complexe parce que non similaire d'un patient à l'autre et non cyclique,
contrairement aux déformations dues aux battements cardiaques ou à la respiration. Il dépend
de paramètres qui sont rarement maîtrisables. Il ne s'agit pas d'une simple translation suivant
la direction de la gravité, due à son propre poids. Les nombreux paramètres, inuençant ces
déformations, sont étudiés dans la prochaine sous-section 4.1.1. L'amplitude et la répartition
des déformations observées dans la littérature du domaine sont décrites chronologiquement,
selon les étapes d'une intervention chirurgicale, dans la sous-section 4.1.2.
105
106 État de l'art sur les déformations anatomiques cérébrales peropératoires
4.1.1 Paramètres explicatifs de ces déformations

Pour comprendre les paramètres inuençant les déformations, une méthodologie ontologique
a été suivie [CAPMJ06]. La première étape a été d'identier de façon exhaustive les paramètres
inuençant les déformations par une revue de la littérature sur ce sujet en tant que consensus
d'experts. La deuxième étape était la phase de conceptualisation, qui a permis de classer ces
résultats par lien logique. Les paramètres ont alors été classés selon 6 catégories (patient, lé-
sion, chirurgie, physiologie, physique, biomécanique), auxquelles nous rajoutons une catégorie
supplémentaire pour le pouls cérébral. La phase de formalisation a consisté à construire un mo-
dèle UML1 présenté dans [CAPMJ06] permettant de comprendre les relations entre chacun des
paramètres. Nous allons présenter ici les résultats de la phase d'identication. Le but de cette
sous-section est de montrer la diculté de la mesure de ces paramètres et leur corrélation forte
et dicile à quantier. A la n de cette section, le lecteur devra être convaincu de l'extrême
diculté, voire de l'impossibilité, de prévoir exactement les déformations du cerveau pendant
l'opération.
Mouvement cyclique
Dans [PWWC92], le pouls cérébral a été observé par IRM dynamique. Ce mouvement suit
la même fréquence que le battement cardiaque. Il a une amplitude mesurée de 0,5 millimètre.
Cependant cette amplitude peut être plus importante, selon la pression artérielle et la pression
intracrânienne. Le pouls cérébral est négligé dans la plupart des études sur les déformations
cérébrales et par les chirurgiens qui s'en accordent parfaitement, du fait de sa faible amplitude
et de sa régularité cyclique. Cependant, c'est une source d'erreur non négligeable à prendre en
compte lors de la mesure ou de la correction des déformations cérébrales peropératoires. En
eet, si les mesures sont réalisées à des instants diérents de la période de battement, l'erreur,
rajoutée aux déformations dues aux paramètres que nous allons lister maintenant, peut être de
la même amplitude que le battement, soit un demi-millimètre.
Paramètres physiques
La gravité est le facteur le plus souvent souligné. Elle est souvent considérée comme la direc-
tion principale des déformations cérébrales [RHK+ 98, DAV+ 98, HHCS+ 03, SNJ02, BYT+ 97,
HRSS+ 04, RNK+ 04, MFGP01, GCP00] . En eet, la perte de liquide cérébro-spinal (LCS),
après ouverture des méninges, crée un espace virtuel. Le cerveau va alors s'aaisser en suivant
comme direction principale celle de la gravité. Cependant, même si le cerveau otte dans la
boite crânienne, il est maintenu par des structures rigides telles que la faux et la tente du cer-
velet mais aussi par l'arbre vasculaire. L'inuence de la gravité est ainsi limitée. Ce paramètre
est mesurable grâce au système de neuronavigation.
Paramètres physiologiques
La perte de LCS provoque un déplacement du cerveau de manière à remplir l'espace
désormais vide qui était occupé par le LCS [MRK+ 01, RHK+ 98, DAV+ 98, NGC+ 00, SNJ02,
HHCS+ 03, BYT+ 97, HRSS+ 04, RNK+ 04, NBG+ 01, KLB03, PCA03, WHT+ 05, BG05, GCP00].
Ce liquide fuit par l'ouverture de la boite crânienne, mais peut également être drainé. La quan-
tité drainée peut éventuellement être mesurée, mais pas celle perdue lors de la craniotomie.
La capacité du cerveau a remplacé le liquide perdu par de la matière dépend de son élasti-
cité, dicilement mesurable sur patient vivant. La pression intracrânienne (PIC) est souvent
1 Unied Modelling Language http ://www.uml.org
Les déformations anatomiques peropératoires en neurochirurgie 107
considérée comme un paramètre inuent [DAV+ 98, HHCS+ 03, SNJ02]. Elle est une conséquence
de la combinaison des autres paramètres. Les déformations cérébrales sont une conséquence di-
recte des changements de PIC. On peut envisager de mesurer cette pression grâce à des capteurs
de pression. L'oedème est un gonement dans la substance blanche entourant principalement
les lésions de haut grade et certaines tumeurs de bas grade (méningiomes), dans la substance
blanche. L'oedème augmente la PIC [NGC+ 00, DAV+ 98, BYT+ 97, HRSS+ 04, RNK+ 04]. Il
contribue à provoquer un eet de masse qui s'éxerce vers les zones de moindre résistance
tissulaire, donc l'eet est à la fois centripète et centrifuge et de valeur inégale. Lors de l'in-
tervention chirurgicale (ou même avant), l'utilisation de drogues anti-oedémateuses ne dimi-
nue pas seulement la PIC mais également la pression exercée par l'oedème de façon centri-
pète sur la tumeur. L'oedème est dicile à segmenter sur une IRM, de par sa forme irré-
gulière. Le volume de sang dans le cerveau inue également les déformations cérébrales
[DAV+ 98, RNK+ 04, MFGP01, WHT+ 05]. Les déformations dépendent aussi de la pression par-
tielle en C02 dans le sang artériel entraînant une vasodilatation [RNK+ 04, HMM+ 98, RHK+ 98].
Paramètres liés à la procédure chirurgicale

Le type de procédure chirurgicale inue l'amplitude des déformations [RHK+ 98, DAV+ 98,
HHCS+ 03, BYT+ 97], due à la réalisation ou non d'une craniotomie (cf. section 4.1.2). L'étape
chirurgicale inue également les déformations [NBG+ 01, KLB03, PCA03, WHT+ 05, SNJ02,
HRSS+ 04, RNK+ 04, DAV+ 98, BG05, GCP00]. Dans le cas d'une opération de type résection
de lésion, il n'y a pas de déformation avant la craniotomie. Les déformations anatomiques sont
négligeables avant l'ouverture de la dure-mère. Elles atteignent leur maximum d'amplitude à
la n de la résection. La durée de chacune de ces étapes à également une inuence. Dans
[HMM+ 98], les déformations mesurées à une heure d'intervalle à la même étape chirurgicale
(après ouverture de la dure-mère et avant résection) augmentent. Le type d'outil utilisé a
également une inuence sur les déformations transitoires dues à la force exercée par l'outil.
[NGC+ 00, HRSS+ 04, MRK+ 01]. L'eort ne sera pas le même selon l'outil utilisé. La position
du patient, en décomposant position de la tête et position du corps, peut également avoir une
inuence sur les déformations [HMM+ 98, DAV+ 98, NGC+ 00, HRSS+ 04, NBG+ 01, BG05], liée à
la gravité mais aussi pour des raisons physiologiques. Par exemple, en décubitus ventral, la pres-
sion intracrânienne augmente et le cerveau gone malgré la gravité. La position peut-être décrite
qualitativement et mesurée quantitativement à l'aide d'un degré d'inclinaison par rapport à la
direction de la gravité. La localisation de la craniotomie et sa taille sont des paramètres in-
uents des déformations [HMM+ 98, RHK+ 98, NGC+ 00, HHCS+ 03, PCA03, MHM+ 98], mais
peuvent également avoir une conséquence sur le choix du positionnement du patient. La lo-
calisation et la taille de la craniotomie peuvent être mesurées grâce au pointeur du système
de neuronavigation ou autre mesure peropératoire, comme les reconstructions stéréoscopiques.
Dans certaines opérations, l'ouverture du système ventriculaire peut propager des défor-
mations profondes [DAV+ 98, NGC+ 00, NBG+ 01]. L'injection de stéroïdes avant ou pendant
l'intervention peut réduire l'oedème par rapport au moment de l'acquisition des images et donc
entraîner des modications anatomiques [MHM+ 98] avant même de procéder à la cranioto-
mie. L'injection de produits hyperosmolaires inue sur le volume sanguin pour réduire la
pression intracrânienne. [HMM+ 98, DAV+ 98, NGC+ 00, SNJ02, BYT+ 97, RNK+ 04, NBG+ 01,
KLB03, PCA03, MHM+ 98, BG05]. L'inuence des agents hyperosmolaires est de réduire la
quantité d'eau contenue dans les cellules, ce qui inue évidemment sur la forme du cerveau.
Comme pour les stéroïdes, c'est le neurochirurgien qui décide d'en injecter au patient et la
dose est mesurée. Cependant, le résultat de l'injection de telles drogues est directement lié aux
particularités physiologiques de chaque patient et est imprévisible.
Les paramètres liés au patient

L'âge du patient joue sur l'élasticité de son cerveau [HMM+ 98]. Il est connu pour
chaque patient. L'atrophie cérébrale augmente avec l'âge du patient. Cette atrophie est rem-
placée par du LCS [MHM+ 98, MFGP01]. Plus l'atrophie est importante, plus l'amplitude des
déformations cérébrales est importante. L'atrophie peut être mesurée sur l'IRM préopératoire
en utilisant des indices de type BICCR (ratio du volume du cerveau sur le volume de la boîte
crânienne) [CMZ+ 01].
Les paramètres liés à la lésion

La taille et la forme de la lésion [DAV+ 98, NGC+ 00, NBG+ 01, KLB03, MHM+ 98] ont
une conséquence directe sur la perte de matière après résection et sur l'eondrement conséquent
du cerveau. La localisation de la lésion (inuençant également le positionnement du patient)
aura des conséquences sur la profondeur de la résection [NBG+ 01, KLB03, MHM+ 98, HMM+ 98,
DAV+ 98, NGC+ 00, HHCS+ 03, MFGP01]. Il apparaît, de façon intuitive, que les déformations
d'amplitudes les plus importantes aient lieu autour de la cavité d'exérèse. Par ailleurs, si la
lésion est attachée à la base du crâne, qui est xe, les déformations de la région d'intérêt ont
moins d'amplitude. La taille, la lésion et la localisation de la tumeur peuvent être mesurées par
segmentation de la tumeur sur l'imagerie anatomique préopératoire ou sur une fusion de ces
imageries. Le type de la lésion (cavernome ou tumeur, le grade de tumeur,...) inue la pression
intracrânienne et la présence d'oedème : la consistance de la lésion dépend de son type (ou grade
pour une tumeur). Le type de la lésion est dicile à évaluer : aujourd'hui la taille, la forme et la
vitesse d'évolution d'une tumeur permettent de déterminer son grade de façon approximative
avant l'opération. Avant l'opération, des modalités d'IRM spéciques peuvent déterminer la
nature maligne ou bénigne d'une tumeur. Cependant, seule une biopsie préopératoire ou un
prélèvement peropératoire des tissus tumoraux peuvent permettre de préciser le type de tumeur
après analyse anatomo-pathologique.
Les paramètres biomécaniques

Ces paramètres décrivent le comportement biomécanique du cerveau et sont donc liés à
tous les paramètres énumérés précédemment. Nous reviendrons sur ces paramètres lors de la
description des modèles biomécaniques dans la sous-section 4.2.3.
Bilan
Kelly [Kel98b], [Kel98a] compare le cerveau à une méduse ottant dans la mer, ou à une
éponge dans un verre d'eau. La méduse s'aplatit dans la direction de la gravité si elle est sortie de
l'eau, de la même manière que le cerveau s'il n'est plus entouré d'eau aura tendance à s'aplatir
dans la direction de la gravité. Dans la métaphore du verre, le bord du verre représente la
craniotomie, l'éponge le cerveau et l'eau le LCS. La position relative entre un point du bord du
verre et l'éponge sera modiée si la position du verre a changé, ce qui représente l'inuence de la
position de la craniotomie par rapport à la gravité. Le drainage de l'eau du verre représentant le
drainage du LCS, les conséquences de la baisse du niveau d'eau du verre, sur la position relative
de l'éponge par rapport au bord du verre est intuitive. L'usage d'agent hyperosmolaires revient
à aspirer l'eau contenue dans l'éponge avec une paille. Ces métaphores de Kelly (la méduse et
l'éponge) sont une aide à la compréhension du phénomène des déformations peropératoires du
cerveau, mais elles sont évidemment simpliées.
Nous venons de voir que les paramètres ne sont pas tous mesurables et que l'acquisition de tous
ces paramètres pourrait demander un protocole lourd en salle : suivi des étapes de l'intervention,
changement d'outil à détecter, suivi des doses médicamenteuses injectées. De plus, on ne connaît
pas les relations formelles entre les paramètres, ni celles entre les paramètres et les déformations.
Pourtant les déformations cérébrales doivent être prises en compte car elles sont loin d'être
négligeables comme nous allons le voir.
4.1.2 Déformations anatomiques cérébrales observées dans la littéra-

ture
Amplitude des déformations
Le tableau 4.1 récapitule des exemples de déformations mesurées dans la littérature, en pré-
cisant la méthode de mesure utilisée et les principales sources d'erreur de cette quantication.
Dans ce tableau, le choix a été fait de classer les déformations mesurées par étape et type d'inter-
vention. Au vu des nombreux paramètres inuençant les déformations cérébrales exposées dans
la sous-section précédente 4.1.1, ce choix arbitraire de classement semble incomplet. Il permet
seulement de donner une idée des amplitudes attendues. Cependant, à notre connaissance, c'est
la seule classication présentée dans la littérature, même si l'inuence des paramètres énumérés
précédemment est reconnue. Nous allons commenter ce tableau.
Référence Type d'in- Étapes Nb Amplitude Amplitude Méthode de me- Biais

tervention de du déplace- du dépla- sure
cas ment de la cement
surface volumique
[HHCS+ 03] Biopsie 5 0.5 à 4.5mm IRMi 1.5-T
[HHCS+ 03] Stimul 6 0.6 à 7mm IRMi 1.5-T
fonct (crâne
fermé)
[HHCS+ 03] Exérèse de 13 1 à 9mm IRMi 1.5-T 2mm environ de
lésion perte de signal
à la limite air-
tissu
[HMM+ 98] Exérèse de Craniotomie 19 0.5 ± 1.6 surface au poin- Erreur de
lésion (avant ou- mm à teur comparée à recalage
verture −3 ± 2.5mm IRM préop patient-image
dure-mère) incluse
[HMM+ 98] Exérèse de Ouverture 19 −4.4 ± 1.9 Surface au poin- Erreur de
lésion dure-mère mm (max teur comparée à recalage
−7.9 ± 3.2 IRM préop patient-image
mm) incluse
[HMM+ 98] Exérèse de Stimul ? −10.3 ± Pointeur Erreur de
lésion fonction- 3.2mm recalage
nelle après patient-image
craniotomie incluse
[HRSS+ 04] Exérèse de Après résec- ? 17.4 mm -−9mm à Pointeur Erreur de
lésion tion max −31mm recalage
patient-image
incluse
[NBG+ 01] Exérèse de Après ? 15.8mm IRMi pondérée

lésion ouverture max T2
de la
dure-mère
[NBG+ 01] Exérèse de Après résec- ? 23.8mm IRMi pondérée
lésion tion max T2
[CSFP00] Exérèse de Après ? 10 à 20mm Ultrasons suivis
lésion ouverture et achés dans
de la l'IRM préop
dure-mère avec segmenta-
tion et mise en
correspondance
manuelle
[LWVN05] Exérèse de Après cra- 12 3 mm en Ultrasons 2D Erreur de re-
lésion niotomie et moyenne suivis, recons- calage IRM-arc
avant ouver- (7.5 truits 3D et 1.5mm ;erreurs
ture de la max)dans la recalés par MI à de calibrage
dure-mère direction de l'IRM préop de la sonde ;
la gravité ; erreur de syn-
3.9 mm chronisation
(8.2max) sonde-position
perpendi-
culairement
à cette
direction
[LWVN05] Exérèse de après ouver- 12 3.2 mm en Ultrasons 2D
lésion ture de la moyenne suivis, recons-
dure-mère dans la truits 3D et
direction de recalé par MI à
la gravité ; l'IRM préop
5.3 mm per-
pendiculaire
[KMS06] Stimulation Postop 15 1 à 3.8mm Recalage rigide Erreur de reca-
fonc- IRM préop/ lage < à 1mm
tionnelle Recalage IRM estimée 3 points
profonde postop de même du crâne+
protocole mais erreur pour
préop axial 1.9 retrouver les
postop coronal mêmes points.+
1.8 puis analyse temps écoule le
manuelle pour 4 cerveau tend
points vers sa position
originelle
Tab. 4.1: Déformations mesurées dans la littérature.
Les déformations anatomiques cérébrales sont liées à l'intervention chirurgicale. Cependant,

la présence d'oedème ou une tumeur de haut grade peuvent modier l'anatomie du cerveau par
rapport à celle qu'il avait au moment où le patient a bénécié de l'imagerie préopératoire même
avant craniotomie. Ces déformations sont peu reconnues et à notre connaissance, aucune étude
quantitative n'a été menée sur les déformations avant craniotomie.
Interventions mini-invasives Lors d'interventions mini-invasives (implantation d'une ai-

guille de prélèvement pour une biopsie ou d'une électrode cérébrales profonde lors de stimula-
tions), la déformation observée varie de 0.5 à 4.5mm et de 0.6 à 7mm d'après [HHCS+ 03] pour
respectivement 5 biopsies et 6 stimulations observées.
Exérèse : avant ouverture des méninges Dans le cas d'exérèse de lésion, au moment de
l'ouverture de la boite crânienne et avant l'ouverture des méninges, la déformation est considérée
comme négligeable. Dans [HMM+ 98], les déformations observées en comparant la surface de
la dure-mère acquise au pointeur à cette même méninge dans l'imagerie préopératoire sont
données de 0.5 ± 1.6 mm à −3 ± 2.5mm pour 19 patients. Ces chires sont directement liés
à l'erreur de recalage patient-image du neuronavigateur, qui est en général du même ordre de
grandeur. Ils ne sont donc pas signicatifs. Cependant, dans [LWVN05], les déformations avant
l'ouverture de la dure-mère, mesurées par ultrasons, sont considérées comme la déformation la
plus importante : on n'observe qu'une diérence moyenne de 0.2 mm dans la direction de la
gravité et 1.9 mm dans la direction perpendiculaire entre la déformation observée au moment
de la craniotomie et celle observée au moment de l'ouverture de la dure-mère (voir la gure
4.1). La dure-mère, bien que breuse, est légèrement extensible et peut être déformée par une
importante poussée cérébrale lorsque la PIC est très élevée.
Fig. 4.1 Déformations cérébrales mesurées avec une sonde ultrasons, avant et après ouver-
ture de la dure-mère, en comparant la position trouvée avec celle sur l'imagerie préopératoire
IRM. A gauche : les déplacements parallèles à la direction de la gravité. Une valeur positive
signie une expansion du cerveau, alors qu'une valeur négative représente un eondrement. A
droite, le déplacement mesuré perpendiculairement à la direction de la gravité en valeur absolue.
Illustration tirée de [LWVN05]
Exérèse : après ouverture des méninges La déformation observée au moment de l'ouver-

ture des méninges est appelée brainshift (gure 4.2). Elle est directement liée au changement de
pression intracrânienne qui résulte [BG05] du passage de la boite crânienne d'un statut fermé
et inextensible au statut ouvert et extensible. Cette déformation est souvent de l'ordre du cen-
timètre : sur 19 patients, elle a été mesurée à −4.4 ± 1.9 mm en moyenne avec un déplacement
à −7.9 ± 3.2 mm (en enlevant 10% des déplacements les plus importants) dans [HMM+ 98].
L'étude de la répartition des déplacements sur la surface montrait un eondrement le plus
souvent en forme de cloche. La déformation la plus importante était mesurée au centre de la
(a) (b)
Fig. 4.2 Déformations lors de l'ouverture des méninges : (a) surface du cortex encore recouvert
de la membrane arachnoïde, avec la tumeur en blanc dont la position a été calculée sur l'IRM
préopératoire.(b) surface du cortex après ouverture de l'arachnoïde : la position de la tumeur
n'a pas été corrigée, cette information est devenue obsolète.
craniotomie. Cependant, pour 3 patients sur 19, l'eondrement ne concernait pas toute la sur-
face. Une partie gonait en particulier sur les bords de la craniotomie suivant la direction de la
gravité. Nos observations personnelles conrment ce phénomène : le gonement parfois observé
se produit sur le bord de la craniotomie le plus près du sol. Une autre déformation est due au
battement cardiaque. C'est une déformation d'amplitude régulière et faible correspondant au
pouls cérébral(cf. sous-section 4.1.1).
En cas de stimulation corticale peropératoire après craniotomie, la déformation mesurée dans
[HMM+ 98] augmentait encore jusqu'à −10.3 ± 3.2mm par rapport à sa position dans l'imagerie
préopératoire.
Exérèse : après résection L'action directe de l'outil provoque un mouvement du cerveau.

En rétraction, le tissu est repoussé. En résection, de la matière est retirée et il en résulte un
eondrement du voisinage de la lésion. Dans [HRSS+ 04], la déformation maximale de surface
observée sur 32 cas après résection est un eondrement de 17.4 mm.
Distribution volumique des déformations

Concernant la distribution de ces déformations, un premier point important souligné dans la
littérature est que la déformation observée en surface n'est pas prédictive de la déformation pro-
fonde. Ceci a notamment été démontré sur 13 cas de résection par [HHCS+ 03]. Sur la gure 4.3,
les courbes représentant l'amplitude des déformations en fonctions de la distance à la surface du
cortex sont présentées pour plusieurs cas de résection. Dans [HRSS+ 04], pour une déformation
mesurée en surface d'amplitude équivalente (de −8 à −9mm), le déplacement d'une tumeur en
profondeur pouvait être de −9mm à −31mm. De plus, l'hémisphère dans lequel est située la
tumeur n'est pas le seul à subir les déformations. Dans toutes les observations de [HHCS+ 03],
les deux hémisphères ont été déformés. Dans un cas, c'est même l'hémisphère non concerné qui
subit les plus fortes déformations. Dans [MHHR06], l'hypothèse de déformations cérébrales sur
l'hémisphère opposé au site de la craniotomie est appuyée par la présence d'hématome post-
opératoire dans l'hémisphère opposé.
Une deuxième caractéristique de ces déformations est leur inhomogénéité. Si, dans le cas de
biopsies et de stimulations à crâne fermé, les déformations ont une direction uniforme, c'est loin
d'être le cas dans la majorité des cas de résection de [HHCS+ 03]. Hartkens et col dénissent
tout de même, pour chaque résection, une direction principale de déformation. De manière inat-
Fig. 4.3 Déformations en fonction de la distance à la surface. Colonne de gauche : Norme du

vecteur de déplacement maximal mesuré par IRM peropératoire en fonction de la distance à
la surface du point de mesure. Colonne de droite : réponse de l'image à l'opérateur Jacobien,
permettant de mesurer de façon relative le changement de volume et de donner son sens. Une
valeur 1 signie qu'il n'y a pas de changement de volume. Une valeur supérieure à 1 montre
un gonement, tandis qu'une valeur inférieure à 1 signie un eondrement. Illustration tirée de
[HHCS+ 03].
tendue, la gravité n'est pas la direction principale de déformation. La gure 4.4 montre l'angle
mesuré entre la direction principale des déformations par rapport à celle de la gravité.
Fig. 4.4 Angle formé par la direction principale de la déformation (calculée par analyse en
composante principale) par rapport à la direction de la gravité. Il apparaît clairement dans
cette étude que la direction principale des déformations n'est pas celle de la gravité. Mais cette
étude peut être discutée. Illustration tirée de [HHCS+ 03]
Validité des informations obtenues dans la littérature

Les conclusions de Hartkens [HHCS+ 03], concernant l'impossibilité de prévoir les défor-
mations en profondeur par les déformations en surface, sont discutables. En eet, l'étude est
réalisée à partir d'IRMi à écho de gradient, pouvant induire des erreurs de localisation spatiale
à l'interface air-tissu, i.e., au niveau de la craniotomie. De plus le recalage réalisé entre l'IRMi
en début d'opération et l'IRMi en n d'opération est basé sur l'optimisation des paramètres
d'une B-Spline avec 15mm entre deux points de contrôle, an de maximiser la mesure de simila-
rité, l'information mutuelle. L'absence d'amers dans la matière blanche a pour conséquence un
problème d'ouverture dans les zones homogènes, ce qui signie que le déplacement des points
calculé dans la substance blanche n'est pas vériable. Une autre faiblesse de l'étude de Hartkens
est que la localisation de la lésion n'est donnée qu'en latéralité. La profondeur de la lésion est
un critère déterminant la présence de déformations volumiques puisque la résection crée une
cavité virtuelle, sujette à eondrement. Les courbes présentées sur la gure 4.3 ne présentent
que les déformations à une distance inférieure à 40 mm de la surface (pour indication, un cer-
veau mesure environ 130 mm dans sa petite longueur et 170 mm dans sa grande longueur).
Concernant les autres mesures, la plupart des informations d'amplitude ont été obtenues par
comparaison d'IRM peropératoire ou postopératoire avec l'IRM préopératoire (exemple sur la
gure 4.5), ou simplement en prenant la position du pointeur du système de neuronavigation
pour une quantication en surface. Les traitements sont réalisés après l'opération, dans un but
d'évaluation et de description de ces déformations. Ils ne constituent pas une solution au pro-
blème de l'évaluation en temps réel des déformations. On peut regretter la présentation des
résultats dans la plupart des articles cités. En eet, les résultats sont donnés sous la forme
(a) (b)
(c) (d)
Fig. 4.5 Craniotomie et exérèse d'une lésion dans un système d'IRMi ouvert General Electric
Medical Systems (SIGNA SP) au Brigham and Women's Hospital.(a) Photographie du système
SIGNA. (b) Acquisition IRM en début d'opération pondérée T2 seule, colorée en rouge. (c)
L'IRM T2 (rouge) et l'IRM T1, après craniotomie, (en gris) sont simplement superposées. (d)
L'IRM T1, après craniotomie, et l'IRM T1, après résection (en vert), sont superposées. Coupes
seules non superposées tirées de [Jol97].
de moyenne entre plusieurs patients. Ce choix de présentation impose une classication sous-
jacente des patients et donc des hypothèses fortes sur les paramètres inuents, alors qu'à notre
connaissance aucun modèle complet de l'inuence des paramètres sur les déformations céré-
brales n'a été présenté. Pourtant ces paramètres sont nombreux comme nous l'avons vu dans
le paragraphe précédent.
Au regard de ces deux sous-sections, il apparaît que le phénomène des déformations peropé-
ratoires, pourtant très étudié, n'est pas parfaitement compris ni connu, et non parfaitement
prévisible. Cependant, il est d'amplitude et de conséquences trop importantes pour être ignoré.
4.2 Les approches de détection, de quantication et de cor-

rection
4.2.1 Pourquoi détecter, quantier et corriger les déformations ?
Commençons par préciser ces trois termes. Nous dénissons la détection des déformations
comme l'appréciation subjective de l'ampleur des déformations anatomiques. Cette détection
passe par la dénition d'un seuil à partir duquel les déformations ne sont plus considérées comme
négligeables. Aujourd'hui, cette détection est réalisée implicitement par le neurochirurgien. Au-
cune valeur numérique n'a été donnée à ce seuil. Cette étape de détection est extrêmement
importante puisqu'elle conditionne toute la démarche de traitement des déformations.
La quantication des déformations consiste à donner numériquement l'amplitude et la dis-
tribution de ces déformations. C'est la mesure des déformations. Elle est directement liée au
support étudié des déformations. Il peut s'agir de déformations mesurées uniquement en surface
ou sur le volume entier, ou encore seulement sur certaines structures, par exemple la lésion ou
les ventricules.
L'étape de correction est la mise à jour des informations préopératoires lors de la détection
de déformations en s'appuyant sur leur quantication. Ces informations sont le modèle patient,
tel que décrit dans le chapitre précédent 2.
La première tentative de détection des déformations cérébrales peropératoires date de 1986
[KKGE86]. Pour un traitement laser de la lésion en stéréotaxie, Kelly et al font deux acquisi-
tions aux rayons X pendant l'opération, qui permettent de repérer des sphères déposées le long
de la trajectoire. Si ces sphères bougent entre deux clichés, la trajectoire du laser est recalculée.
On peut s'étonner de cet intérêt tardif porté à cette source d'erreur importante lors du recalage
image-patient mais cela coïncide avec les premières utilisations de station de neuronavigation.
Le neurochirurgien a-t-il vraiment besoin d'avoir des outils de détection ou de quantication,
voire de correction des déformations anatomiques peropératoires ? Une discussion préliminaire
sur l'intérêt de cet axe de recherche nous semble donc ici nécessaire. En eet, les neurochirur-
giens réalisent tous les jours des opérations à l'aide de la neuronavigation, avec succès malgré
les déformations cérébrales. Ils enchaînent les trois actions de détection, quantication et cor-
rection de façon implicite. On peut voir cette démarche mentale comme un enchaînement des
étapes d'acquisition de données (observation visuelle des déformations de la surface observée),
d'analyse de ces données (extrapolation aux régions situées sous la surface : localisation de
la zone cible et des zones à éviter) et enn de prise de décision (conrmation de la stratégie
chirurgicale préparée ou adaptation de celle ci, dénition du point d'entrée). Cet enchaînement
(acquisition, analyse, prise de décision) va se répéter jusqu'à ce que le chirurgien décide de la
n de l'exérèse.
Quels sont les moyens d'acquisition de données dont dispose aujourd'hui un neurochirurgien
exerçant dans un hôpital ne faisant pas de recherche et équipé d'un système de neuronavigation
Les approches de détection, de quantication et de correction 117
récent ? La localisation de la lésion est apprise sur l'imagerie préopératoire. C'est l'expérience
du neurochirurgien et son analyse des informations disponibles qui lui permettent de retrouver
la localisation de la lésion. L'observation visuelle de la surface corticale par le neurochirurgien
avec le crâne et les tissus, comme repères de référence, permet de détecter les déformations.
Si des déformations sont détectées, une évaluation plutôt qu'une quantication est réalisée en
utilisant le pointeur du système de neuronavigation : en pointant quelques points sur la sur-
face corticale et en regardant simultanément la position correspondante du pointeur dans les
images préopératoires, le neurochirurgien peut voir la diérence entre la position de la surface
du cerveau et la position de cette même surface dans les images préopératoires. Ce repérage est
pondéré par le repérage anatomique basé sur les gyri et les sillons, mais aussi par une obser-
vation d'indices. Ces indices peuvent être visuels ou tactiles lorsque la catégorie de la lésion le
permet. Par exemple, visuellement, un cavernome qui a saigné peut donner une couleur orange
au cortex. Tactilement, le retour haptique, lorsque le cavernome ou la tumeur a calcié, est
diérent de celui du tissu sain. La présence d'un vaisseau peut être un indice. Tous ces indices
viennent conrmer ou corriger la position proposée par le neuronavigateur.
A partir des connaissances qu'il possède sur la structure mécanique du cerveau, il tente de corri-
ger la position des régions d'intérêt et notamment de la zone cible en extrapolant mentalement
la déformation observée en surface.
Le but de cet axe de recherche est de rendre explicite, objectif et quantitatif les deux pre-
mières étapes du processus cognitif du neurochirurgien : l'acquisition de données et l'analyse de
ces données. Il nous semble que deux arguments importants viennent plaider en faveur de cet
eort de recherche. Premièrement, la réussite d'une opération est dépendante aujourd'hui de la
qualité et de l'expérience du neurochirurgien. Condenser la courbe d'apprentissage est un des
objectifs. Deuxièmement, rendre explicite les aides à la décision est également un objectif. Au-
jourd'hui, seule une imagerie postopératoire permet d'évaluer quantitativement le pourcentage
d'exérèse de lésion eectué pendant l'opération. En particulier, lorsque la tumeur est dicile-
ment diérentiable à l'oeil nu du tissu sain (pour les tumeurs de bas grade, par exemple), la
limite de l'exérèse est dicile à dénir.
On peut réduire les approches de gestion des déformations à deux familles :
- les approches sans correction des informations préopératoires. Ce type d'approche consiste à
laisser le neurochirurgien s'adapter à ce qu'il observe ; à tenter de maîtriser les paramètres
inuençant les déformations cérébrales peropératoires pour les minimiser ; ou encore à
fournir au neurochirurgien pendant l'opération de nouvelles images peropératoires. Cette
famille d'approche fera l'objet de la section 4.2.2.
- les approches cherchant à rendre utilisables les informations issues du planning préopéra-
toire en corrigeant leur position pour qu'elle corresponde à la réalité anatomique du pa-
tient pendant l'opération. Cette famille d'approche sera traitée dans la section 4.2.3. On
pourrait utiliser la classication classique [Pau03], [CHB05], qui consiste à séparer les ap-
proches volumiques (échographie 3D, IRMi) des approches en surface avec ou sans modèle
a priori des déformations attendues. Cependant, les approches de correction tendent vers
une combinaison de diérents modules. Les acquisitions volumiques peuvent par exemple
également servir de données de mises à jour d'un modèle. Il nous a donc semblé plus
pertinent de présenter chacun de ces modules et de montrer la manière dont ils peuvent
s'agencer entre eux.
4.2.2 Approches sans correction des déformations

Approches de réduction des déformations
Dans cette approche, les déformations sont réduites et leur évaluation dépend uniquement
de l'appréciation du neurochirurgien. Il n'existe pas, à notre connaissance, de méthode validée
permettant de réduire les déformations cérébrales. Kelly [Kel98b] a décrit sa propre approche
qu'il indique ecace pour la réduction des déformations cérébrales peropératoires dans un
commentaire de l'article de Hill [HMM+ 98]. Tout d'abord, il réduit au maximum la taille de la
craniotomie et choisit la position du patient de façon à ce que la craniotomie soit perpendicu-
laire à la gravité, dans la mesure du possible. Ses consignes, outre la diminution de la taille de la
craniotomie et le choix rééchi de sa position, sont de ne pas utiliser d'agents hyperosmolaires
ou stéroïdes et de ne pas drainer le LCS. Ces deux consignes permettent de diminuer la perte
en eau dans la boite crânienne. Il a également conseillé dans un autre commentaire [Kel98a]
de dénir un plan de clivage net et avant toute action sur la lésion. Il faut également éviter
d'ouvrir les ventricules pour éviter une perte importante de LCS. Une autre consigne non sou-
lignée par Kelly dans ces commentaires est que l'IRM 3D de référence pour la neuronavigation
soit faite au patient à une date la plus proche possible de l'intervention, idéalement la veille,
lorsque la présence d'un oedème impose l'utilisation d'agents osmolaires (anti-oedémateux) en
préopératoire.
Limitations Il n'est pas toujours possible de limiter les déformations selon la position de la
lésion. Par exemple, une lésion ventriculaire implique l'ouverture des ventricules. De plus le
choix délibéré de ne pas utiliser d'agent osmolaires, ayant pour but de réduire les oedèmes
préopératoires et la formation d'oedème postopératoire, implique un danger important pour le
patient.
Approches reposant sur l'acquisition de nouvelles informations

On ne cherche pas à corriger les déformations peropératoires, mais à acquérir les informations
utiles au neurochirurgien directement pendant l'opération. Les systèmes d'acquisition d'images
présentés dans la section 1.2.3 du chapitre 1 peuvent être utilisées. L'imagerie peropératoire,
considérée dans la littérature comme le Gold Standard, est l'IRM interventionnelle (IRMi). Son
principe a été expliqué dans le chapitre 1, où nous avons présenté les deux principaux types
d'IRMi. Pour la localisation, en salle, de zones fonctionnelles, la stimulation par électrode ou
l'IRM fonctionnelle [GFN+ 99, GGS+ 05] sont toujours étudié. Les résultats préliminaires de
Gasser [GGS+ 05] montrent que la technique est possible sur patient anesthésié, en utilisant des
paradigmes d'activation passive par stimulation nerveuse.
Par ailleurs, toujours sans chercher à quantier les déformations, les progrès de la uorescence
et des photosensibilisants laissent espérer de pouvoir un jour diérencier par un éclairage de
longueur d'onde particulière le tissu sain du tissu lésionnel. Les gliomes semblent s'y prêter
avec succès [KKK+ 97]. Les anévrismes réagissent au vert d'indocyanine éclairé aux infrarouges
[RNB+ 05]. Cette approche en est au stade préliminaire. Les principales dicultés étant de
trouver des photosensibilisants adaptés à l'histologie de la tumeur, en particulier lors de lésions
mixtes, i.e., comprenant plusieurs types diérents de cellules pathologiques. Par exemple, les
microscopes chirurgicaux de dernière génération, comme le Unique Opmi Pentero de Zeiss,
proposent de la uorescence 5ALA (acide delta-aminolévulinique) pour la résection de tumeurs
de type glioblastome multiforme mais cette option est encore au stade des études et indisponible.
Un exemple de résultat est montré sur la gure 4.6).
Limitations Concernant les IRM peropératoires lors de la craniotomie, l'air entré dans la
tête peut créer d'importants artefacts créant une perte de signal pour des acquisitions haute
résolution de type écho de gradient [HHCS+ 03]. Les acquisitions de type Spin-echo n'ont pas
(a) (b)
Fig. 4.6 Utilisation de la uoroscopie avec marqueurs : (a) Le champ opératoire vu en lumière
blanche. (b) Ce même champ opératoire vu par uoroscopie après marquage au 5ALA à travers
les oculaires du Unique Pentero de Zeiss. Le gliome émet alors une lumière rouge, le tissu sain
est en bleu. Ces images sont tirées de la documentation du microscope Unique Pentero.
ce problème mais, par contre, présentent de grandes distorsions géométriques.

Par ailleurs, dans ces approches basées sur de nouvelles acquisitions, la phase de préparation
du neurochirurgien n'est pas corrigée en salle. Le neurochirurgien doit traiter de nouvelles
informations et faire seul le lien entre l'information préopératoire et l'information peropératoire.
Le temps d'acquisition nécessaire à chaque modalité restreint leur usage pendant l'opération
à une modalité, généralement anatomique mais parfois fonctionnelle [GSS+ 05][GGS+ 05]. Les
acquisitions peropératoires par IRM constituent l'acquisition volumique la plus précise et à plus
grosse couverture spatiale. Cependant, leur utilisation est limitée par plusieurs contraintes :
- le temps d'acquisition (10 minutes au minimum),
- le déplacement du patient (voir la gure 1.3) dans le cas de l'IRM en anneau ; l'accès limité
au patient dans le cas d'IRM en beignet.
- le temps de recalage entre le volume peropératoire et l'IRM haute résolution préopératoire.
- la résolution encore limitée des acquisitions
- les artefacts que peuvent amener le champ opératoire et les outils du neurochirurgien.
- le prix
- l'interprétation des images IRM à bas champs est souvent dicile, mais ces images ont pour
but d'être utilisés pour le recalage. Cette interprétation demande des compétences mixtes,
à la fois celle du neurochirurgien et celles du radiologue, ce dernier n'est aujourd'hui pas
présent en salle d'opération. De plus, cette interprétation demande du temps.
Dans [WBK+ 97], la neuronavigation est faite dans l'IRMi. Dans [EBM+ 06] [TMH+ 06], la neu-
ronavigation est faite dans les images ultrasonores, achées avec la coupe d'IRM préopératoire
correspondante, sans correction des images préopératoires. Cependant, ce type de navigation
dans l'imagerie peropératoire est, de plus en plus souvent, complété par une mise à jour du
modèle patient préopératoire, comme nous le verrons dans les approches de correction.
4.2.3 Approches avec correction des déformations

Dans cette section, nous allons présenter les solutions proposées dans la littérature concer-
nant la correction des informations issues du planning préopératoire en prenant en compte les
déformations peropératoires. De nombreux états de l'art ont été réalisés [HRSS+ 04, MSC05,
CHB05, HBB+ 05]. Les approches se dirigent de plus en plus vers une combinaison de plusieurs
approches simples. Il serait donc fastidieux de les énumérer une par une. Nous avons choisi ici
une nouvelle classication, basée sur des blocs de base représentant les outils disponibles pour la
détection, la quantication et la correction des déformations. Cette classication est présentée
dans la gure 4.7. Ces blocs représentent les outils rencontrés dans la littérature, utilisés seuls
ou combinés avec les autres. Dans le diagramme de la gure 4.7, les solutions sont représentées
comme des classes UML. Les relations entre chaque bloc sont propres à une approche. Dans
les gures 4.8 et 4.9, deux exemples de description de méthodes de correction des déformations
peropératoires sont implémentés, suivant ce modèle de classication, avec les relations entre les
classes utilisées. Nous allons ici détailler chacun de ces blocs, en gardant à l'esprit que tous ces
blocs se combinent, chacun pouvant servir de contrainte au calcul nal des déformations. Le
principe est de calculer une déformation, soit par des mesures peropératoires recalées entre elles
ou en recalant l'examen préopératoire sur ces mesures peropératoires, soit par déduction par
rapport à la valeur des paramètres listés dans la sous-section 4.1.1, soit par une combinaison de
ces possibilités. Cette déformation doit ensuite être appliquée aux informations que l'on désire
mettre à jour, soit l'examen préopératoire entier, comme c'est majoritairement le cas dans les
méthodes de corrections des déformations proposées, soit uniquement pour les zones d'intérêt
segmentées des images préopératoires multimodales. Cette dernière méthode nous semble plus
appropriée, mais n'a pas été utilisée dans la littérature.
Les informations a priori

Les acquisitions préopératoires
L'acquisition préopératoire la plus couramment utilisée est l'IRM anatomique pour sa réso-
lution spatiale, mais d'autres informations issues de modalités fonctionnelles, d'IRM de diusion
ou d'angiographie sont également acquises. Ces informations peuvent constituer le support pour
construire un maillage servant au calcul d'un modèle biomécanique propre au patient, mais ne
permettent pas de déterminer les paramêtres biomécaniques tels que décrits dans le paragraphe
suivant. Les IRM préopératoires servent toujours de support d'applications aux déformations
calculées, soit l'imagerie sous sa forme originale, soit en se restreignant à des zones d'intérêt
segmentées dans les images préopératoires.
Limitations Le délai entre l'acquisition et l'opération doit être court lorsque les lésions sont
hautement évolutives ou lorsqu'il y a un oedème ou un hématome. L'anatomie du patient peut
en eet, dans ces cas, être modiée dans les jours qui suivent l'acquisition et qui précèdent
l'intervention.
Les modèles biomécaniques

Le but de l'utilisation modèles biomécaniques est :
soit de prédire la déformation à partir des paramètres mesurés [MPK+ 00] ;
soit d'extrapoler des déformations éparses, mesurées en surface, au reste du volume cérébral[SNJ02] ;
soit de contraindre un recalage entre deux images de volume [CDT+ 05].
L'une des voies actuelle de développement des modèles biomécaniques, utilise une formulation
discrétisée du problème à l'aide de la méthode des éléments nis (FEM). Le cerveau est alors
discrétisé en petits éléments volumiques modélisés à l'aide de fonctions linéaires (un exemple
de maillage est présenté sur la gure 4.10). La rapidité de calcul et la facilité d'implémentation
font que les modèles élastiques linéaires sont majoritairement utilisés. Dans ces modèles, les
contraintes et les déformations, représentées par le tenseur des contraintes σ et le tenseur
des déformations ², sont reliées entre elle à l'aide d'une loi de comportement. Le tenseur des
contraintes est une représentation utilisée en mécanique des milieux continus pour représenter
l'état de contrainte, autrement dit les forces surfaciques. Il est à préciser également que ces
Fig. 4.7 Diagramme UML général représentant la globalité des solutions de détection, de
quantication et de correction des déformations anatomiques du cerveau pendant une interven-
tion de neurochirurgie. Les relations d'héritage sont en rouge pour plus de lisibilité (lien éché)
et correspondent à la relation est un a lire dans le sens de la êche. Les autres liens sont des
associations, dont la sémantique est explicitée textuellement.
Fig. 4.8 Exemple de représentation à l'aide du schéma proposé gure 4.7 d'une solution pro-
posée dans [CDT+ 05]. Le champ volumique est simplement visualisé dans l'IRM peropératoire.
Fig. 4.9 Exemple de représentation à l'aide du schéma proposé gure 4.7 d'une solution
proposée dans [MSC+ 03]. L'auteur propose simplement une brique de calcul de déformation de
surface, pouvant être utilisé dans une approche plus globale.
Fig. 4.10 Maillage tétraédrique réalisé à partir du volume IRM préopératoire. (a) Maillage
volumique complet avec une coupe de l'IRM préopératoire. (b) Même coupe de l'IRM avec le
maillage correspondant. Illustrations tirées de [CSC+ 05].
tenseurs sont dénis localement, c'est-à-dire en chaque point du maillage. Dans le but d'accélérer
la vitesse de calcul, l'hypothèse des déformations innitésimales est posée, permettant ainsi une
relation linéaire entre le champ vectoriel des déplacements et le tenseur des déformations. Les
eorts et/ou les déplacements pouvant être mesurés, le principe fondamental est alors utilisé an
de relier entre elles les contraintes, l'accélération et les forces extérieures appliquées au modèle.
L'ensemble de ces équations donne alors un système d'équations diérentielles partielles, qui
est résolue numériquement par une formulation matricielle.
F = KU
avec F l'eort de chargement, K la matrice de rigidité (contenant la cinématique, la loi de

comportement et le principe fondamental de la dynamique), U le champ de déplacement. Une
méthode alternative utilise une méthode aux éléments frontières (BEM). Dans cette approche,
il n'y a pas de maillage à l'intérieur du cerveau. Mais cette approche est trop lourde mathéma-
tiquement et peu utilisée.
Les hypothèses sur le volume à modéliser sont traduites par les constantes qui interviennent
dans les équations. Ces constantes sont souvent déterminées de manière empirique : le module de
Young (rapport contrainte-eort dans le plan de charge selon la direction de charge sans dimen-
sion), le coecient de saturation (quantité d'eau), le coecient de Poisson (rapport de l'eort
latéral sur l'eort axial, sans dimension), la conductivité hydraulique1 et la densité des tissus.
Le choix des constantes intervenant dans les trois équations et l'expression de ces trois équations
décrivent le modèle biomécanique. Il n'y a pas de méthode aujourd'hui permettant d'estimer ces
constantes directement sur le patient. Les ultrasons pourraient être une possibilité d'estimer in
vivo ces paramètres pour chaque patient [MATS06]. Plusieurs grandes catégories sont dénies :
les modèles élastiques, visqueux, à compartiments rigides par exemple. Les paramètres pris en
compte se limitent généralement à la gravité. Les contraintes peuvent être 1) l'hypothèse d'une
base du crâne xe, 2) l'application de forces externes comme la gravité ou par le remplacement
de la force externe par un champ de déplacement mesuré par une acquisition peropératoire
[LPL+ 05, SNJ02, PSO+ 05, SRF+ 05] (voir le paragraphe 4.2.3 pour une liste de ces acquisitions
peropératoires) [LPR+ 03], [SRF+ 05],[FNM+ 02]. Le premier à avoir développé un modèle cré-
dible de déformation est Miga [MPK+ 00], avec des modèles basés éléments nis qui prennent
en compte l'eet des drogues et des propriétés mécaniques du cerveau pour estimer la perte de
LCS, ainsi que l'eet de la gravité. Dans [MRK+ 01], la résection et la rétraction par une spatule
ont été modélisées. La force exercée par ces outils est appliquée comme une force externe. Dans
[CSHS+ 02], l'auteur tente de prédire les déformations en simulant l'intervention sur le modèle
du patient, mais l'étude présentée a plus pour objectif de proposer une méthode de maillage
qu'un moyen de corriger les déformations. Le modèle peut être totalement spécique à un pa-
tient, en maillant directement l'examen IRM préopératoire du patient [CSHS+ 01, CSHS+ 02].
Dans [CSHS+ 02], il est obtenu par le recalage non rigide d'un atlas sur l'IRM préopératoire du
patient de manière à segmenter les diérentes structures d'intérêt an d'adapter le maillage.
Pour modéliser le cerveau, les approches les plus prometteuses sont celles qui attribuent des
modèles diérents par compartiments. Par exemple, des modèles diérents peuvent être attri-
bués à la tumeurs, aux ventricules, et au reste du parenchyme [MSC05, HRS02].
Limitations Ces modèles utilisés seuls ne semblent pas permettre de prédire les déformations.
Des mesures peropératoires sont donc couramment utilisées pour contraindre la déformation
du modèle. Ces mesures peuvent être des mesures de surfaces [AFP00, MFGP01, MSC+ 03,
SDD+ 05] ou des mesures volumiques, par exemple une IRMi [CDT+ 05]. Dans [RMH+ 99], 79%
des déformations peropératoires, avant exérèse sont compensés. C'est un bon résultat, mais il y
1 ou coecient de perméabilité, rapport entre la porosité du cerveau et la viscosité dynamique du uide, a la
dimension d'une vitesse
a encore une erreur importante. On ne connaît pas tous les paramètres inuençant les déforma-
tions cérébrales et ils ne sont pas tous disponibles. Par ailleurs les calculs de mise à jour d'un
modèle biomécanique sont lourds en temps de calcul.
Les modèles statistiques

Le principe est d'associer une déformation possible ou probable à une combinaison de para-
mètres. Cette association est calculée grâce à une base de données de cas cliniques sur l'humain
ou par simulation à partir d'un modèle biomécanique [DSAK01].
Limitations Le nombre de paramètres impliqués ne permet pas d'utiliser cette approche seule.
Dans [MSC05] par exemple, un modèle statistique est utilisé avec des informations peropéra-
toires obtenues par acquisition de surface (cf. 4.2.3). De plus, pour avoir un bon modèle prédictif,
il faut une base de données de patients pour lesquels les déformations sont connues. Cette base
de données devrait être sous une forme standardisée et idéalement multi-centrique. Ce type de
base de données n'existe pas encore, par manque d'identication des paramètres et par manque
de standardisation de leur mesure.
Les approches bayésiennes

Les informations a priori sont utilisées pour dénir les probabilités a priori de déplacement
des points. Dans [KBP+ 00], la connaissance de la direction de la gravité, de la position de la
surface du champ opératoire et de la propriété de tissus, est utilisée pour corriger la mesure
bruitée des images ultrasonores. Dans [KBP+ 00], un exemple de densité a priori est donné
pour la mise à jour de la position d'un point du contour d'un objet à déplacer à cause des
déformations, en utilisant une mesure de la position en surface. La densité a priori est utilisée
pour estimer la nouvelle position du point à partir de sa mesure dans l'image échographique.
Nous reviendrons plus précisément sur les approches bayésiennes dans le chapitre suivant. Le
principe de l'approche bayésienne est de mettre à jour cette prédiction, uniquement basée sur
la position précédente et les informations à priori, par une mesure dans laquelle on n'a pas
entièrement conance, par exemple parce quelle est très bruitée. Dans cet exemple, la mesure
est la position du contour, mesurée sur un volume ultrasons 3D reconstruit à partir d'acquisitions
ultrasons 2D. Nous présentons ici un exemple de traduction de contrainte issue de [KBP+ 00],
celle de la gravité et de la distance à la surface. Soit vi la position initiale du point i (i entier
compris entre 1 et N, N le nombre de points du contour de l'objet à déplacer). Soit vi0 sa nouvelle
position qu'on veut estimer a priori.
P (vi0 = x) est la probabilité que la nouvelle position du point vi soit x, point 3D.
ds
−(k(vi0 −vi )−g.(de − k )k)2
P (vi0 = x) = e d
avec g le vecteur unitaire donnant la direction de la gravité, de l'amplitude des déformations

observées en surface dans la direction de la gravité, ds est la distance de x sous la surface, kd
un coecient correcteur choisi selon la distance à la surface pour laquelle la déformation doit
être nulle. Cette équation traduit l'hypothèse suivante : l'amplitude des déformations décroît
linéairement avec la distance à la surface et dans la direction privilégiée de la gravité. Cette
hypothèse est fausse dans le cas des déformations cérébrales peropératoires comme nous l'avons
souligné dans le paragraphe 4.1.2. Les auteurs en étaient conscients et cherchaient des informa-
tions a priori plus crédibles. L'avantage de ce type d'approche est la légèreté des calculs : une
méthode de modèle biomécanique classique ne sera jamais temps réel, à cause de la complexité
des calculs, contrairement aux approches bayésiennes. Dans l'exemple que nous avons donné,
les déformations mesurées en surface peuvent être utilisées pour corriger les régions plus pro-
fondes sans développer de modèle biomécanique plus long à gérer. Nous reviendrons sur ce type
d'approche bayésienne, que nous avons utilisé, dans le chapitre suivant.

Limitations La dénition d'un modèle a priori simple mais crédible n'est pas une tache simple.
De même que pour les modèles statistiques, il manque un cadre d'apprentissage des déforma-
tions observées en fonction des paramètres pour en déduire ces modèles. Ces cadres pourraient
s'inspirer de la description des paramètres donnée dans la section 4.1.1. Des modèles de bruit
sont également à dénir selon le type de mesure utilisé. Ce type d'approche n'est qu'un moyen
de corriger des mesures, mais pourrait également être utilisé pour l'interpolation des structures
non visibles, par exemple en extrapolant le déplacement des zones fonctionnelles à partir du
déplacement mesuré des sillons.
Les informations peropératoires

Les acquisitions de surfaces
L'acquisition de surfaces la plus simple disponible dans tous les systèmes de neuronavigation
est le balayage au pointeur de la surface corticale. Cependant, ce balayage donne uniquement
une information éparse de position de points. Ce type d'acquisition après craniotomie est li-
mité par le temps d'acquisition et l'invasivité de la méthode. Pour une acquisition de points
précise, le bout du pointeur doit être en contact avec le cortex. Un autre type d'acquisition est
l'acquisition par faisceau laser [ASFP03, MSC+ 03, DSD+ 03, MSC05]. Dans cette approche, un
système commercial de balayage par rangée est utilisé et permet d'obtenir une représentation
3D dense de la surface balayée. Le faisceau est parfois complété par l'acquisition d'une image
en lumière visible grâce à une caméra associée au laser [MSC+ 03], ce qui permet de texturer la
surface obtenue. Un système stéréoscopique de caméras en lumière visible [STD00], [MSC+ 03],
[SRF+ 05], [RMH+ 99] ore également la possibilité d'obtenir des surfaces texturées (cf. chapitre
3.1).
Nous avons présenté les méthodes d'obtention d'un modèle de la surface dans le chapitre précé-
dent, dans la sous-section 3.1.1. Quelques systèmes d'acquisition, dont le nôtre, sont présentés
gure 4.11. On calcule ensuite la déformation entre deux surfaces obtenues à deux moments
diérents de l'opération, ou entre une surface reconstruite par une de ces trois techniques et la
surface segmentée du cortex dans l'IRM préopératoire [ASP99]. Dans [HRSN+ 00] et [ASP99],
la surface du cortex est segmentée dans l'image préopératoire pour être recalée sur la surface
segmentée du cortex dans l'imagerie peropératoire ou sur une surface obtenue directement par
faisceau laser [ASP99]. Le recalage de surface est un problème complexe, sur lequel nous revien-
drons dans le chapitre suivant. Le recalage de la texture, parfois associée à ces surfaces, permet
de résoudre le problème de l'appariement des points de la surface [SDD+ 05]. Certains auteurs
apparient directement des structures anatomiques entre elles. Dans [MSC+ 03], (gure 4.9), la
surface de l'examen préopératoire est segmentée et texturée par lancer de rayons. Sa texture
est alors recalée de manière non rigide avec une image du champ opératoire par information
mutuelle, ce qui permet d'en déduire la transformation 3D par appariement des points 3D cor-
respondants aux points 2D appariés des textures.
Limitations La déformation de surface calculée ne s'applique qu'à la surface découverte du cor-
tex, il faut alors la transmettre aux structures sub-corticales. La surface peut alors servir de
contrainte à un autre type de recalage ou à la résolution d'équation de modèles biomécaniques,
ou pour venir corriger un modèle statistique [MSC05]. En eet, comme il l'a été montré dans la
section précédente 4.1.2, les déformations sub-corticales peuvent être très diérentes de celles
observées en surface. Par ailleurs, plus les déformations seront maîtrisées, plus l'ouverture du
volet osseux sera petite et moins il y aura d'information.
Les paramètres inuençant les déformations

(a)
(b) (c)
Fig. 4.11 Systèmes d'acquisition de surfaces. (a) un système stéréoscopique constitué de 2

caméras en lumière visible et la surface obtenue ; (b) un système d'acquisition par faisceau laser
associé à une caméra en lumière visible ; (c) notre système de caméras stéréoscopiques, inséré
dans le microscope chirurgical, avec en rouge la caméra et les câbles. Illustration (a) et (b)
tirées de [MSC+ 03] et [CSC+ 05].
Ces paramètres choisis dans la liste énumérée dans la section 4.1.1 viennent par exemple
servir d'entrée à un modèle statistique [MSC05] ou biomécanique [CDT+ 05] en les mesurant
pendant l'intervention.
Limitations Tous les paramètres ne sont pas accessibles en direct.
Les acquisitions volumiques
Ultrasons Lunn [LPL+ 05] propose d'utiliser les ultrasons en tant que données éparses
pour venir contraindre la déformation d'un modèle biomécanique. Dans [PRCA05], le recalage
entre les acquisitions ultrasons et l'IRM préopératoire est directement calculé. Dans [PCA03]
et [LWVN05] les acquisitions échographiques sont recalées entre elles. Un exemple d'acquisition
échographique, après ouverture de la dure-mère et superposée à l'IRM préopératoire, est montré
dans la gure 4.12. Cette superposition est eectuée dans le repère patient : la sonde à ultrasons
Fig. 4.12 Acquisition ultrasonore pour 2 patients, à gauche : acquisition ultrasonore après
ouverture de la dure-mère avec les contours de la tumeur segmentés ; a droite : IRM préopéra-
toire avec les contours de la tumeur segmentés dans cette imagerie et les contours de la tumeur
segmentés dans l'acquisition ultrasonore peropératoire. Illustration tirée de [LWVN05].
est suivie et sa position dans le repère patient est connue. La transformation géométrique entre
le système de coordonnées de l'imagerie préopératoire et le repère patient est connue grâce
au recalage de début d'intervention avec neuronavigation. Les deux images peuvent donc être
superposées dans le même repère. Dans [RDD+ 04], les veines sont segmentées dans l'examen
préopératoire IRM 3D mais également dans les acquisitions peropératoires échographiques. Le
calcul de la déformation repose alors sur le recalage non rigide des deux arbres vasculaires et
sur l'interpolation des déformations entre deux veines.
Limitations Les auteurs utilisent des acquisitions échographiques peropératoires 2D. Ces acqui-
sitions sont ensuite reconstruites en 3D avec une source d'erreur potentielle.
L'échographie ne peut être faite que sur tissus mous, pas sur l'os 2 . Il faut que les structures
soient diérentiables pour être segmentées, ce qui n'est pas le cas de toutes les lésions.
IRM peropératoire anatomique La résolution de ces IRM bas champs rend l'inter-
prétation dicile. Certaines équipes préfèrent utiliser cette modalité d'imagerie peropératoire
comme une mesure peropératoire pour remettre à jour le modèle du patient. Dans [NBG+ 01,
WHT+ 05, HRSN+ 00], l'IRM préopératoire est recalée de manière non rigide sur les IRMi. Dans
[FNM+ 02, CDT+ 05], le recalage de l'IRM peropératoire sur l'IRMi est contraint par un modèle
biomécanique. Dans [WHT+ 05], pour recaler des structures telles que les ventricules entre eux,
chaque partie visuellement diérente est segmentée.
2 sauf chez le nourrisson et le nouveau-né pour qui les os ne sont pas encore soudés et permettent d'acquérir
des images échographiques sans craniotomie par l'interstice entre les os.
Limitations L'utilisation de l'IRMi en tant que modalité de mesure des déformations nous
semble plus pertinente que de l'utiliser comme unique modalité de chirurgie. Cependant, il y a
encore quelques limites à cette utilisation, soulignées par Nabavi [NBG+ 01]. Les IRMi doivent
permettre un accès totalement libre au patient pendant la procédure. Ils ne doivent pas né-
cessiter de devoir bouger le patient, ou les aimants pour réaliser une acquisition. Le temps
d'acquisition devrait être réduit avec cependant une qualité d'image supérieure.
CT et uoroscopie Cette imagerie, bien qu'utilisée en peropératoire pour d'autres chi-

rurgies (voir section 1.2.3), n'a pas vraiment été utilisée pour la quantication des déforma-
tions cérébrales. Citons tout de même son utilisation dans [LPR+ 03]. Elle a été utilisée comme
contrainte sur la position cible de certaines structures pour un modèle biomécanique, avec des
acquisitions au moment de l'utilisation d'outils chirurgicaux, tels que les réacteurs, mais sur du
porc (gure 4.13). On pourrait cependant imaginer d'appliquer l'angiographie 3D peropératoire
Fig. 4.13 Utilisation du CT scanner sur le porc. A gauche, superposition de quatre CT acquis
à diérents moments de la rétraction, les chires 3,15 et 9 montrent des marqueurs dont le
déplacement est apparent sur cette superposition. A droite, imagerie préopératoire du porc
superposée avec une coupe peropératoire pour positionner la spatule de rétraction. Illustration
tirée de [LPL+ 05].
(Scanner CT avec injection) ou 2D à la neurochirurgie, car elle a déjà été utilisée en chirurgie
cardiaque par exemple [TLG+ 05]. Dans cette étude, l'angiographie préopératoire 3D est recalée
sur des coupes 2D de rayons X avec injection. La diculté dans ce type d'approche, basée veine,
est la reconstruction de l'arbre vasculaire, c'est-à-dire la segmentation des veines.
Limitations La principale limitation est la radiation que subissent le personnel de la salle d'opé-
ration et le patient à chaque acquisition. Deux autres limitations, pour en faire une modalité
peropératoire de correction, sont le peu de contraste entre la matière blanche et matière grise
et la réaction en signal des outils. Concernant l'angiographie, l'injection de produit présente un
caractère invasif limitant.
Support d'application des déformations

Les déformations peuvent être calculées en surface uniquement, sur tout le volume patient,
ou uniquement sur les zones d'intérêt, par exemple le cône d'intérêt chirurgical. Les auteurs
qui proposent des approches de correction des déformations anatomiques cérébrales cherchent
à corriger tout le volume préopératoire. Il serait intéressant pour des raisons de temps de calcul
de limiter l'approche aux zones d'intérêt.
4.2.4 La validation des déformations détectées et corrigées

Chacun de ses blocs outils apporte une erreur au système global. La propagation des erreurs
dans l'enchaînement des blocs n'est pas facile à estimer. Dans la littérature, c'est plutôt l'ap-
proche globale qui est validée.
L'idéal est d'utiliser comme vérité terrain une IRM haute résolution préopératoire et postopé-
ratoire. Cependant, comme nous l'avons souligné dans le chapitre 2, section 2.7, l'IRM peut
présenter des erreurs de résolution spatiale. Aujourd'hui la quantication la plus précise semble
celle obtenue par IRMi et recalage non rigide manuel de structures segmentées manuellement,
c'est donc souvent la vérité terrain utilisée, si elle est disponible. Dans [MSC05], la validation
est faite uniquement sur la prédiction en surface par comparaison avec des reconstructions sté-
réoscopiques de la surface corticale. Dans [FNM+ 02], la validation du modèle est faite par la
comparaison de la position de marqueurs, visuellement identiée dans l'image préopératoire
et dans l'IRMi. La validation sur cadavre ou animaux est rare (par exemple sur le cochon
[LPR+ 03]) parce que les conditions biomécaniques ne seront pas strictement les mêmes. Il est
alors plus facile d'utiliser un fantôme pour obtenir le même résultat. On appelle fantôme un
dispositif censé reproduire le comportement du patient. Le problème avec le fantôme est de
pouvoir simuler les déformations peropératoires. Dans [KBP+ 00], le fantôme est en gélatine,
avec des structures à suivre réalisées dans un mélange de silice et de gélatine, dans une boite en
plexiglas pouvant changer de volume en serrant des vis (voir la gure 4.14). Le PVA (Poly-Vinyl
Alcool) est un composant de plus en plus utilisé pour la réalisation de fantôme défomable, mais
la diculté réside dans le dosage de PVA et le nombre de cycle de congélation pour obtenir
une consistance proche de celle du cerveau humain vivant. Le réalisme de ce type de fantôme a
été démontré, notamment au niveau de sa consistance et du signal en IRM [RC06]. Dans cette
étude, le gonement d'un ballon permet de créer des déformations reproductibles. On cherche
alors, soit à mesurer le volume de déformation provoqué et à le comparer à celui mesuré, soit
à vérier que la position corrigée correspond bien à celle obtenue par un IRM ou CT post-
opératoire du fantôme. La diculté d'obtenir une vérité terrain dans le cas des déformations
Fig. 4.14 Exemple de fantôme déformable : photo et schéma du même fantôme de gélatine.
Ce fantôme utilisé pour évaluer la précision d'un algorithme de recalage volumique par mise à
jour d'information a priori par mesure d'ultrasons [KBP+ 00].
cérébrales peut pousser à utiliser des méthodes de validation sans vérité terrain, en vériant la
robustesse du recalage, par exemple. Les niveaux supérieurs de validation, le niveau du devenir
clinique du patient, le niveau économique et social, et le niveau éthique doivent également être
pris en compte.
4.2.5 La visualisation
Ce bloc fait partie d'un système de correction/détection/quantication des déformations
cérébrales au même titre que la validation. La manière la plus immédiate de donner l'information
de déformation détectée est de superposer l'acquisition avant déformation avec l'acquisition
après déformation. C'est une solution souvent utilisée [NKG+ 01]. Lorsque la déformation a été
quantiée, une indication numérique d'amplitude de la déformation moyenne avec un écart type
est souvent employée. Une autre possibilité est de dénir des cartes de couleur correspondant
à la quantication. La correction est souvent invisible pour le chirurgien, puisque l'imagerie
préopératoire est remise à jour. Il pourrait être intéressant de simplement remettre le modèle
du patient à jour, soit uniquement les surfaces 3D des zones d'intérêt de la scène multimodale. A
notre connaissance, ce type d'approche n'a pas été utilisé. Il est cependant d'intérêt d'informer
visuellement le chirurgien de la mise à jour des volumes, par une couleur ou par la représentation
sous forme de vecteur du déplacement global ou du déplacement point à point. La plupart
des articles qui présentent des méthodes de quantication ou de correction des déformations
cérébrales peropératoires, ne prennent pas en compte cet aspect.
4.3 Discussion
Nous avons souligné l'aspect fortement spatio-temporel des déformations anatomiques céré-
brales. Plusieurs acquisitions pendant l'opération semblent alors nécessaires. Toutes les acquisi-
tions volumiques demandent aujourd'hui un temps d'acquisition qui entraîne une interruption
momentanée de la chirurgie. Il serait donc intéressant de pouvoir limiter les acquisitions aux
moments où elles sont vraiment nécessaires, c'est-à-dire quand une déformation a été détectée
en surface par exemple. C'est ce que fait de manière implicite le neurochirurgien et que nous
voudrions rendre explicite. On considère souvent l'IRMi comme le Gold standard pour quanti-
er les déformations peropératoires. Cependant, en usage clinique, l'interprétation de l'image
et un acte dicile pour le chirurgien. Dans l'état actuel de la littérature, aucune solution temps
réel de correction parfaite de la position des volumes préopératoires n'a été présentée. Les dé-
formations cérébrales sont un phénomène complexe, non rigide en surface. Cependant l'intérêt
de la correction est discutable, et ne mérite peut-être pas des solutions très coûteuses, comme
l'IRMi. L'approche la plus adaptée est une approche multimodale. Les approches tendent vers
moins d'images peropératoires et plus d'information a priori pour l'ecacité que ces méthodes
ont déjà montrée [SRF+ 05, MSC+ 03] et pour leur respect du ux de travail chirurgical. L'IRM
peropératoire est également une solution d'avenir, mais à plus long terme, car si la résolution
de tels systèmes d'imagerie tends à s'améliorer, leur coût reste cependant rédhibitoire par rap-
port à leur intérêt. L'utilisation des acquisitions de surfaces pendant la procédure semble une
approche intéressante. Nous souhaitons donc utiliser les surfaces 3D reconstruites par stéréosco-
pie, pour la virtualité augmentée, an de détecter et de quantier les déformations au cours de
l'intervention. Les surfaces 3D du champ opératoire sont toujours reconstruites dans le repère
patient, et nous n'avons donc pas à les recaler. Nous cherchons à mesurer des déformations, et
pas à recaler une surface reconstruite sur une autre. Cependant, la méthode classique de calcul
de distance de surface, basée sur la correspondance des points les plus proches, ne s'applique
pas ici. Les déformations en surface sont non rigides. Le déplacement ne se fait pas seulement
perpendiculairement au volet de la craniotomie, mais aussi parallèlement. par conséquent, la
Discussion 131
surface apparente peut ne pas être la même que celle acquise précédemment. Nous avons donc
cherché une méthode pour mettre en correspondance deux surfaces à deux instants diérents
de l'intervention, en prenant en compte le maximum d'information provenant des images du
microscope chirurgical. Notre approche est présentée dans le chapitre suivant.
Chapitre 5
Méthode de recalage de surface

adaptée
Nous cherchons à quantier les déformations cérébrales anatomiques en surface, grâce aux
acquisitions stéréoscopiques de surface présentées dans le chapitre 3. On propose une méthode
sans contact (donc sans déformation due à l'acquisition), non ionisante et donc sans aucun
danger pour le patient, sans interruption de la chirurgie ni déplacement de matériel. Les images
préopératoires sont recalées dans le repère patient à l'aide de la station de neuronavigation. Les
reconstructions stéréoscopiques sont directement acquises dans le repère patient. La surface de
la peau doit être directement superposée à celle de la peau segmentée dans les images préopé-
ratoires. La reconstruction stéréoscopique de la dure-mère doit également être superposée à la
surface de la dure-mère segmentée dans l'examen préopératoire si on néglige les déformations
avant ouverture de la dure-mère. Chercher à corriger le recalage des images préopératoires sur
chaque nouvelle acquisition stéréoscopique nous confronte à un problème d'ouverture important.
Nous cherchons donc plutôt à quantier la déformation entre deux reconstructions stéréosco-
piques à partir de la dure-mère pour obtenir un champ de déformation de surface directement
transposable à la surface du volume préopératoire.
Notre méthode contraint un recalage de surface non rigide par l'appariement d'amers suivis
dans la vidéo liant temporellement deux reconstructions stéréoscopiques. Dans la section 5.1,
nous nous intéressons aux méthodes de recalage de surface non rigide, même si dans notre cas
nous cherchons une correspondance, point à point, entre les deux surfaces stéréoscopiques, ac-
quises à deux moments diérents de l'intervention. La section 5.2 présente le principe des ltres
de suivi vidéo et la section 5.3 leur utilisation pour le suivi de déformation en chirurgie. Dans la
section 5.4, nous présentons notre étude préliminaire de l'utilisation de la vidéo sur le ux vidéo
provenant de l'oculaire droit du microscope. La méthode proposée est présentée dans la section
5.5. La présentation de la méthode d'évaluation de performance, sur fantôme et en clinique, et
les résultats obtenus sont présentés dans les sections 5.6 et 5.7. Notre méthode permet d'obtenir
un champ de déformation en surface et la question de l'extrapolation de cette déformation aux
structures d'intérêt avoisinantes se pose naturellement, pour corriger le modèle patient et le
modèle de la chirurgie pour la virtualité augmentée et la réalité augmentée. C'est l'objet de la
section 5.8.
133
134 Méthode de recalage de surface adaptée
5.1 Le recalage de surface

On ne traitera pas ici du recalage d'image médicale non rigide. Le lecteur intéressé pourra se
référer aux revues [JGG01] pour la fusion de données médicales en général,[MV98] pour un état
de l'art des méthodes de recalage d'images médicales. Une excellente revue des méthodes de
recalage de surfaces issues d'image médicale a été proposée dans [AFP00], avec cependant une
approche très générale, incluant surfaces fermées. Nous allons ici nous focaliser sur le recalage
non rigide de surface ouverte, en insistant sur la signication au sens de contraintes des diérents
éléments composant une méthode de recalage. Nous avons choisi la classication suivante :
1. le choix de la transformation géométrique ;
2. les primitives à mettre en correspondance ;
3. par l'optimisation d'un critère de similarité, qui correspondent aux hypothèses fortes
posées sur les surfaces ;
4. les méthodes de recherche de mises en correspondance, locales ou globales, décrites dans la
section 5.1.2, permettent également de traduire certaines contraintes mais aussi d'accélérer
la recherche.
Le tableau 5.1 présente un panel de solutions possibles.
5.1.1 Hypothèses sur les données

Comme souligné dans [VdEPV93], le choix du modèle de la transformation géométrique
traduit une hypothèse déterminante pour le recalage.
Représentation de la transformation géométrique

On diérencie principalement deux choix. Si on suppose que les deux surfaces à recaler sont
rigides et ont rigidement été déplacées, alors une transformation linéaire sut. Par contre, si la
surface n'est pas rigide, il faut alors lui donner des degrés de liberté de déformations, traduits
par le choix de la transformation non linéaire.
Transformations linéaires Les transformations linéaires consistent à calculer une rotation

et une translation, auquel on peut rajouter un changement d'échelle (transformation ane).
Cependant, dans notre application, nous ne sommes pas soumis aux problèmes de changement
d'échelle. Une représentation couramment utilisée pour les rotations sont les angles d'Euler.
Cependant, si deux axes se confondent, un degré de liberté est perdu et il peut devenir impossible
d'atteindre une position. De plus, les angles d'Euler présentent une limite due à l'ordre dans
lequel sont réalisées les rotations : la matrice nale dépend de l'ordre des 3 rotations. Les
quaternions n'ont pas cette limite : la rotation s'eectue autour d'un axe arbitraire avec un
angle quelconque. Les quaternions sont donc couramment utilisés pour le recalage de surfaces
rigides [FA96].
Transformations non linéaires Ces transformations élastiques ou déformations peuvent

être globales, avec une seule fonction décrivant la déformation pour l'ensemble de la surface, ou
locales, en découpant la surface en blocs. Les transformations globales permettent de déformer
une surface tout en contraignant la déformation à une déformation continue. Les transformations
locales orent plus de liberté de déformation, mais nécessitent un apport de continuité soit par
lissage, soit par une mise en correspondance robuste. Dans le cas de déformations locales, des
champs de vecteurs de déformations, associés à un maillage d'un volume ou d'une surface,
peuvent être utilisés. Ce sont les supports de déformation qui orent le plus de degré de liberté,
Références Représentation de la Primitives (ou infor- Critère de similarité Mise en correspon- Stratégie de re- Mise en correspon- Type de surface
transformation mations homologues) dance locale cherche locale dance globale concernée
[MSC+ 03, Support local : fonc- Intensité des points NMI(x, y) = Calcul de trajectoire en 2D MI rigide A partir de la mise Nuage de points tex-
MSC05] tion de base radiale H(x)−H(y) 3D à partir de la suivie de MI de base en correspondance turés
SurfaceMI H(x,y) mise en correspon- radiale à support 2D, on a directe-
dance 2D. locale. Optimisation ment les vecteurs
de MI par méthode d'appariement 3D.
itérative Powell.
[FA96] Localement Ane : Points V = α(VA − VB )2 Rigide (R,T) pour Calcul d'une trans-
translation, rotation (x, y, z, nx , tous les points formation ane en
Le recalage de surface
sans contrainte d'or- ny , nz , κ1 , κ2 ) un point en calculant

thogonalité dans la la moyenne pondé-
matrice rée des transforma-
tions rigides de son
voisinage.
[ASP99] Rigide + fonctions Tous les points Point le plus proche ICP Carte de distance Étape rigide : uti-
polynomiales par ayant construit les pour le calcul rigide lise les appariements
morceau : Splines courbes du "laser et non rigide. pour appliquer SVD.
récursives lissantes range scanning" 256 Étape non rigide :
points par courbes, utilise les ltres ré-
256 courbes, re- cursifs 2D par convo-
présentés par leurs lution
coordonnées sur la
courbe.
[BM93] Quaternions(6 ddl) Tous les points de la d(xB , Rk xA,min + ICP Réitération jusqu'à Subpatch vers un
surface tk ) = stabilisation plus grand patch
min(d(xB , Rk xA +
tk )
[VG05] Diéomorphisme par Toute la surface re- JS c ,S c (φ) = Pour chaque facette Steepest descent Nappes représentées
(Surface facettes présentée comme des A B de la surface algorithm avec gra- par des triangles. Re-
matching "currents", i.e. dis- dv (Id , φ)2 + dient calculé du cherche de la plus pe-
via cur- tribution généralisée 1 |φS − S |2 critère de similarité. tite déformation
σ2 A B
rents) de Derham R
[ME04] Rigide ; Vecteur Unscented Particle Surfaces bruitées,
d'état ; rotation et Filter Rigides
translation
[CR00] Recherche de la mise Plus robuste que
en correspondance l'ICP à l'initialisa-
et des paramètres de tion
transformation en
UNE seule minimisa-
tion.
[PCS+ 89] Toute la surface, Min distance point à "Hat and Head" :sur-
points éparses points suivant la di- faces concaves : sur-
(x,y,z) rection d'un point au face externe (hat),
centroïde de la sur- basse résol, Surface
face Head : haute résolu-
tion
[SL96] B-Spline 1er ordre d(xB , Rk xA,min + ICP Carte de distance Approximation, Pénalise les grands
tk ) = contrainte d'ordre 0 déplacements,
min(d(xB , Rk xA + et 1 meilleure attache
tk ) avec poids pour aux données
tenir compte du
bruit de mesure
Tab. 5.1 Quelques méthodes de recalage de surfaces.

135
puisqu'il n'y a aucune contrainte. On peut par exemple imposer des contraintes de continuité
sur ce champ. En recalage de surface, on cherche cependant à conserver la topologie. Si aucune
contrainte n'est imposée sur le champ de déformation, il faut que la mise en correspondance
soit susamment robuste pour que le champ de déformation soit un homéomorphisme1 . Les
Splines( par exemple les Thin-Plate-Splines ou B-Splines), qui sont des fonctions polynomiales
par morceau incluant dans leur dénition même la contrainte de continuité, peuvent avoir un
support global (Thin-Plate-Splines) ou local (B-Splines). Si ce style de déformation présente
l'avantage d'avoir peu de degré de liberté (i.e., de paramètres à évaluer), ces déformations ne
sont généralement pas inversibles.
Les transformations permettent seulement d'obtenir une estimation du déplacement des
points non utilisés pour l'approximation par l'une de ces fonctions. L'étude récente de [Roh06]
qui montre que les champs de Jacobien (mesure de déplacement), obtenu avec diérentes trans-
formations globales qui semblent correctement recaler deux volumes, sont complètement dié-
rents d'une transformation à l'autre.
Une hypothèse forte va alors reposer sur le choix des primitives à mettre en correspondance,
et sur la fonction de coût associée qui traduira également une hypothèse forte sur les surfaces à
mettre en correspondance. Nous soulignerons les hypothèses associes aux primitives et fonctions
de coût.
Les primitives et les contraintes induites par le critère de similarité

Les primitives sont les éléments extraits de la surface et utilisés pour la mise en corres-
pondance. Le critère de similarité est une mesure de ressemblance entre deux primitives. On
distingue plusieurs approches dans la littérature :
- Formes caractéristiques (points épars, contours ou surfaces anatomiquement si-

gnicatifs) Cette catégorie de primitives est particulièrement adaptée aux transformations
de grandes amplitudes. Les données peuvent être des points dits caractéristiques, par exemple
des points saillants, ou n'importe quel autre point présentant des caractéristiques de courbure
uniques et invariantes. On peut également considérer des courbes, correspondant à des limites
de zones, régions ou structures anatomiques. Les régions aussi peuvent être utilisées comme
primitives, elles sont dénies par leur uniformité de géométrie ou de texture.
Le critère de similarité entre des formes caractéristiques repose sur l'hypothèse de conser-
vation de ces caractéristiques entre la surface A et la surface B. Il est donc plus généralement
utilisé en recalage rigide. Le problème de mise en correspondance nécessite une étape de détec-
tion des formes caractéristiques dans les deux surfaces, ou segmentation.
- Points Cette catégorie de primitives est associée dans la littérature aux surfaces gauches,
ou free-form surfaces.
Si la similarité la plus souvent utilisée est la distance euclidienne entre les points, plusieurs
auteurs transforment les points à apparier en vecteur. Feldmar et Ayache [FA96] recherchent
pour un point de la surface source, les points de la surface cible ayant des courbures proches.
Pour chacun de ces points, un déplacement rigide est calculé par superposition des repères prin-
cipaux. L'algorithme est réitéré jusqu'à ce que la distance entre la surface source transformée
et la surface cible soit inférieure à un seuil.
1 Une déformation qui conserve la topologie est appelée homéomorphisme.
Le recalage de surface 137
Cet algorithme est modié pour le calcul d'une transformation ane. Le critère de courbure ne
sut plus et un vecteur contenant des informations diérentielles est calculé (les deux courbures
principales et les trois normales). Le critère de similarité est alors le moindre carré de la dié-
rence de ces vecteurs, pondéré d'un coecient augmentant proportionnellement à la courbure.
Cette transformation globale est complétée par des transformations anes locales, en recher-
chant les distances minimales entre les points appariés dans des sphères de recherche dénies
par leur rayon. Les résultats sont bons pour des recalages de surfaces qui se ressemblent par
leurs courbures comme deux visages ou deux crânes.
Dans le cas des déformations cérébrales de la surface corticale, l'utilisation d'informations
comme la normale ou la courbure principale peut être discutée. En eet, la déformation oc-
casionnée par l'ouverture de l'arachnoïde est telle que, d'une surface concave, on peut passer à
une surface convexe. Une information plus pertinente serait l'utilisation de la luminance, voire
même de la couleur, les vaisseaux sanguins étant plus sombres que le reste du cortex.
Les méthodes de mise en correspondance iconiques utilisent le critère associé de l'intensité, lors-
qu'une intensité est disponible pour chaque point. Il existe une multitude de critères iconiques :
les méthodes diérentielles : Elles reposent sur l'hypothèse de conservation de l'intensité
du point qui se déplace. Un exemple connu est la méthode de Horn et Schunck [HS81] qui
introduit, en plus du terme de conservation d'intensité, une contrainte de lissage. Cette
contrainte de lissage est la minimisation de l'énergie du vecteur vitesse.
les méthodes de corrélation : Elles autorisent des déplacements de grande amplitude, mais
ont besoin d'un maximum bien déni [PCA00].
les méthodes basées sur l'énergie : elles n'autorisent que des mouvements de faible ampli-
tude.
les méthodes utilisant des modèles paramétrés : elles recherchent la meilleure adaptation
des paramètres d'un modèle déni a priori.
- Modèle de surfaces déformable L'utilisation d'un modèle déformable pour représenter

la surface repose sur des descriptions physiques de la surface et sur des lois d'évolution à
décrire. Ces lois d'évolution prennent en compte des forces internes et des forces externes. Les
forces internes peuvent être, par exemple, la force d'inertie ou la pression interne. Les forces
externes sont décrites par les images peropératoires. Cohen [CC93] propose une théorie de
modèle déformable dite modèle des ballons. L'équation d'équilibre du modèle est résolue par la
méthode des éléments nis. L'expression de l'équilibre prend en compte une force d'ination,
semblable au gonement d'un ballon, ou de déation (force opposée). Les contours sont attirants.
Pour ne pas arrêter la progression du modèle par des points aberrants, les forces sont pondérées
par le gradient d'intensité. Dans [RMH+ 99], le modèle utilisé est très sophistiqué grâce aux
recherches de Miga [MRK+ 01, MFGP01] sur les paramètres intrinsèques des tissus du cerveau.
D'autres travaux cherchent à modéliser l'interaction outils/cerveau durant une intervention
[HBP+ 04]. Une équation diérentielle à 3 dimensions traduit le modèle : le cerveau est considéré
comme une éponge remplie d'eau. La méthode des éléments nis permet la résolution de cette
équation en tenant compte de l'hétérogénéité et de la complexité du cerveau et des images
acquises avant l'opération par IRM. Les données peropératoires IRM sont ensuite ajoutées au
modèle de la surface comme conditions aux limites pour la résolution.
Une paramétrisation de la surface apporte une fonctionnalité d'interpolation des données, qui
peut être utile en cas de sous-échantillonnage d'une des deux surfaces.
Fonction de coût
La fonction de coût est généralement composée d'un terme d'attache aux données et d'un
terme de régularisation. Le terme d'attache aux données consiste à minimiser la mesure de
dissimilarité sur l'ensemble des primitives. Le terme de régularisation permet de trouver la

déformation la moins coûteuse en énergie. Certaines mesures de similarité utilisent à la fois des
informations géométriques et des informations d'intensité [FDMA97, JK99].
5.1.2 Mise en correspondance locale et globale

On diérencie les approches locales, qui optimise la fonction de coût par primitive, de celles
qui cherchent à minimiser la fonction de coût pour l'ensemble des primitives.
Stratégie de recherche
Certaines approches enchaînent successivement l'approximation de la déformation sous forme
d'une transformation et celle de la mise en correspondance. Certaines approches considère le
calcul de la transformation comme un problème de prise en compte de mesures bruitées. Les
mesures sont les appariements. Elles sont considérées bruitées parce qu'il peut y avoir des ap-
pariements aberrants. Ces approches utilisent alors des ltrages de type bayésiens, linéaires
(Kalman) ou non linéaires (ltres particulaires) [ME04]. D'autres approches abordent le pro-
blème par la multi résolution [HB03]. L'espace est séparé en régions dont la taille diminue avec
l'augmentation de la résolution. Diérentes stratégies de traitement d'une résolution à l'autre
existent. La plupart des approches suivantes sont utilisées en recalage d'image 2D, mais sont
directement transposables à du recalage de surface.
Dans [NAPM05, PBBM04, RAD03], à chaque changement de résolution, seules les régions dont
le recalage est considéré mauvais sont traitées. Plusieurs façons de dénir le mauvais recalage
sont utilisées. Dans [RAD03, NAPM05], le gradient de la fonction de coût, selon les coecients
de la transformation, est calculé. Les régions à fort gradient, i.e., supérieur à un seuil, sont
alors traitées à une meilleure résolution. La solution la plus courante est d'utiliser des méthodes
d'optimisation d'ordre 1, calculant le gradient de la fonction de coût (table 5.2).
Tab. 5.2 Classement de méthodes de minimisation de fonctions non linéaires sans contraintes.
Nom Dimension Complexité 1-D sous- Calcul des

minimisation dérivées
Bracket + 1-D NON
Brent
Golden Sec- 1-D NON
tion Search
Variant of 1-D OUI
Brent
Downhill n-D n2 NON NON
Simplex
Method
Powell n-D n2 OUI NON
Gradient n-D n OUI OUI
Conjugué
Quasi- n-D n2 OUI OUI
Newton(BFGS)
Le recalage de surface 139
(a) (b)
Fig. 5.1 Recouvrement partiel des surfaces et disparition de matière. (a) photo avant exérèse,
(b) photo après exérèse d'un cavernome. L'observation des vaisseaux et veines montre clairement
l'apparition d'une partie de la surface qui n'était pas visible en bas et la disparition de surface
autour de la cavité d'exérèse et au dessus.
Données partielles à recouvrement partiel ou disparition de matière

Dans les cas où chaque point d'une surface ne trouve pas son correspondant dans l'autre
surface, comme par exemple sur la gure 5.1, une méthode couramment employée est de laisser
de coté les points considérés aberrants en ne les prenant pas en compte dans le calcul de la
transformation ou dans celui de la fonction de coût.
Le problème est de savoir quels sont les points aberrants. Dans ce but, les primitives à
prendre en compte sont pondérées par une valeur pouvant s'apparenter à la conance dans ces
points. Il y a plusieurs méthodes pour mesurer cette conance, chacune s'apparentant à une
hypothèse diérente. Dans [PF06], le poids utilisé dans l'estimation de la transformation est
2
(x,y)/σ 2
e−r
e−r2 (x,y)/σ2 + e−c2
ou r2 (x, y) est l'erreur résiduelle entre le voisinage source transformé et son correspondant
cible. Dans [Hel00], les M-estimateurs sont utilisés. Les M-estimateurs sont des fonctions de
pondération croissante sur <+ . Ces approches consistent à limiter l'inuence des appariements
ou des points qui semblent être aberrants. Une autre solution est de retirer complètement du
calcul ces points, comme pour les moindres carrés tronqués, par exemple.
5.1.3 Utilisation d'amers pour le recalage

Certains auteurs ont proposé d'utiliser des amers anatomiques mis en correspondance pour
interpoler la déformation au reste des points [HB03][RDD+ 04]. L'avantage de cette méthode
est sa rapidité, puisque la mise en correspondance est réalisée de manière éparse. Cependant, le
problème de l'absence d'information sur les déformations subies par les points entre les amers
reste le même que pour les transformations globales.
5.1.4 Discussion
Il ressort de ce très bref parcours de la littérature du recalage de surface que les algorithmes
sont spéciques à l'application. Nous cherchons à utiliser les reconstructions stéréoscopiques,
pour détecter et quantier les déformations anatomiques, que nous avons présentées dans le
chapitre 4. On récupère des reconstructions stéréoscopiques brutes, plus précises que les re-
constructions stéréoscopiques lissées comme démontré dans le chapitre 3. La reconstruction
stéréoscopique ore des surfaces dénies par des points dans un repère millimétrique, avec un
échantillonnage au pixel. Par conséquent, même si un point de la surface source n'a pas son
correspondant physique exact dans la surface cible, la précision est telle que a priori il n'y aura
pas ou très peu de diérences de courbure ou de luminance entre le correspondant exact et le
point de la surface cible le plus proche, au sens du critère de similarité utilisé. On n'a pas besoin
d'interpoler la position de points. Ces arguments plaident en faveur de l'utilisation directe des
points disponibles. L'extraction de primitives, invariant d'une surface à l'autre, est complète-
ment liée au type de déformation que subit la surface source et aux informations disponibles.
Une intensité peut-être associée à un point de la surface, comme c'est le cas pour nos données.
Si les informations diérentielles2 sont couramment utilisées dans la littérature, ici leur exploi-
tation semble dicile car la déformation ne semble pas conserver ces informations. Une région
convexe peut devenir concave, par exemple. Nous proposons d'utiliser, comme primitives, les
points denses que nous fournit la reconstruction stéréoscopique. Ces reconstructions sont une
acquisition de la surface du cerveau limitée à la fenêtre dénie par la craniotomie. Si lors d'une
déformation le cerveau se déplace en translation perpendiculairement à la normale à la surface,
alors la surface apparente n'est plus la même que celle d'origine. De plus les surfaces recons-
truites présentent des points aberrants et des trous de reconstruction. La résection est également
un problème. La surface a disparue et la nouvelle surface au fond de la cavité de résection n'est
pas celle qui correspond à la surface avant résection. Un recalage au sens propre du terme ne
prendrait pas en compte ces nouveaux points et ils devraient être considérés comme des points
aberrants. Cependant dans un but de quantication de l'exérèse, on peut considérer que mesu-
rer la distance entre le fond de la cavité d'exérèse et l'ancienne surface donne une information
plus intéressante que de signaler la résection de matière.
Nous ne cherchons pas à calculer une déformation, mais plutôt un appariement des points entre
les surfaces, traduits par un champ de vecteur. La mise en correspondance doit donc être su-
samment robuste pour se passer du lissage d'une fonction de transformation.
Dans les solutions de détection des déformations cérébrales par acquisition de surface, la mé-
thode de recalage la plus couramment utilisée est l'algorithme ICP, qui se base sur l'hypothèse
que les points correspondant sont les points les plus proches au sens de la distance. Plusieurs
équipes [SRF+ 05], [DSD+ 03, SDD+ 05] se sont nalement intéressées à la texture associée à ces
surfaces. Dans [DSD+ 03, SDD+ 05], les images de texture sont recalées par information mu-
tuelle. Nous proposons d'utiliser non seulement la texture associée aux surfaces reconstruites,
mais également la vidéo continue entre ces reconstructions, pour rendre plus robuste l'appa-
riement. On propose donc un critère de similarité compromis entre une similarité iconique et
une régulation par la distance. Cependant, nous pouvons disposer de jusqu'à trois catégories
de données : les reconstructions stéréoscopiques brutes, une photo associée à cette reconstruc-
tion, et éventuellement un ux vidéo entre deux reconstructions. Les deux photos associées aux
reconstructions stéréoscopiques peuvent être très diérentes, et il semble intéressant de consi-
dérer aussi le ux vidéo qui permettrait de faire le lien entre les deux photos. Dans le cas d'une
opération, les reconstructions stéréoscopiques peuvent être faites à deux instants très diérents
de l'intervention, avec des changements de luminance ou de position du microscope. Utiliser la
texture pour faire la mise en correspondance peut être dicile car nos images peuvent présenter
plusieurs minima locaux de corrélation. Par ailleurs, utiliser la distance euclidienne seule entre
les deux surfaces n'est pas susant non plus, puisque nous avons vu que le point le plus proche
n'était pas obligatoirement le point correspondant. Nous disposons également de la vidéo du
champ opératoire. Pour pouvoir suivre des points en temps réel, il faut limiter leur nombre.
2 informations du premier ou du deuxième ordre comme la courbure ou la normale

Principe du Suivi vidéo 141
De plus, la vidéo du champ opératoire peut-être interrompue ou les points peuvent être per-
dus. nous ne pouvons pas nous baser uniquement sur le suivi vidéo. Cependant, chacune de
ces sources d'information apporte une information d'intérêt. La texture permet de prendre en
compte les déplacements en translation parallèle à la craniotomie. Elle n'est pas toujours pré-
sente, par exemple pour la dure-mère. La distance euclidienne est alors utile. La vidéo permet
de contraindre la mise en correspondance en fonction de quelques amers suivis en temps réel, ce
qui permet de prendre en compte l'historique des déformations dans la mise en correspondance.
On s'intéressera donc aussi au méthodes de suivi de primitives dans une vidéo dans la section
suivante.
5.2 Principe du Suivi vidéo

Nous souhaitons utiliser la vidéo provenant d'un des binoculaires du microscope pour faire
la mise en correspondance des deux surfaces. Nous avons donc cherché un moyen de suivre en
temps réels des points anatomiquement signicatifs dans le ux vidéo provenant du binoculaire.
Les nombreuses occlusions et spécularités auxquelles sont soumises les images nous ont conduit
à considérer des ltres utilisant des modèles de déplacement des points a priori ou estimés sur
l'image. Nous présentons, dans cette section, le principe de ces ltres, dits bayésiens, après avoir
présenté des ltres de suivi sans modèle d'évolution.
Filtrage sans modèle d'évolution

Le suivi vidéo sans modèle d'évolution repose sur l'hypothèse d'un petit déplacement entre
un pixel dans une image et dans l'image suivante, an de restreindre la recherche de sa nouvelle
position. Un ltre couramment utilisé pour son ecacité est le ltre KLT [TK91, ST94]. Le
suivi est basé sur la linéarisation de la fonction suivante par série de Taylor et en utilisant le
gradient d'intensité comme dérivée.
Z Z
[I1 (x + d) − I0 (x)]2 w(x)dx
w
Ce critère correspond aux moindres carrés (ssd), avec w(x) = 1 pour tout pixel x appartenant à
la fenêtre w. d est le mouvement de translation en x ou en y. I1 (x) et I0 (x) sont les luminances
des points à la position x dans les deux images successives. La recherche du minimum de cette
fonction sur l'image est réalisée par Newton-Raphson (Newton généralisé). Les points les plus
susceptibles d'être suivis, i.e., dont le voisinage contient de haut changement d'intensité [ST94],
sont extraits. " #
X δ22 I δ2
δ δxδy I
Z= δ2 δ2
.
w δxδy I δ2 y I
Si on considère Z comme une application linéaire, des grandes valeurs propres signient une
plus grande transformation. Une variante de KLT a été proposée par les auteurs [ST94] pour
prendre en compte une transformation ane, avec par conséquent une matrice Z de taille 6.
Cependant, ce choix de modèle ane entraîne un temps de calcul beaucoup plus long. On se
contente souvent d'un modèle de pure translation. En prenant une valeur susamment grande
pour la plus petite valeur propre, on s'assure une bonne conance dans la possibilité de retrouver
les points. Cependant, dans ce ltre les points perdus par occlusion sont extraits à nouveau,
mais rien ne garantit qu'il s'agit des mêmes points, ce qui rend ce ltre inutilisable dans notre
cas.
Filtrage avec modèle d'évolution

Principe commun L'hypothèse sur laquelle se base le paradigme des ltres bayésiens est
que l'on puisse avoir ces modèles sous forme probabiliste. On dénit l'estimation optimale de
l'état à partir de la fonction de probabilité dénie (pdf : densité de probabilité a posteriori de
l'état). Cet estimateur optimal peut, par exemple, être la moyenne ou la médiane, ou encore le
mode (i.e., l'état qui a la plus forte probabilité). Les ltres bayésiens reposent sur le théorème
de Bayes, qui explique comment mettre à jour la connaissance de l'état cible à la lumière
d'information supplémentaire apportée par de nouvelles données. On doit poser deux modèles
d'évolution :
(1) l'équation d'évolution (ou modèle d'évolution), qui est la loi de transition de l'état pour
deux pas de temps successifs : xt+1 = f (xt , wt ) où xt est le vecteur d'état à t et wt un
bruit.
(2) l'équation d'observation (ou modèle de mesure), qui est la loi de vraisemblance de la
mesure : yt = h(xt , vt ) où yt est l'observation en fonction de l'état et vt le bruit associé.
Ce type d'approches présente globalement deux étapes : l'étape de prédiction et l'étape de mise
à jour-correction. L'aspect bayésien, du problème de suivi, est le calcul d'un degré de conance
de l'état Xt étant donnée les mesures y1:t . Si on connaît p(xt−1 |y1:t−1 ), la densité a posteriori
de l'état estimé à l'étape t − 1, alors la prédiction à l'étape t consiste à calculer p(xt |y1:t−1 ), qui
est la densité a priori de l'état à t en fonction des mesures obtenues jusqu'à t − 1. Ce calcul
utilise la formalisation de Chapman-Kolmogorov :
Z
p(xt |y1:t−1 ) = p(xt |xt−1 )p(xt−1 |y1:t−1 )dxt−1
où p(xt |xt−1 ) est décrit par (1). L'étape de mise à jour consiste à prendre en compte la nouvelle
mesure yt , en utilisant le théorème de Bayes :
p(yt |xt )p(xt |y1:t−1 )
p(xt |y1:t ) =
p(yt |y1:t−1 )
R
où p(yt |xt ) est décrit par (2) et p(yt |y1:t−1 ) = p(yt |xt )p(xt |y1:t−1 )dxt . Cette solution est la
solution dite optimale, parce qu'elle ne fait pas d'approximation. Cependant, les calculs d'inté-
grales précédents ne sont en général pas possibles. Il faut donc en trouver une approximation.
Les solutions possibles sont l'approximation gaussienne du résultat qui sont les ltres de Kalman
et Kalman étendu décrits en section 5.2). L'approximation est exacte sous certaines conditions.
Si ces conditions ne sont pas respectées, d'autres approximations du calcul de l'intégrale peuvent
être utilisées. Certaines reposent sur la discrétisation de l'espace des solutions et utilisent l'inté-
gration numérique, par exemple les méthodes basées grilles. D'autres méthodes sont basées sur
des simulations de Monte Carlo, qui correspondent aux ltres particulaires décrits en section
5.2).
Les ltres optimaux Ces ltres calculent ou font une approximation exacte par morceau de
la solution optimale bayésienne. Le ltre de Kalman est la solution optimale si les hypothèses
suivantes sont respectées. Cela signie que dans ces conditions, le calcul est exact. Les autres
ltres ne peuvent au mieux que l'égaler. Les hypothèses sur les équations d'évolution et de
mesure sont les suivantes. Les bruits sont gaussiens. Les équations sont linéaires.
xk = Fk ∗ xk−1 + vk−1
yk = Hk xk + nk
Principe du Suivi vidéo 143
avec vk et nk bruits blancs de covariance Qk et Rk respectivement. On a alors :
p(xk−1 |y1:k−1 ) = N (mk−1|k−1 , Pk−1|k−1 )
p(xk |y1:k−1 ) = N (mk|k−1 , Pk|k−1 )
p(xk |y1:k ) = N (mk|k , Pk|k )
avec
mk|k−1 = Fk mk−1|k−1
Pk|k−1 = Qk−1 + Fk Pk−1|k−1 FkT
mk|k = mk|k−1 + Kk (yk − Hk mk|k−1 )
où yk − Hk mk|k−1 est appelé terme d'innovation et Kk gain de Kalman, calculé selon l'expres-
sion suivante : Kk = Pk|k−1 HkT Sk− 1 et Sk = Hk Pk|k−1 KkT + Rk est la covariance du terme
d'innovation.
Pk|k = Pk|k−1 − Kk Hk Pk|k−1
Les ltres sous-optimaux On se place dans des conditions non optimales lorsque les équa-
tions (1) et (2) ne sont pas linéaires. Le ltre de Kalman étendu consiste à faire l'approximation,
par une fonction linéaire par morceau, de la fonction non linéaire, en utilisant un développement
de Taylor du premier ordre ou d'ordre supérieur. Un ltre de Kalman classique est alors ap-
pliqué. Ce ltre est couramment utilisé dans les problèmes non-linéaires. La linéarisation et les
hypothèses d'approximation gaussienne du bruit ne sont pas toujours valables dans les cas réels.
De plus, un ensemble de points choisis de façon déterministe sur p(xk |y1:k ) peut être propagé
sur la vraie fonction non linéaire pour améliorer le ltre de Kalman étendu. Cela suppose encore
une hypothèse gaussienne sur p(xk |y1:k ). L'hypothèse gaussienne sur les densités de probabilité
signie notamment qu'il y a une solution prépondérante. Cependant, en suivi vidéo, si la mesure
est très bruitée, on a souvent des densités de probabilité multimodales. Les ltres particulaires
ont alors été introduits [DdFG01]. Le principe est de faire une approximation, par une somme
de particules, des intégrales précédemment décrites. Beaucoup d'algorithmes diérents existent.
L'échantillonnage direct de p(xk |Yk ) n'est souvent pas possible. On va donc échantillonner, par
tirage de Monte Carlo, une autre densité q(xk |Yk ) plus facile à échantillonner. La méthode
de Monte Carlo consiste à trouver une solution approximative à un problème numérique en
utilisant des procédés aléatoires.
p(xik |Yk )
wki =
q(xik |Yk )
p(yk |xik )p(xik |xik−1 )

wki = wk−1
i
q(xik |xik−1 , Yk )
En général on utilise q(xk |xk−1 , Yk ) = p(xk |xk−1 ) Les limites du ltre dans sa forme la plus
simple est la dégénérescence du ltre, ce qui signie que le nombre de particules diérentes
diminue au fur et à mesure des itérations. Concrètement, le nombre de particule reste le même
en cas de dégénérescence, mais elles s'agglutinent.
Deux exemples de ltres particulaires sont décrits en Annexe A.
Modèles et états Les ltres bayésiens peuvent être utilisés aussi bien pour estimer un état,
ce qui est l'utilisation la plus classique, mais aussi pour estimer le modèle, c'est à dire de
trouver les paramètres pour f et h [AMGC02]. Il est également possible de limiter l'estimation
du modèle à un choix automatique selon plusieurs modèles possibles [Pir05]. Soit M l'ensemble
des N modèles possibles, M = µj j=1..N , soit pj (k) la probabilité que le modèle µj soit correct
au temps k , alors
p(y0:k |µj )pj (k − 1)
pj (k) = PN
k=1 p(y0:k |µl )pl (k − 1)
On peut alors décider queP l'estimation de l'état x̂k sera une moyenne des états estimés par les
N
diérents modèles : x̂k = j=1 pj (k)x̂k|µj .
L'estimation non linéaire de l'état consiste à estimer l'état xt à partir de la connaissance de
f, h, yt . L'estimation non linéaire des paramètres consiste à estimer les paramètres d'une base
connue de f, h à partir de la connaissance de xk , yk . L'estimation duale non-linéaire a pour but
d'estimer les deux simultanément. Si on essaie d'estimer l'état, il faut dénir le vecteur d'état.
Il peut s'agir de la position d'un point, avec ou sans vitesse, de sa luminance, du ux optique
ou encore d'une forme (voir Annexe A).
5.3 Utilisation des approches bayésiennes pour le suivi de

déformations anatomiques
La vidéo endoscopique est une modalité souvent utilisée en bronchoscopie3 pour le diag-
nostic de cancers des poumons. L'algorithme de CONDensation de [IB98a] a été utilisé dans
[DCY05] pour un recalage 2D/3D d'images bronchoscopiques avec des données tomographiques
3D du patient. Le modèle de déplacement de la caméra endoscopique était auto-régressif et le
vecteur d'état correspondait à la pose de la caméra. Les paramètres de ce déplacement sont
appris sur des séquences d'entraînement avec des opérateurs diérents. Seule la moyenne est es-
timée comme une coordonnée supplémentaire du vecteur d'état. La mesure de la pose à chaque
état est obtenue par un recalage initial 2D-3D. En chirurgie laparoscopique du muscle épi car-
diaque, des approches un peu similaires de suivi des déformations ont été proposées. Le but
était de suivre les déformations dues aux battements cardiaques, résidus de l'utilisation de sta-
bilisateur mécanique. Les approches de ce domaine, qui pourraient également être utilisées en
neurochirurgie à crâne ouvert, sont la pose de duciaires articiels, le suivi de mouvement 2D
dans la vidéo [GOSH02], ou encore le suivi et la reconstruction de la surface à l'aide de tech-
nique stéréoscopique et d'endoscope stéréo [SMD+ 05, LRC+ 04]. La mise en correspondance des
2 images stéréoscopiques est beaucoup plus dure en laparoscopie (uniformité de texture, très
peu de d'écart entre les 2 caméras). Dans [SMD+ 05], le ltre utilisé n'utilise pas de modèle
d'évolution et n'est donc pas robuste aux occlusions. Dans [OGB+ 05], en endoscopie cardiaque,
le battement du coeur était suivi en utilisant l'observation du déplacement d'amers naturels
dans la vidéo. En utilisant la série temporelle observée, couplée avec l'électrocardiogramme et
la surveillance respiratoire, les auteurs étaient capables de prédire les mouvements du coeur.
La section suivante présente l'évaluation que nous avons réalisée de plusieurs de ces ltres
pour notre problème spécique.
3 La diérence entre broscopie et bronchoscopie est que le tube est souple dans le premier cas et rigide dans
le second.
Étude de ltres pour le suivi vidéo 145
5.4 Étude de ltres pour le suivi vidéo

Nous avons implémenté plusieurs ltres. Nous présentons ici l'évaluation des performances
de quatre algorithmes de suivi, avec ou sans modèle dynamique d'évolution et, pour ceux dénis
avec un modèle dynamique, avec ou sans modèle dynamique a priori. L'évaluation des perfor-
mances a été faite sur 34 amers naturels. Cette évaluation a été réalisée a posteriori sur quatre
séquences vidéos enregistrées lors de trois interventions cliniques.
Séquences vidéo étudiées

Une séquence est composée d'environ 50 images acquises avec une résolution de 768 × 576
et avec deux fréquences d'acquisition diérentes (1 image par seconde et 5 images par seconde).
Les algorithmes de suivi ont été testés sur les images en niveau de gris. Les quatre séquences
utilisées sont décrites dans le tableau 5.3. La première image de chaque séquence est montrée
sur la gure 5.2. Dans une première étape, nous n'avons considéré que des séquences ou il n'y
avait ni changement de zoom, ni changement de mise au point, ni déplacement de la caméra. Les
dicultés de ces séquences sont les occlusions, la présence de spécularités et les déformations de
la surface corticale. Nous avons choisi d'étudier des amers naturels. Dans cette partie de notre
travail, les points ont été sélectionnés manuellement, comme des intersections de vaisseaux
corticaux.
Méthode de suivi sans modèle d'évolution

La première méthode de suivi utilisée est basée sur une mise en correspondance par critère
de corrélation. Pour chaque point à suivre, on cherche le point qui maximise le coecient de
corrélation de Pearson par rapport à l'image de référence (la première image de la séquence),
dans une fenêtre de recherche autour de la dernière position trouvée autour du point à suivre.
La position de ce point est alors dénie comme la nouvelle position du point suivi. Le coecient
de corrélation de Pearson est :
PN PN i PN i
i i i=0 Io i=0 It
i=0 Io It − N
PN P P (5.1)
( N Ioi )2 PN ( N Iti )2
( i=0 (Ioi )2 − i=0 N )( i=0 (Iti )2 − i=0N )
avec N la taille de la fenêtre de recherche, Ioi et Iti les luminances du point indicé i dans la fenêtre,
dans l'image de référence et l'image courante respectivement. On notera AlgoCorrelation cet
algorithme dans la section résultat.
Méthode de suivi avec modèle dynamique d'évolution

L'introduction d'un modèle dynamique d'évolution dans la procédure de suivi nous a conduit
à considérer la famille d'algorithme de suivis par ltrage (ltre de Kalman [AM79], ltres
particulaires [DdFG01]). De tels algorithmes sont reconnus pour leur simplicité et leur robustesse
dans des situations telles que la présence de bruit, d'occlusion et d'ambiguïtés générées par
un environnement encombré, avec des motifs similaires. Les méthodes de ltrage consistent à
modéliser le système dynamique qu'on désire suivre par une chaîne de Markov cachée. Le but
est d'estimer les valeurs d'un état xk à partir d'observations zk obtenues à chaque instant,
c'est-à-dire pour chaque nouvelle image, acquise à fréquence régulière. Le système est décrit
par une équation dynamique d'évolution de l'état et un modèle de mesure qui lie l'observation
à l'état. L'état inconnu du système peut être la position d'un point caractéristique, complété
par d'autres informations telles que sa vitesse ou une mesure d'intensité dans une fenêtre dont
Tab. 5.3 Description des séquences vidéo étudiées. Le patient 1 était une femme avec un
cavernome frontal droit, le patient 2 était un homme avec une tumeur située dans le gyrus
frontal inférieur droit et le patient 3, une femme avec un cavernome rolandique droit. *Nb
Images est le nombre d'images de la séquence ; ** Nb AM est le nombre d'amers naturels à
suivre ;X la fréquence d'acquisition est exprimée en Hz.
Index Séquence 1 Séquence 2 Séquence 3 Séquence 4
Patient Patient 1 Patient 2 Patient 3 Patient 3
Etape Pendant la ré- Après ouverture Après ouverture Pendant la résec-
section du caver- de la dure-mère, de la dure-mère, 2 tion, avec 3 outils
nome présence d'un ou- pouls cérébral
til
Nb 40 54 47 64
Images*
Nb AM** 5 11 11 6
FréquenceX 1 1 5 5
Fig. 5.2 De gauche à droite : premières images des séquences vidéo 1-4, où les points à suivre
par les ltres testés sont marqués.
il est le centre. Dans cette section, nous avons choisi d'étudier l'intérêt de plusieurs modèles
dynamiques d'évolution possible, soit a priori, soit estimés sur la séquence d'image. Pour chaque
méthode de suivi, le même modèle de mesure est considéré.
Modèle de mesure A l'instant k, nous supposons que l'observation est le résultat d'une
recherche dans l'image Ik du point le plus similaire à l'état x0 , associé au point que nous
désirons suivre, extrait dans l'image I0 . Nous avons présenté les mesures de similarité possibles
pour l'appariement de points dans deux images (chapitre 3, paragraphe 3.1.2). L'hypothèse
de la conservation de l'intensité nous a amené à considérer les moindres carrés ssd (sum-of-
squared-dierences). L'équation linéaire d'observation est alors
zk = H xk + wk , (5.2)
où H est la matrice de transformation entre l'espace d'état et l'espace de mesure. C'est, par
exemple, la matrice Identité si la mesure zk et l'état xk sont la position du point seulement.
Le vecteur wk est un bruit blanc gaussien de covariance Rk . On peut reprocher au critère ssd
de manquer de robustesse lors de changement de géométrie ou d'éclairage, mais ce choix est
justié par le fait qu'il rend possible l'évaluation de la conance dans le pic de similarité dans
la fenêtre de recherche, et donc une estimation dynamique de Rk qui prend en compte le bruit
dans l'image. Pour cela, la surface des valeurs du critère ssd, sur la fenêtre de recherche, est
considérée comme la densité de probabilité de la position mesurée. Un test χ2 (qui mesure la
pertinence d'un modèle) est réalisé dans le but de vérier si la meilleure approximation locale
de cette densité est une Gaussienne ou une Loi Uniforme. Si le test de χ2 favorise la gaussienne,
c'est qu'il y a un réel pic de similarité. La conance Rk de la mesure peut alors être estimée
par la matrice de covariance de la gaussienne. Si le test de χ2 favorise la Loi Uniforme, alors la
mesure est très bruitée. Une valeur innie est attribuée aux termes de la diagonale de Rk , le
reste des termes de la matrice étant nul. Ce cas se produit, par exemple, en présence d'occlusion.
Cette estimation dynamique du bruit de mesure [AMCF05] permet de rendre la méthode de
suivi plus robuste aux occlusions.
Une fois que le modèle de mesure est déni, on construit un modèle dynamique d'évolution
approprié aux déplacements des points dans les séquences traitées d'images. Nous avons testé
deux cas distincts. Dans le premier cas, le modèle d'évolution est choisi a priori. Dans le second
cas, le modèle est estimé directement sur les données images [AMCF05].
Modèle d'évolution choisi a priori Dans ce cas, les modèles sont dénis selon l'étape de la
chirurgie. L'état xk est alors déni par (mk−1 mk nk−1 nk )T où (mk , nk )T est la position estimée
du point caractéristique à l'instant k . Les équations dynamiques suivantes ont été utilisées :
xk+1 = Fi xk + bi + vk (5.3)
où vk est un bruit blanc gaussien, Qk est xé a priori et i est l'index pour l'instant de la chaîne.
(Fi , bi ).
       
0 1 0 0 m0 0 1 0 0 0
 0 0 0 0   m0   1 1 0 0   0 
F1 =      2 2
 0 0 0 1  , b1 =  n0  , F2 =  0 0 0 1  , b2 =  0 
  
0 0 0 0 n0 0 0 12 12 0
F1 traduit une hypothèse de stationnarité des points, F2 est un processus régressif du second
ordre, prenant en compte les états précédents aux instants k et k − 1 et donc la vitesse du point
suivi.
Les systèmes résultants (équation 5.3) sont linéaires et un ltre de Kalman [AM79] permet
de les résoudre. Cependant, nous avons également testé sur ces modèles un ltrage particulaire.
Il y a deux principales raisons à ce choix. Premièrement, les modèles dynamiques présentés
sont assez basiques et nous souhaitons que notre travail puisse prendre en compte, en perspec-
tive, des modèles plus complexes incluant des informations a priori liées aux paramètres des
déformations cérébrales mesurées pendant la chirurgie (à la manière du travail préliminaire de
[KBP+ 01]). Deuxièmement, l'estimation de la covariance de la densité a posteriori est accessible
sans approximation, contrairement à Kalman, qui suppose une densité a posteriori Gaussienne.
Par ailleurs, comme nous l'avons exposé dans la section 5.2, les ltres particulaires orent, du
fait de leur capacité à suivre des densités qui ne sont pas gaussiennes, la possibilité de suivre
plusieurs pics pour le même point selon l'estimateur sélectionné. Dans cette étude, nous avons
utilisé, comme estimateur de l'état, la moyenne de la densité a posteriori de l'état, donc nous
considérons des densités a posteriori mono modales. Nous avons donc développé un ltre par-
ticulaire en nous basant sur le tutorial [AMGC02] et le code 1D disponible [MB98]. 4 . Dans
mon implémentation, la routine de langage C rand() ore une période d'environ 2.1010 , ce qui
est susant pour simuler l'aléatoire. Les poids des particules qui sont les échantillons de q sont
alors directement proportionnels à la valeur de p. Dans les résultats, l'algorithme utilisant un
modèle a priori avec un ltre de Kalman sera noté AlgoApriori et l'algorithme utilisant un
modèle a priori avec un ltre particulaire sera noté AlgoAprioriPart.
Modèle d'évolution estimé sur la séquence Dans le but d'avoir une méthode de suivi
plus générale et donc de prendre en compte des changements de vitesse et de direction imprévi-
sibles, il a été envisagé d'utiliser le ltre particulaire développé par Élise Arnaud [AMCF05], qui
permet d'estimer directement le modèle d'évolution sur la séquence d'image. Le modèle consi-
déré est déduit en utilisant un vecteur mouvement instantané uk (xk ) du point suivi. L'équation
dynamique non linéaire s'écrit alors :
xk+1 = xk + uk (xk ) + vk (5.4)
uk (xk ) est estimé en utilisant une technique d'estimation de mouvement paramétrique et ro-
buste [OB95]. Comme ce modèle d'évolution n'est pas linéaire, le ltre de Kalman n'est pas
approprié pour résoudre le système. Un ltre particulaire est donc utilisé. Cependant, les pro-
priétés particulières du système (modèle de mesure linéaire, bruit Gaussien) permet d'utiliser
le modèle bayésien. Sur les résultats, cet algorithme sera noté AlgoEstimé.
Evaluation des performances

Un cadre standardisé de validation, tel que présenté dans le chapitre 1, a été respecté pour
développé et décrire la procédure d'évaluation. La procédure est présentée dans la table 5.4.
Pour chaque point et pour les quatre séquences, la distance euclidienne moyenne (exprimée en
pixel) a été calculée, entre la position du point estimée par la méthode de suivi et la position
du point, relevée manuellement, lorsque le point était visible.
Résultats
Les résultats sont montrés dans le tableau 5.5. Dans ce tableau, nous avons déni le succès
par une erreur maximale autorisée de 5,7 pixels. Cette valeur correspond à l'erreur évaluée
de l'estimation de la référence, la segmentation manuelle. L'erreur de répétabilité de sélection
4 Nous conseillons également la librairie Rebel pour Matlab, http ://choosh.ece.ogi.edu/rebel/, que nous
n'avons pas utilisée, mais qui ore un choix large de ltre et un support actif
Tab. 5.4 Description des procédures d'évaluation utilisées pour tester les 4 ltres
Données d'évaluation 4 séquences vidéo provenant de 3 patients (voir le tableau 5.3)
Paramètres d'entrée Etape chirurgicale, nature des points, fréquence d'acquisition
Méthode à évaluer Suivi par AlgoCorrelation, AlgoApriori, AlgoAprioriPart,
AlgoEstimated
Référence Trajectoire du point acquise manuellement
par un observateur
Erreur liée au calcul Diérence de 3 sélections du même point
de la référence avec 2 observateurs diérents
Métrique d'évaluation Distance euclidienne en pixel
Indices de qualité Mina , 1st quartilea , mediana ,meana ,3rd quartilea maxa , tempsb
a
en pixel ;b en seconde
Tab. 5.5 Résultats pour tous les amers naturels : un point suivi a été considéré comme suivi
avec succès uniquement si la distance euclidienne avec la référence avait une valeur maximale
de 5,7 pixel pendant toute la séquence. Pour AlgoApriori et AlgoAprioriPart, le modèle a
priori (F1 , b1 ) a été utilisé sur les séquences 1,3 et 4. Le modèle (F2 , b2 ) a été utilisé sur la
séquence 2. Les résultats sont donnés sous la forme suivante : Nombre de points (min 1st Quartile
Median Mean 3rd Quartile Max). Les statistiques de distances sont données en pixel et le temps
d'exécution est donné en secondes avec un CPU de 1.60GHz.
Séquence/ Méthode Succès Autres Temps
1/ AlgoCorrelation 1(0.0 1.0 1.4 1.7 3.0) 5(0.0 2.8 9.5 15.2 27.6 45.4) 5
1/ AlgoApriori 1(0.0 1.4 2.2 2.3 3.0 4.1) 5(1.0 3.6 6.5 6.9 9.3 19.7) 5
1/ AlgoAprioriPart 1(0.0 1.5 2.3 2.4 3.0 4.1) 5(1.0 3.6 6.5 6.9 9.4 19.7) 10
1/ AlgoEstimated 1(0.0 1.0 1.0 1.4 2.0 3.0) 5(2.0 4.4 10.7 14.2 21.0 44.0) 115
2/AlgoCorrelation 3(0.0 1.4 2.2 2.4 3.2 4.5) 8(0.0 1.4 3.0 13.1 18.3 86.2) 12
2/ AlgoApriori 0 11(0.0 2.2 4.1 7.3 8.2 36.7) 12
2/ AlgoAprioriPart 0 11(0.0 2.2 4.1 7.3 8.2 36.7) 21
2/ AlgoEstimated 0 11(0.0 1.6 3.2 11.5 13.7 90.1) 293
3/ AlgoCorrelation 10(0.0 1.0 1.0 1.42 2.0 5.0) 1(0.0 1.4 2.0 4.5 2.4 25.2) 12
3/ AlgoApriori 2(0.0 1.9 2.2 2.5 3.6 5.0) 9(0.0 1.4 2.8 3.2 4.3 10.6) 11
3/ AlgoAprioriPart 2(0.0 1.9 2.2 2.5 3.6 5.0) 9(0.0 1.4 2.8 3.2 4.3 10.6) 20
3/ AlgoEstimated 10(0.0 1.0 1.0 1.4 2.0 5.0) 1(0.0 1.4 2.0 1.9 2.1 6.1) 235
4/ AlgoCorrelation 1(0.0 1.0 2.2 2.0 3.0 3.6) 5(0.0 1.4 3.2 16.8 21.9 71.6) 13
4/ AlgoApriori 0 6(0.0 5.0 7.7 10.7 15.8 28.9) 10
4/ AlgoAprioriPart 0 6(0.0 5.0 7.7 10.7 15.8 28.9) 10
4/ AlgoEstimated 1(0.0 0.0 1.4 1.3 2.0 4.5) 5(0.0 1.4 3.1 5.1 5.2 29.8) 237
des points était de deux pixels, en vertical et en horizontal. En dénissant un carré centré sur
le point à suivre et de coté 4 (deux pixels en horizontal à droite et à gauche, et deux pixels
en vertical en haut et en bas), la diagonale de ce carré qui représente l'erreur maximale qui
pourrait être commise en segmentation manuelle, a pour longueur 5,7 pixels. La gure 5.3
donne la relation entre l'erreur euclidienne (mesurée en pixel) et la covariance calculée à chaque
itération du ltre, sur une des séquences.
Cov(m,n)
10
−5
−10
−15
0 5 10 15 20 25 30
Euclidean error in pixel
Fig. 5.3 Séquence 4 : Covariance calculée de manière empirique sur la densité a posteriori
de l'état estimé par AlgoEstimated en fonction de l'erreur euclidienne mesurée pour tous
les amers naturels. Cette gure montre également la distribution des erreurs, en projetant les
points sur l'axe des abscisses.
Discussion
Nous avons montré que le suivi d'amers naturels dans la vidéo provenant du microscope chi-
rurgical était réalisable, malgré le niveau de diculté de ces images. Nous avons évalué quatre
méthodes de suivi sur des séquences de neurochirurgie. La première méthode AlgoCorrela-
tion n'utilise aucun modèle d'évolution. La deuxième méthode AlgoApriori utilise un modèle
décrit a priori avec un ltrage de Kalman, tandis que la troisième AlgoAprioriPart, tou-
jours avec un modèle a priori, est basée sur une ltrage particulaire. La quatrième méthode
évaluée AlgoEstimated estime directement le modèle d'évolution de manière dynamique sur
la séquence. Les méthodes de suivi, utilisant un modèle d'évolution, sont toutes plus robustes
aux occlusions que la méthode AlgoCorrelation. Ces méthodes peuvent ainsi permettre des
mesures cohérentes de la trajectoire des amers naturels tout le long d'une séquence, alors que
la méthode AlgoCorrelation provoquera des interruptions aberrantes dans un suivi de trajec-
toire. Avec les séquences à la plus haute fréquence d'acquisition, la méthode AlgoEstimated
donne les meilleurs résultats en terme de précision du suivi : les amers ont pratiquement tous
été suivis avec succès, sauf quelques décrochages du ltre suite à des occlusions trop longues.
Cependant, le temps d'estimation du modèle a un coût, en temps de calcul, rédhibitoire pour
notre application. Les méthodes AlgoApriori et AlgoAprioriPart présentent alors le meilleur
compromis entre précision et temps de calcul. Elles donnent des résultats équivalents. Ces ltres
permettent d'obtenir un suivi à une fréquence de 9 images et 5 images par seconde, respecti-
Méthode de recalage proposée 151
vement, pour AlgoApriori et AlgoAprioriPart. Nous avons utilisé 2000 particules pour le
ltre particulaire de la méthode AlgoAprioriPart. Nous obtenons des résultats similaires à
ceux obtenus avec le ltre de Kalman. Ce résultat est cohérent avec les résultats de [AMGC02],
qui indique que pour un nombre de particules susant, un ltre particulaire donne les mêmes
résultats que le ltrage optimal de Kalman dans les conditions linéaires et gaussiennes. De plus,
les méthodes utilisant un modèle bayésien donne accès à une évaluation de la conance dans la
position estimée, par le calcul de la covariance des densités a posteriori. Cette information sera
utilisée dans notre méthode de recalage.
5.5 Méthode de recalage proposée

Nous allons tout d'abord expliquer le principe général de l'acquisition d'image et du recalage
proposé. Le processus, répété à chaque fois que les déformations doivent être estimées, est décrit
par le schéma de la gure 5.4. Comme décrit sur ce schéma, à un instant ti de l'intervention
chirurgicale, on acquiert une paire d'images stéréoscopiques provenant des oculaires du micro-
scope. On applique alors la méthode de reconstruction stéréoscopique décrite dans le chapitre
3. A ce même instant ti , des points d'intérêt sont extraits en utilisant la méthode décrite dans
la sous-section 5.5.2. On lance alors l'acquisition d'un ux vidéo provenant de l'oculaire droit
du microscope jusqu'à l'instant tj . L'image droite de la paire stéréoscopique acquise à ti est la
première image du ux vidéo. Les points d'intérêt extraits à ti sont suivis continuellement et en
temps réel dans ce ux vidéo, en utilisant la méthode décrite dans la section 5.5.3. Au moment
tj de l'intervention chirurgicale, une nouvelle paire d'images stéréoscopiques permet d'obtenir
la surface du champ opératoire, toujours en utilisant la méthode du chapitre 3. L'image droite
de cette paire stéréoscopique est la dernière image du ux vidéo. Les deux surfaces obtenues
à ti et tj sont alors recalées en utilisant la méthode décrite dans la section 5.5.3, qui prend
en compte la nouvelle position des points d'intérêt extraits dans l'image droite au temps ti et
suivis par ltrage de la vidéo jusque dans l'image droite à tj .
5.5.1 Acquisition
On utilise le système déjà décrit dans le chapitre 3. Une acquisition consiste à récupérer :
au temps ti , une paire d'images du microscope chirurgical, ainsi que la position et le
réglage correspondant du microscope ;
un ux vidéo 2D de l'oculaire droit du microscope, dont la première image est l'image
droite de la paire stéréoscopique acquise à ti et la dernière image est l'image droite de la
paire stéréoscopique acquise à tj ;
au temps tj , une paire d'images du microscope chirurgical, ainsi que la position et le
réglage correspondant du microscope.
On reconstruit la surface corticale texturée par l'image droite de la paire, à ti et tj , en utilisant
la méthode décrite dans le chapitre 3.
5.5.2 Extraction des points d'intérêt

Les points d'intérêt à extraire doivent correspondre à des points ayant une signication
anatomique. Nous avons choisi d'extraire les intersections des vaisseaux cérébraux. En eet, ces
points ont plus de sens que l'extrémité des vaisseaux. La surface du cortex en est couverte. Ces
points sont extraits automatiquement. Pour avoir les points extraits sur le cortex et non sur le
reste du champ opératoire, principalement constitué de tissus et d'outils, le cortex est segmenté
grossièrement au préalable.
Fig. 5.4 Principe général de l'acquisition d'images et du recalage, eectuée à chaque fois
qu'une déformation doit être calculée.
Nous allons décrire cet algorithme pour une image I . Une ouverture morphologique est d'abord
appliqué à l'image I . Puis I est ltré en utilisant un ltre Laplacien puis un ltre Gaussien. On
binarise cette image. On appelle Ip l'image résultante de ce ltrage.
La craniotomie est ensuite segmentée. Pour cela, l'image Ip est balayée horizontalement de
droite à gauche et de gauche à droite et un masque est dessiné en prenant pour limite externe
les premiers pixels rencontrés par ce balayage. On appelle cette image Ib . Pour obtenir une
segmentation plus nette, on peut alors appliquer une fermeture et une ouverture au masque,
mais dans le cadre de l'extraction, cette étape n'est pas nécessaire.
Les points d'intérêt sont alors extraits sur Ic , la convolution de Ib et de l'image originale en
noir et blanc. L'extraction des points se fait en utilisant le détecteur d'Harris [HS88]. Les points
d'intérêts extraits par ce détecteur sont dénis comme les maxima locaux de l'opérateur R :
R = det(M ) − λT r2 (M ) (5.5)
avec λ = 0.04 et
µ ¶
( δI c 2
δu ) ( δI δIc
δv )( δv )
c
M= (5.6)
( δu )( δI
δIc
δv )
c δIc 2
( δv )
det(M ) et T r(M ) sont respectivement le déterminant et la trace de la matrice M , u et v sont

les coordonnées des pixels de l'image Ic . Parmi les maxima locaux extraits, certains points
correspondent en fait à des spécularités. Les points sur les spécularités ne sont pas des points
anatomiques d'intérêt. On rejette donc les points ayant une intensité de luminance supérieure à
0.8Vmax , où Vmax est la valeur de luminance maximale de l'image. Les n meilleurs points, sont
ensuite conservés dans un chier donné en entrée au ltre que nous décrivons dans le prochain
paragraphe.
5.5.3 Suivi de la position des points d'intérêt

Comme nous l'avons présenté dans la section précédente 5.4, nous avons testé plusieurs
ltres. Au vu de leurs résultats, dans l'étude présentée ici, nous avons utilisé les ltres Al-
goApriori et AlgoAprioriPart avec les mêmes modèles de mesure et d'évolution que dans
5.4. Dans le cas de ce choix, le ltre optimal est un ltre de Kalman car les deux modèles (de
mesure et dynamique) sont linéaires. Cependant, l'utilisation d'un ltre particulaire est à envi-
sager si on utilise des modèles d'évolution dynamique non linéaire. Dans le cadre d'un ltrage
particulaire, la conance dans le suivi du point est estimée de façon empirique sur la densité
de probabilité obtenue par sommation des particules, tandis que dans le cadre du ltrage de
Kalman, on considère que la conance à l'instant J est donnée par la covariance Rj . Dans le cas
clinique présenté, le ltre utilisé était le ltre de Kalman que nous avons implémenté. Dans la
procédure présentée sur fantôme, le ltre est le ltre particulaire que nous avons implémenté.
5.5.4 Recalage de surface et quantication des déformations corticales

La déformation de la surface corticale a été estimée par une transformation géométrique
non linéaire calculée par le recalage de deux reconstructions stéréoscopiques 3D. La méthode de
recalage de surface repose sur les diérentes informations pertinentes disponibles aux diérentes
étapes de la chirurgie. Par conséquent, une description chronologique du suivi des déformations
pendant une exérèse de cavernome sera donnée dans la section 5.7. Dans cette section, nous
décrivons les diérentes étapes de la nouvelle méthode de recalage proposée.
Première approximation de la déformation surfacique en utilisant les amers anato-

miques suivis
La localisation 3D des amers suivis est connue aux instants ti et tj . Comme une reconstruc-
tion stéréoscopique de la surface du cortex a été calculée à ces instants, on dispose pour ti et tj
des informations suivantes (voir le chapitre 3 pour plus d'explications sur ces informations) :
la carte de disparité : pour chacun des pixels de l'image droite rectiée, on dispose de
r
la valeur de disparité d(urR , vR ) entre un pixel de l'image droite rectiée de coordonnées
r r l l
(uR , vR ) et un pixel de coordonnées (uR , vR )de l'image gauche rectiée ;
la matrice de rectication Rr , qui permet de transformer, par perspective, l'image droite
en l'image droite rectiée.
la matrice de reconstruction Td−>phys qui permet de transformer un pixel de la carte de
disparité en un point 3D dans le repère millimétrique associé au patient.
Soit (u, v) les coordonnées en pixel d'un point d'intérêt de l'image droite. On rectie tout
d'abord le pixel (u, v) pour avoir ses coordonnées dans l'image droite rectiée.
r
(surR , svR , s)T = Rr (u, v, 1)T
On récupère dans la carte de disparité la valeur d(urR , vR

r
). Comme il s'agit de point d'intérêt,
l'hypothèse forte sur laquelle nous nous basons est que ce point a bien une valeur de disparité
car il correspond à un point dont le voisinage contient beaucoup d'information. La mise en
correspondance par corrélation entre ce point et l'image gauche est a priori réussie.
On obtient alors directement (X, Y, Z) les coordonnées 3D en millimètres du point correspon-
dant au pixel (u, v) dans le repère patient :
(X, Y, Z, 1)T = Td−>phys (urR , vR

r
, d(urR , vR
r
), 1)T
Un champ de déformation épars est alors calculé entre la position 3D des amers aux instants ti
et tj . A partir de ce champ de déformation éparse, un champ dense de déformation est interpolé
pour tous les points de la surface source (qui est la reconstruction stéréoscopique à l'instant
ti )par Thin-Plate-Spline. En d'autres mots, les amers anatomiques suivis sont utilisés comme
points de contrôle de la Thin-Plate-Spline. Ce champ de déformation est considéré comme une
première approximation de la déformation.
Recalage des deux reconstructions stéréoscopiques

Nous proposons une nouvelle fonction de coût pour le recalage de surfaces. Cette fonction
de coût inclut trois termes. Le premier est lié à l'intensité des images, le deuxième à la distance
entre les points des surfaces et le troisième au respect des amers suivis dans la vidéo. L'objectif
de cette méthode est de prendre en compte les diérents aspects de dicultés, rencontrés dans
les images, tout au long de la procédure chirurgicale.
F = β(αA + (1 − α)B) + (1 − β)C (5.7)
Nous décrivons ci-dessous chacun des termes de la fonction de coût de l'équation 5.7.
A : Terme lié à l'intensité dans les textures Dans nos images spéciques, acquises par
caméras mono CCD, le niveau de luminance est fortement corrélé au niveau de vert (gure 5.5).
Comme nos images sont acquises en RGB pour des raisons de visualisation, le canal vert a été
directement utilisé comme canal de luminance.
C3×21 (Greenn ) + C3×21 (GradGreenn )(P0 , P1 )
A(P0 , P1 ) = (5.8)
2
Correlation Map, Variables Regrouped by Similarity

1
GRxGB
GRxGV
GVxGB
0.9
GradR
GradB
GradV
Grlum
GrCb
GrCr
Lum
Cb
Cr
R
V
B
0.8
V
Lum 0.7
B
R 0.6
Cr
GRxGB 0.5
5.5 Table de corrélation pour une seule image du champ opératoire des valeurs de
GRxGV
Fig. GVxGB 0.4
corrélations entre lesGradB

images
GradV
issues des diérents canaux. 0.3
GradR
0.2
Grlum
GrCr
Avec GradGreen =
0.1
GrCb
Cb
0
q Scale gives Value of |Similarity| for Each Variable Pair
(Green(i, j − 1) + Green(i, j + 1))2 + (Green(i − 1, j) + Green(i + 1, j)2 )
où Green(i, j) est le niveau du canal Vert du pixel de coordonnées i, j .

C3×21 est le coecient de corrélation calculé dans les fenêtres de corrélation de taille 3 et de
centre p0 et p1 respectivement, qui sont les pixels correspondants aux points 3D P0 et P1 dans
les images texturant la reconstruction stéréoscopique source et la reconstruction stéréoscopique
cible. Si les deux fenêtres de corrélation étaient strictement identiques, alors A(P0 , P1 ) = 1.
B : Terme de distance de surface

D(P0 , Pclosest )
B(P0 , P1 ) = (5.9)
D(P0 , P1 )
D(P0 , P1 ) est la distance euclidienne entre les points 3D P0 et P1 . Pclosest est le point le plus
proche de P0 dans la surface cible (pré calculé par ICP). Si P1 est le point le plus proche au
sens euclidien, alors B(P0 , P1 ) = 1.
Les termes A et B représentent les termes d'attache aux données.
C : Terme lié aux amers suivis

C(P0 , P1 ) = ψ(P0 )D(P1 , P0interpolated ) (5.10)
Au lieu du classique terme de régularisation, calculé par la taille de la fonction de déformation

par exemple [You00], nous avons choisi de contraindre le recalage des deux surfaces par un
terme d'attache aux amers suivi, régularisés par Thin-Plate-Spline. D(P0 , P1 ) est la distance
Euclidienne entre les points 3D P0 et P1 .
P0interpolated est la nouvelle position du point P0 quand le champ de déformation dense,
calculé par TPS à partir des amers suivis, est appliqué à la surface source.
N
X i
ψ(x) = exp−kD(At0 ,x) σ(Aitf ) (5.11)
i=1
Les indices t0 et tf indiquent que les points A indicés sont les amers extraits dans la première
image de la séquence et suivis dans la dernière image, respectivement. Ai est l'amer indicé i
parmi les N amers extraits dans la première séquence. La variable x est un point 3D de la surface.
La fonction exp−kt est représentée sur la gure 5.19. Elle permet de pondérer, dans l'équation
5.7, le terme de respect du champ calculé (équation 5.10) par la distance du point traité aux
amers l'entourant et à la conance accordée à chacun des amers suivis. Cette conance σ(xitf )
est mesurée par la covariance de la densité a posteriori, associée à chacun des amers suivis, soit
aux états xitf .
Fonction de coût globale

F (PiS , PjT ) =
β(αA(PiS , PjT ) + (1 − α)B(PiS , PjT )) + (1 − β)C(PiS , PjT ) (5.12)
S T
A, B , C sont dénis par les équations 5.8, 5.9 et 5.10, respectivement. P et P sont des
points 3D de la surface source et de la surface cible, respectivement. α et β dépendent de
l'étape chirurgicale. α est un paramètre sans dimension ∈ [0; 1] pondérant l'importance de A
par rapport à B . β est un paramètre sans dimension ∈ [0; 1] pondérant l'importance de C par
rapport aux deux premiers termes. Par exemple, quand nous voulons mesurer la distance entre
une acquisition stéréoscopique de la dure-mère et une acquisition stéréoscopique immédiatement
après ouverture de la dure-mère, α = 0 et β = 1. Quand des séquences vidéos étaient disponibles,
des valeurs de α et β ont été expérimentalement dénies. Par exemple, sur les données utilisées
en résultats, entre une acquisition stéréoscopique avant la résection mais après ouverture de la
dure-mère et une acquisition stéréoscopique après la résection, α = 0.3 et β = 0, 5. Dans ce cas,
les trois termes sont utilisés.
5.5.5 Minimisation
Pour chaque point de la surface source, on minimise la fonction de coût de l'équation 5.12
en limitant la recherche à un voisinage du point trouvé par interpolation.
Pour i = 0 ;i < N bs :
Pour j = −T ;j = T
PiC = argminPjC F (PiS , PjC )
N bs est le nombre de points de la surface source. T est déni de façon à ce que PjC décrive
un voisinage au sens géodésique (de taille xée) de PiSinterpolé .
5.5.6 Visualisation de la déformation

Le champ de déformation est visualisé en utilisant une carte de couleur avec un codage
couleur (LUT) correspondant à chaque longueur de vecteur déformation. Dans cette carte de
couleur, il n'y a donc pas de direction de la déformation. Une échelle, donnant le codage des
couleurs, est achée en même temps que la carte des couleurs associée à la surface cible (voir
la gure 5.13). Cette carte permet au neurochirurgien et au personnel de la salle d'opération,
d'appréhender de façon quantitative et explicite les déformations cérébrales de la surface.
5.6 Evaluation des performances

Sur fantôme La description standardisée de la procédure est donnée dans le tableau 5.6.
Un fantôme en Poly-Vynil-Alcool (PVA) a été réalisé. Le réalisme de ce type de fantôme a
Evaluation des performances 157
Tab. 5.6 Description de la procédure d'évaluation des performances utilisée pour tester notre
méthode de recalage sur fantôme. ∗ La direction est calculée grâce au produit scalaire des 2
vecteurs.
Données d'éva- Position de points particuliers Surface balayée au pointeur, en-
luation acquis au pointeur, diérents des viron 60 points par surface
points suivis
2 ensembles de 2 reconstructions Reconstruction Stéréo
stéréo + vidéo
Paramètres Aucun Aucun
d'entrée
Méthode à éva- Méthode de recalage incluant la Erreur Acquisition surface
luer vidéo
Référence Vecteur déformation entre les Surface acquise au pointeur
points de référence acquis au
pointeur
Erreurs liées au Précision et résolution des re- Précision pointeur de neuronavi-
calcul de la réfé- constructions stéréo gation
rence
Précision pointeur de neuronavi- Synchronisation toucher surface
gation acquisition
Reconnaissance des points entre
deux étapes
Métrique d'éva- Diérence de norme et de Distance euclidienne en mm
luation direction∗
Indices de qua- Min, Moyenne, Max Min, Moyenne, Max
lité
été démontré, notamment au niveau de sa consistance et du signal en IRM [RC06]. Deux

sondes urinaires de contenance maximale de 15 ml ont été placées dans le fantôme. L'objectif
du placement de ces sondes était de pouvoir créer des déformations lors de la simulation sur
fantôme en y injectant de l'air. Pour créer une lésion qui apparaîtrait à l'IRM, un nouveau
mélange de PVA avec les mêmes proportions a été utilisé, en rajoutant de l'acide borique qui
permet de précipiter le PVA. Nous avons ainsi obtenu une lésion solide et granuleuse que nous
avons accrochée au fond du récipient en utilisant l'adhérence du PVA sur le fond du récipient.
Le fantôme a ensuite été retourné, de façon à ce que la lésion et les sondes qui étaient au fond
du récipient se retrouvent près de la surface à opérer, et le fond du récipient a été ouvert à la
scie circulaire. Le fantôme a bénécié, la veille de la simulation d'opération, d'une IRM avec le
protocole utilisée pour la neuronavigation. Lors de cet examen, étant donnée l'indisponibilité
des pastilles classiquement utilisées pour la neuronavigation, de petits bonbons contenant de
l'huile ont été xés à l'aide de ruban adhésif. On les distinguait dans l'IRM. Les molécules
d'eau contenue dans l'huile ont un signal déphasé à l'IRM par rapport aux autres molécules
d'eau [Pet06], mais la précision du recalage patient-image ne nous importait pas. La surface du
fantôme a été peinte à l'encre de chine noire en s'inspirant d'une photo prise d'un cortex après
craniotomie. Le jour de la simulation, le fantôme a été emmené en salle. Un recalage point à
point a été réalisé en utilisant la station de neuronavigation. La précision du recalage du système
de neuronavigation importait peu dans le cadre de cette manipulation, mais il devait tout de
même permettre de passer en mode navigation sur la station Medtronic (erreur < 5mm). Seules
5 pastilles ont été retrouvées sur l'examen IRM. Nous avons complété les points avec des points
de la surface (le centre de la surface du fantôme, et deux extrémités situées au même niveau que
les encoches pour la sonde). La surface du fantôme a été entièrement balayée au pointeur an
de construire une surface de référence. La position de points remarquables (voir gure 5.6) a
été enregistrée au pointeur. Le microscope a alors été branché. Les réglages du microscope sont
Fig. 5.6 Points sélectionnés manuellement pour l'évaluation de performance du recalage. Les
coordonnées de ces points sont enregistrées grâce au pointeur du système de neuronavigation à
diérentes étapes de déformation.
restés xes jusqu'à la n de la manipulation. Une première reconstruction stéréo a été calculée,
puis une vidéo a été acquise tandis que les 2 sondes urinaires étaient gonées en insérant de l'air
à l'aide d'une seringue. Une nouvelle reconstruction stéréoscopique a été acquise. La position
des points remarquables a encore été enregistrée après déformation à l'aide du pointeur de
neuronavigation. On a commencé l'exérèse de la lésion à l'aide d'un cutter et d'une cuillère, en
acquérant de façon continue une vidéo. Une dernière reconstruction stéréo a été calculée à la
n de l'exérèse. La surface et la cavité d'exérèse ont été balayées au pointeur.
Evaluation des performances 159
(a) (b)
(c) (d)
(e)
Fig. 5.7 Manipulation sur fantôme PVA.(a), (b), (c) Fantôme en conditions cliniques, près
de la croix du système de neuronavigation au bloc opératoire (d) Volume de lésion retirée et
"outils"(e) IRM fantôme PVA avec segmentation de la "lésion"
Fig. 5.8 Fantôme en PVA avec les points acquis au pointeur du système de neuronavigation.
En rouge, la fausse lésion. En bleu clair, les points acquis sur la surface du fantôme avant défor-
mation. L'espace entre ces points et la surface du fantôme recalé (en rose transparent) indique
l'erreur de recalage du système de neuronavigation. Pour rappel, dans notre manipulation, l'er-
reur de recalage patient-image n'a pas d'importance. En bleu foncé, les points correspondant
aux points sélectionnés visuellement pour validation (voir la gure 5.6). En jaune, les points
remarquables après avoir goné les sondes urinaires. En vert clair, les points acquis au pointeur
par balayage de la surface après résection (y compris la cavité de résection). En vert foncé, les
points remarquables retrouvés après résection.
Résultats 161
(a) (b) (c)
Fig. 5.9 Carte de déformations obtenues sur le fantôme en PVA. La valeur de déformation 0
à été attribuée arbitrairement aux points non appariés. (a) Carte de distance entre la surface
avant déformation et la surface après résection, achées sur la surface avant déformation. (b)
et (c) Deux vues des deux surfaces.
En clinique Trois méthodes ont été utilisées pour évaluer les performances du recalage de
surface en clinique. Dans le but d'évaluer la précision globale de notre méthode avec le suivi
vidéo, quatre points ont été localisés sur la surface du cortex, grâce au pointeur du système de
neuronavigation, par le neurochirurgien. Ces 4 points ont été localisés à deux moments dié-
rents de la procédure chirurgicale, juste avant la première acquisition stéréoscopique et juste
après la deuxième acquisition. An de s'assurer que le neurochirurgien localise les 4 mêmes
points aux deux moments diérents, nous lui avons montré, avant la deuxième acquisition, une
image imprimée du champ opératoire où les 4 points qu'il avait sélectionnés, lors de sa première
acquisition, étaient entourés. Dans le but d'évaluer, hors ligne, la méthode de recalage de sur-
face, nous avons sélectionné, manuellement, dans les deux reconstructions stéréoscopiques, des
points 3D identiables sur la surface source et la surface cible, et diérents des points extraits
automatiquement et suivis. Les coordonnées de ces points ont été récupérées directement en 3D
en utilisant la méthode "pick" de la librairie VTK. Nous avons également cherché à évaluer la
possibilité d'interpoler les déformations calculées en surfaces aux structures près de la surface.
Cette évaluation a été réalisée grâce à des acquisitions Ultrasons 2D acquises par le neurochi-
rurgien juste après l'ouverture de la dure-mère, grâce à la sonde Sononav, Medtronic, suivie
par le système de neuronavigation. Le volume échographique 3D, obtenu grâce au calibrage et
à la reconstruction 3D, ainsi que les données de position de ce volume dans le Repère Croix
nous ont aimablement été prêtées par Pierrick Coupé et Pierre Hellier. Pour l'évaluation, nous
avons utilisé l'acquisition échographique de profondeur la plus faible, de façon à nous focaliser
sur les volumes près de la surface. Les coordonnées des volumes préopératoires, recalés dans le
Repère Croix en utilisant la matrice de recalage ane calculée par la station de neuronaviga-
tion, sont ensuite exprimées dans le repère image Ultrasonore en utilisant l'inverse de la matrice
de changement de repère ultrasons 3D-repère Croix et le changement d'échelle (la taille d'un
pixel dans le volume ultrasons est de l'ordre du dixième de millimètre).
5.7 Résultats
5.7.1 Résultats sur fantôme
Nous avons testé sur le fantôme les deux modèles de déformation avec le ltre particulaire.
Il est intéressant de noter que le modèle stationnaire ne sut plus lors des déformations que
nous avons produites, et que cela est signié par l'augmentation de la covariance de la densité
a posteriori estimée par le ltre particulaire. Le ltre permet donc de détecter des mouvements
Tab. 5.7 Description de la procédure d'évaluation de performance utilisée pour la performance

clinique de notre méthode de recalage de surface.
Données Une reconstruction stéréo avant Une reconstruction stéréo avant

d'évaluation résection, une autre après résec- résection, une autre après résec-
tion tion
Paramètres Aucun Aucun
Méthode à Méthode globale, incluant la lo- Le recalage de la surface utilisant
évaluer calisation de la surface le suivi vidéo
Référence 4 points acquis au pointeur par 9 points extraits sur les recons-
le neurochirurgien avant et après tructions stéréoscopiques avant
résection et après résection. Ces 9 points
sont diérents des points extraits
automatiquement et utilisés pour
le recalage.
Erreur liée Erreur du choix par pointeur du Erreur de l'extraction d'un point
au calcul de même point (1,9mm) + Erreur sur la surface 3D + Précision
la référence de la localisation et de calibrage et résolution des reconstructions
du pointeur stéréoscopiques
Métrique Diérence entre la distance eucli- Distance entre ces points après
d'évaluation dienne avant et après résection recalage par notre méthode par
pour les 4 points et la distance rapport à leur distance estimée
pour ces 4 points mesurée par par rapport aux reconstructions
notre méthode stéréo
Résultats 163
signicatifs parce que la covariance du ltre a brutalement changé. La précision des recons-
tructions stéréoscopiques, plus de six mois après la procédure de calibrage et après une dizaine
d'utilisation des caméras en salle, est toujours très bonne. Le tableau suivant récapitule les
résultas obtenus :
∆ orientation ∆ norme champs
champs amers : amers : pointeur VS
pointeur VS algo algo
Avant VS Après gonement des 10 degrés max 1,8mm
sondes
Après gonement des sondes VS 1,5 degrés max 0,3mm
Après résection
La diérence d'orientation entre les points acquis au pointeur et les champs de déforma-
tion calculés avant et après gonement des sondes est très faible, avec un angle inférieur à 10
degrés entre les vecteurs calculés par pointeur sur les amers non utilisés pour le suivi et une
diérence de norme maximale de 1,8 mm. Deux points acquis au pointeur ont été supprimés
parce qu'aberrants. La diérence d'orientation entre les points acquis au pointeur et les champs
de déformation entre les amers après gonement des sondes et les amers après résection est
très faible, avec un angle inférieur à 1,5 degrés entre les vecteurs calculés par pointeurs sur les
amers non utilisés pour le suivi et une diérence de norme maximale de 0.3 mm. La précision
des reconstructions estimée entre la surface balayée au pointeur avant gonement des sondes
et la surface reconstruite correspondante, calculée par ICP, est de 0,89 mm en moyenne, avec
une distance minimale de 0.0 mm et une distance maximale de 1,78mm. La précision des re-
constructions estimée entre la surface balayée au pointeur après gonement des sondes et la
surface reconstruite correspondante est de 0,78 mm en moyenne, avec une distance minimale
de 0.0 mm et une distance maximale de 2,03 mm. Les excellents résultats obtenus entre après
gonement des sondes et après résection s'explique par l'absence de déformation, hormis la
cavité de résection. Notre fantôme était peut-être un peu trop rigide. La reconnaissance des
amers au pointeur de neuronavigation n'est pas évidente, nous avons calculé la diérence entre
les points de la reconstruction et la position des amers, acquis au pointeur. Nous avons éliminé
les points pour lesquels la diérence de position était supérieure à 5 mm.
5.7.2 Résultat en clinique

Le cas clinique utilisé pour l'évaluation des performances de notre méthode était un patient
avec un cavernome situé dans le gyrus frontal moyen droit.
Avant la craniotomie Dans ce cas clinique, aucune acquisition n'a été faite avant la cranio-
tomie, parce que des problèmes de recalage avec le neuronavigateur avaient retardé le début de
l'intervention. Cependant, sur d'autres cas où la peau avait été reconstruite, la reconstruction
stéréoscopique de la peau pouvait être recalée rigidement avec la surface préopératoire de la
peau. La surface préopératoire de la peau était segmentée dans l'examen préopératoire IRM 3D
exprimé dans le repère patient. Le recalage avait pour but de corriger une erreur en translation
dans le calcul du recalage patient fait par la station de neuronavigation.
Après la craniotomie et avant ouverture de la dure-mère La diérence de position

entre la surface de la dure-mère reconstruite et la surface de la dure-mère dans l'examen pré-
opératoire peut s'expliquer de la façon suivante. Le recalage du système de neuronavigation
est réalisé de manière surfacique, sur l'avant de la tête, et pour ce cas, une erreur résiduelle de
Fig. 5.10 Résultats : Surface reconstruite de la dure-mère, superposée à l'examen patient

IRM 3D T recalé dans le repère patient. Le centre du cercle orange est le bout du pointeur de
neuronavigation, touchant la surface corticale. Le fait que le bout du pointeur n'apparaisse pas
parfaitement aligné laisse supposer que, soit des déformations se sont produites, soit le recalage
patient-image calculé par la station de neuronavigation n'est pas correct.
3mm était annoncée par la station de neuronavigation. Par ailleurs, des déformations cérébrales
peuvent avoir lieu entre la craniotomie et l'ouverture de la dure-mère, comme il l'a été dit dans
le chapitre 4. Enn, l'erreur intrinsèque de la reconstruction de la surface peut induire une
erreur de l'ordre du millimètre (voir le chapitre 3).
Après ouverture de la dure-mère Une nouvelle surface stéréoscopique a été reconstruite à

l'ouverture de la dure-mère, et le signal d'acquisition vidéo a été donné. Les amers anatomiques
ont été extraits automatiquement en utilisant la méthode décrite dans 5.5.2 : ces amers extraits
automatiquement sont montrés sur la gure 5.11. La distance entre cette surface et la surface
reconstruite avant l'ouverture de la dure-mère est calculée par la seule information valable : la
distance Euclidienne entre les points des deux surfaces.
Après la résection Après la résection, le signal de n d'acquisition de la vidéo a été donné et

une nouvelle reconstruction stéréoscopique a été acquise. Nous avions donc les données surfaces,
texture et amers vidéo. Seuls 5 amers ont été suivis dans la vidéo sur les 15 amers extraits
automatiquement.
Evaluation de la précision La distance entre les points localisés par le neurochirurgien à

l'aide du pointeur de neuronavigation (voir la gure 5.14 pour les noms des points de références),
était de 1,9mm pour le point A, 8.0mm pour le point B, 2,58 mm pour le point C et 7,8mm
pour le point D. La distance de 1,9mm pour le point A peut être considérée comme l'erreur
intrinsèque à notre référence, parce que le point A a été choisi par rapport à une référence
statique. Cela montre que la mise en correspondance visuelle réalisée par le neurochirurgien
n'est pas parfaite puisque le pointeur localisé par un localisateur optique est censé avoir une
précision sub-millimétrique. Les distances calculées pour ces points par notre méthode sont de
2mm pour le point A, 7,5mm pour le point B, 3 mm pour le point C et 7 mm pour le point
D. La gure 5.15 montre la distance calculée entre 1) les points 3D dans la surface source et
la surface cible, 2) entre les points 3D dans la surface source recalée par ICP et la surface
Résultats 165
(a) (b)
Fig. 5.11 Résultats : amers anatomiques extraits automatiquement. (a) Le champ opératoire
segmenté grossièrement en utilisant notre méthode. (b) Les 15 meilleurs amers (15 valeurs
maximales de l'extracteur d'Harris) extraits par notre méthode d'extraction. Ces 15 amers ont
été suivis dans le ux vidéo dont cette image est la première image.
Fig. 5.12 Résultats : Reconstructions stéréoscopiques achées dans l'examen IRM préopéra-
toire. La surface en blanc est la reconstruction stéréoscopique de la dure-mère. La surface en
rouge est la surface acquise après ouverture de la dure-mère. La surface en vert est la surface
qui a été acquise à la n de l'exérèse du cavernome.
Fig. 5.13 Résultats : champ de déformation représenté par une carte de couleur entre la
surface reconstruite avant résection et la surface reconstruite après résection, en utilisant notre
méthode de recalage de surface.
(a) (b) (c)
Fig. 5.14 Evaluation de la précision de notre méthode de recalage : les points de références
utilisés, acquis grâce au pointeur de neuronavigation pendant l'intervention. (a) Points sur une
acquisition juste avant la reconstruction de la surface. (b) Acquisition après la résection et après
l'acquisition stéréoscopique. (c) Reconstruction stéréoscopique obtenue juste avant l'ouverture
de la dure-mère, avec des propriétés de transparence. Le centre des sphères sont les points acquis
au pointeur de neuronavigation : en vert juste après l'ouverture de la dure-mère, en rouge juste
après la résection. Le rayon des sphères est de 10 millimètres.
Extrapolation aux structures proches de la surface : faisabilité 167
cible, et 3) entre les points 3D dans la surface source recalée par notre méthode et la surface
cible. L'erreur mesurée après recalage par notre méthode est de l'ordre de 2 mm, alors que le
recalage par ICP laisse une erreur de 6 mm encore. Les surfaces sont apparemment proches par
le recalage par ICP, mais les points ne sont pas correctement appariés.
mm
8
6
4
2
No registration ICP registration Our surface registration
Fig. 5.15 Résultats : la surface source est la surface reconstruite juste avant résection, la
surface cible est la surface reconstruite juste après. 9 amers anatomiques, diérents de ceux
utilisés pour le suivi vidéo, ont été extraits manuellement pour cette évaluation. A gauche,
boite à moustache de la distance entre les amers correspondant 3D dans les surfaces source et
cible. Au milieu, boite à moustache de la distance entre ces mêmes amers, obtenu après recalage
par ICP non rigide des deux surfaces. A droite, distance calculée entre les amers après recalage
par notre méthode.
Validation croisée avec les ultrasons Si la surface obtenue par ultrasons juste après ou-
verture de la dure-mère (haut du volume) et la surface correspondante acquise de façon stéréo-
scopique sont proches (sur la gure 5.16, les volumes préopératoires ne correspondent pas aux
volumes visibles sur l'échographie peropératoire. Cela peut être dû à un mauvais recalage de la
station de neuronavigation, ou à des déformations anatomiques cérébrales ayant eu lieu depuis
l'acquisition de l'IRM 3D T1. Malheureusement, nous n'avons pas les données susantes pour
valider l'une ou l'autre de ces hypothèses.
5.8 Extrapolation aux structures proches de la surface :

faisabilité
Une première extrapolation a été réalisée aux surfaces environnantes en appliquant la même
Thin-Plate-Spline que celle calculée à partir des amers vidéo aux surfaces VTK multimodales.
On a choisi de pondérer le champ de déformation appliqué, par un paramètre inversement
proportionnel à la distance à la surface. Plus on s'éloigne de la surface, moins le déplacement
doit être important, jusqu'à dénir une distance pour laquelle l'inuence sera nulle. La distance
r pour laquelle µv (r) = 0 est celle pour laquelle la déformation de la surface n'a plus de relation
avec celle observée, ce qui ne veut pas dire qu'il n'y a plus de déformations. Simplement, la
déformation de la surface n'apporte plus d'information sous cette distance. L'extrapolation sur
les surfaces d'intérêt voisines(tumeurs, sillons, zones fonctionnelles) n'est pas convaincante :
si les volumes extrapolés ont une position crédible (gure 5.17, la surface correspondante du
cortex est trop déformée (gure 5.18).
Fig. 5.16 Plusieurs coupes du volume d'ultrasons (coupe 1,7,16 et 19 )acquises juste après
l'ouverture de la dure mère avec les diérentes acquisitions de surface (avant l'ouverture de la
dure-mère en bleu, après l'ouverture de la dure mère mais après l'acquisition échographique en
vert, et après l'exérèse en jaune). En mauve, un cavernome, situé dans le lobe frontal droit.
Dans les images échographiques, la lésion est la tache blanche, et ne correspond pas au volume
lésionnel préopératoire segmenté. Le volume échographique a été reconstruit par Pierrick Coupé.
Extrapolation aux structures proches de la surface : faisabilité 169
(a) (b) (c) (d)
(e)
Fig. 5.17 Extrapolation de la déformation aux volumes d'intérêt. (a) et (b) Reconstruction
stéréoscopique et modèle patient avant déformation, de face et de prol ; (c) Reconstructions
stéréoscopiques à deux moments de l'intervention : avant les déformations préservées par la
membrane arachnoïde et après les déformations en dessous. (d) et (e) Reconstruction stéréo-
scopique après ouverture de l'arachnoïde avec la nouvelle position des volumes extrapolées, de
face et de prol.
Fig. 5.18 La méthode d'extrapolation appliquée au cortex. La reconstruction stéréoscopique

après déformation a guidé la déformation du cortex, en la pondérant par rapport à la distance
avec k = 10. L'amplitude des déformations en dehors du volet osseux est peu probable.
X ∗ = W (r) ∗ X e + (1 − W (r)X (5.13)

2
avec (W (r) = e−kr , X la position initiale du point dans nos essais. X e est la position d'un
point extrapolé par TPS log R [Cor03]. r est la distance du volume d'intérêt à la surface,
calculée comme la distance au point le plus proche. Le paramètre k décide de la forme de la
fonction de pondération, et est choisi, arbitrairement, pour un point d'inexion à 10 millimètres.
Cette fonction est représentée sur la gure 5.19. La deuxième méthode consiste à prolonger les
Fig. 5.19 Méthode : Fonction u(t) = exp−kt utilisée dans l'équation 5.11 de ψ , avec k calculé
pour u00 (0) = 10
vecteurs déformations en surfaces, pour qu'ils "poussent" les surfaces des structures segmentées
dans la même direction, et avec une intensité pondérée par la distance euclidienne au point
d'application du vecteur rencontré. Nous n'avons malheureusement pas pu vérier la légitimité
de notre approche par validation croisée avec les ultrasons, à cause d'un problème de recalage
patient image, comme le montre la gure 5.16.
5.9 Discussion
Nous avons montré, dans les chapitres 3 et 4, que la précision des reconstructions brutes
était susante pour quantier les déformations cérébrales. Dans ce chapitre, nous avons présenté
une nouvelle méthode de recalage de surface, pouvant être appliquée à n'importe quel système
d'acquisition de surface associant une texture et une surface reconstruite à partir d'un nuage
de points, auquel serait associée une vidéo.
5.9.1 Comparaison avec d'autres méthodes

Nous avons montré que la méthode globale de recalage, incluant la précision des recons-
tructions stéréoscopiques, avait une précision de l'ordre de 2 millimètres, ce qui est la précision
annoncée habituelle du recalage rigide patient-image eectué par le système de neuronaviga-
tion, avant déformation. L'hypothèse de recalage de reconstruction stéréoscopique de la surface
du cortex utilisée par [SRF+ 05] est que le point correspondant est le point le plus proche, ce
qui pourrait correspondre à une hypothèse de translation pure, perpendiculaire au volet de
craniotomie. Ce n'est pas le cas, puisque que nous avons montré dans le chapitre 4 et par nos
résultats que la surface du cortex pouvait glisser sous le volet osseux. Dans [MSC+ 03, SDD+ 05],
les auteurs utilisent un recalage 2D non rigide des images texturant les acquisitions de surface
avec une image obtenue par lancer de rayon sur l'IRM préopératoire. Cependant, les images du
champ opératoire sont soumises à de nombreuses occlusions, notamment due aux saignements,
Discussion 171
et la mise en correspondance uniquement 2D peut alors échouer, en particulier après la résec-

tion de la lésion. Cependant, la méthode de lancer de rayon, que les auteurs proposent an
de recaler les images préopératoires avec les images du champ, pourrait également être utilisée
dans notre cas pour corriger toute erreur de recalage de la station de neuronavigation. Si le
recalage patient-image basé sur la peau a une précision susante ou si l'erreur de recalage est
uniquement en translation par rapport à la normale de la zone de craniotomie, nous n'avons
pas ce besoin car une reconstruction stéréoscopique de la peau sut alors à corriger le recalage
patient-image. Si par contre l'erreur de recalage inclut une erreur de rotation ou de translation
dans une autre direction, il faut alors que la reconstruction stéréoscopique de la peau couvre un
champ susamment grand pour que la courbure soit signicative et puisse réduire le problème
d'ouverture du recalage.
Nous avons vu dans le chapitre 4 que d'autres méthodes permettaient d'obtenir le même type
de données de surface que dans notre méthode [SRF+ 05],[MSC+ 03]. La méthode proposée peut
être appliquée à ce type de données que sont les nuages de points reconstruits de la surface
et associés à une texture). La méthode que nous proposons ici présente également un aspect
novateur de par sa modularité : selon l'étape de l'intervention et les données disponibles, la
pondération des termes composant la fonction de coût peut être modiée. Par exemple, au
moment du calcul de la distance entre la dure mère et le cortex, la totalité du poids sera donnée
au terme de distance euclidienne. Si, pour une raison technique, une interruption de la vidéo
a eu lieu, la méthode peut tout de même être utilisée et assure ainsi une approximation de la
déformation au neurochirurgien.
L'utilisation des vaisseaux corticaux apparents pour recaler la surface corticale a été proposée
précédemment dans Nakajima [NAK+ 97]. Les vaisseaux étaient utilises comme des amers na-
turels de recalage mais leur position était dénie manuellement. Cependant, ce travail montre
la validité de notre approche concernant le choix des intersections de vaisseaux comme amers
naturels. Une solution envisageable serait d'extraire les vaisseaux dans les images et d'appliquer
l'algorithme de CONDENSATION [MB98] dans sa forme initiale, c'est à dire avec un vecteur
d'état paramétrant les vaisseaux à suivre. Cependant, l'extraction initiale des vaisseaux n'est
pas une tache facile. D'autres auteurs ont proposé d'utiliser la vidéo pour suivre des déforma-
tions, dans d'autres types de chirurgie, mais à notre connaissance pas de cette manière (voir
section 5.3).
5.9.2 Méthode d'analyse des déformations cérébrales peropératoires

L'extraction de points et leur suivi dans la vidéo se doit d'être limité à un nombre de point
inférieur à 20 pour rester dans des contraintes temps réel. Cependant, l'utilisation seule du suivi
de la position des amers dans la vidéo et de l'interpolation au reste de la surface par Thin-Plate-
Spline ne sut pas, les points clairsemés peuvent ne pas couvrir une déformation. Nous avons
vu dans le chapitre 4 que les déformations en surface et celles en profondeur pouvaient être
diérentes. Le but de notre quantication des déformations de surface est d'avoir une détec-
tion explicite et quantitative des déformations, au lieu de la détection implicite et qualitative
faite par le neurochirurgien. Nous proposons d'utiliser la surface complète du champ opéra-
toire au lieu d'un nombre limité de points acquis au pointeur de neuronavigation. Le champ
de déformation mesuré en surface peut également être couplé à une mesure de volume et à
des informations a priori. C'est une des briques de méthodes de détection, quantication et
correction des déformations cérébrales dans le chapitre 4.
Dans notre méthode, nous calculons un champ dit de déformation entre des éléments qui ne
sont pas les mêmes (par exemple l'os et la dure-mère, ou encore la dure-mère et le cortex). Ces
champs sont à lire comme des cartes de distance. Nous aurions pu choisir de recaler ces diérents
éléments sur les éléments équivalents segmentés sur l'IRM anatomique, mais le problème de
l'ouverture nous semble dans ce cas trop important. La segmentation des diérents éléments
aurait ajouté une nouvelle source d'erreur.
Conclusion Partielle
Notre méthode permet de détecter, quantier et visualiser les déformations peropératoires
de surface. La détection passe, soit par l'inadéquation d'un modèle de suivi, soit par un simple
seuil sur le déplacement des points dans la vidéo ou dans les reconstructions stéréoscopiques.
Les déformations sont quantiées pour chaque point de la surface source. Une moyenne par zone
ou sur la surface globale peut être calculée. La visualisation du champ de déformation sous la
forme d'une carte de couleur et des reconstructions par rapport aux images préopératoires,
dans un mode de virtualité augmentée, permet à toute la salle de visualiser l'information de
déformation dans le modèle virtuel du patient.
Nous n'avons pas mis en place de méthode satisfaisante permettant de quantier les dé-
formations sous la surface à partir des déformations de la surface seules. Cependant, il est
raisonnable, au vu de la littérature, de penser que même si la quantication des déformations
volumiques peut avoir des résultats diérents de la quantication des déformations en surface,
les déformations volumiques n'ont lieu que si des déformations en surface ont lieu. La détec-
tion des déformations surfaciques par l'une des méthodes que nous venons de décrire pourrait
permettre de déclencher automatiquement une mise à jour d'un modèle biomécanique ou du
moins d'alerter un opérateur sur le besoin d'une acquisition volumique. En eet, aujourd'hui les
acquisitions peropératoires, quand elles demandent une interruption d'intervention pour être
acquises, sont acquises à des étapes clefs de l'intervention : avant l'ouverture de la dure-mère,
après ouverture de la dure-mère, en n d'exérèse et éventuellement sur dure-mère refermée.
Pouvoir limiter ces acquisitions peropératoires volumiques au moment ou elles sont réellement
nécessaires, permettrait d'optimiser le ux de travail chirurgical.
173
Chapitre 6
Discussion
6.1 Limitations de notre étude
6.1.1 Virtualité augmentée
La méthode proposée permet d'augmenter le modèle patient avec des informations de di-
mensions 2,5D provenant de la réalité. Cette information est la surface du champ opératoire,
reconstruite par des techniques stéréoscopiques, à laquelle est associée une image provenant
du binoculaire du microscope. Notre méthode d'obtention des scènes de virtualité augmentée
repose sur la précision du recalage patient-image, eectué par la station de neuronavigation. Ce
recalage peut parfois présenter des erreurs de l'ordre de 5mm. Nous avons envisagé d'utiliser les
reconstructions de la surface avant la craniotomie pour parfaire ce recalage, mais le problème
de l'ouverture nous parait trop important, car l'erreur de recalage patient-image peut avoir
plusieurs degrés de liberté. Une solution serait d'utiliser l'algorithme SurfaceMI [MSC+ 03], en
recalant une reconstruction stéréoscopique après ouverture de la dure-mère sur la surface du
cortex de l'examen préopératoire, texturée par lancer de rayon dans l'IRM T1 3 teslas. L'utili-
sation de la texture nous permettrait de nous assurer du bon recalage patient image, de façon
automatique.
Les scènes de virtualité augmentée doivent être visualisées sur un écran extérieur, et manipulées
par un utilisateur autre que le neurochirurgien après le passage en phase stérile de l'opération.
Nous avons déjà souligné que la virtualité augmentée devait être utilisée en complément de la
réalité augmentée. Elle concerne des phases de repos ou de prise de décision, pendant lesquelles
le neurochirurgien ne regarde pas dans le microscope. Concernant l'interaction, le choix des
volumes à acher, présents dans le modèle patient multimodal, peut être préparé lors de la
planication des étapes. On charge aujourd'hui pour chaque étape un chier préparé par étape,
qui permet d'ouvrir uniquement les surfaces d'intérêt pour l'étape, avec la couleur et la trans-
parence déjà sélectionnées. Par ailleurs, aujourd'hui, la reconstruction d'une surface demande
une intervention manuelle, pour lancer le programme de reconstruction. Le calibrage limite
également les acquisitions au moment où les réglages correspondent exactement aux couples
calibrés. Il faudrait calibrer plus de couples, dans la fourchette eectivement utilisée par le
neurochirurgien. Le calibrage est un processus long. Nous avons également pensé à fabriquer
une mire 3D de calibrage automatique, en utilisant des marqueurs reconnaissables directement
par le localisateur, mais nous n'avons pas pu mettre l'idée en oeuvre.
175
176 Discussion
6.1.2 Suivi des déformations surfaciques

Notre méthode permet de nous adapter à toutes les données disponibles, surface, texture
ou suivi vidéo. Cependant, nous manquons encore de recul pour armer sa robustesse. Nous
sommes dans une phase préliminaire, mais l'approche est novatrice. Nous sommes déjà en
mesure de dire que les modèles utilisés pour le suivi vidéo semblent adaptées, mais la règle d'as-
sociation avec la résection n'est pas si évidente. Un mélange simple, à deux gaussiennes, serait
plus adapté. Le système devrait alors être capable de décider du modèle à utiliser. Dans cette
étude, nous ne prenons pas en compte les changements de position et de focale du microscope.
La position du microscope et ses réglages sont connus à tout instant. On peut donc considérer
qu'un modèle de déplacement du microscope pourrait simplement être ajouté dynamiquement
au modèle utilisé pour le suivi [Pir05]. De plus, l'extraction des points ne donne pas toujours
des points réellement d'intérêt. Le suivi des points n'est alors pas possible, ou pas signicatif,
notamment si les points sont extraits sur les bords du champ. Dans ce cas, les points suivis res-
tent sur le bord du champ alors que le parenchyme peut glisser sous les bords de la craniotomie.
Le suivi des déformations et leur quantication n'est pas en temps réel. Les reconstructions
stéréoscopiques sont acquises aujourd'hui en 30 secondes environ avec un intervalle de disparité
de 100 pixels. La mise en correspondance est l'étape la plus longue, on pourrait réduire le temps
de calcul en rajoutant une étape de segmentation grossière du cortex simplement basée sur le
changement de repère couleur HSV (Hue, Saturation, Value ). Cependant, nous n'obtiendrions
toujours pas un suivi temps réel. On pourrait améliorer ce temps de calcul, en parallélisant
sur deux processeurs ou plus, la mise en correspondance faite par ligne épipolaire. Une autre
solution serait de suivre quelques points dans la vidéo de la caméra droite, rectiée et de trouver
le correspondant de ce point dans l'image de gauche rectiée. La mise à jour pourrait rapide-
ment être interpolée par la mise à jour d'une Thin-plate-Spline avec ces points pour points de
contrôle. Nous ne disposons malheureusement que d'une carte vidéo à une entrée, et nous ne
pouvons pas acquérir deux ux vidéo simultanément. Si deux ux peuvent être acquis, l'idée
est de suivre les mêmes points épars dans les deux images et de remettre à jour le modèle de la
surface en appliquant la transformation que les quelques points suivis, uniquement, ont subie.
Deux solutions sont possibles. La première consiste à extraire les mêmes points au temps ti dans
les images gauche et droite, et de lancer un ltre par point et par vidéo. Les paires de points
devraient alors être suivies de la même manière par les ltres. Nous avons expérimentalement
remarqué que le détecteur de point d'intérêt que nous avons utilisé, Harris, n'est pas robuste à
la rotation subie par l'image gauche de la paire stéréoscopique par rapport à l'image droite. Il
est donc nécessaire d'utiliser une autre approche d'extraction ou de s'orienter vers la deuxième
solution. La deuxième solution consiste à extraire les points dans une seule des deux images,
et à chercher leur correspondant au temps ti dans l'image gauche. On peut alors lancer de la
même façon des ltres parallèles sur les deux images. Cependant, si jamais les réglages ou la
position du microscope sont modiés, les matrices de rectication et de reconstruction doivent
être recalculées.
Par ailleurs, les points extraits sont généralement l'intersection de vaisseaux. Nous avons pensé
à suivre des vaisseaux entiers à la place de points, ce qui rendrait plus robuste le suivi vidéo.
Le suivi de courbe consisterait alors à modier l'état point par un état représentant une mo-
délisation de la courbe dessinée par le vaisseau. Cependant l'extraction automatique initiale du
vaisseau ne nous semble pas une tâche aisée.
6.1.3 Correction des déformations cérébrales

L'approche de l'équipe se base sur des acquisitions de surfaces couplées à des acquisitions
échographiques et utilisant le maximum d'information à priori. L'objectif de cette thèse était
Perspectives pour d'autres chirurgies 177
limité à l'approche en surface. Nous avons donc développé une méthode de détection et de
quantication des déformations en surface en utilisant des reconstructions stéréoscopiques. Par
rapport aux premiers essais d'extrapolation réalisés dans la section 5.8, il faudrait, soit pondérer
plus fortement l'interpolation, suivant la distance aux amers, soit extrapoler simplement le
centre de gravité de chacune des surfaces et conserver ainsi la forme originelle des surfaces.
Dans l'expression 5.13, X la position initiale du point dans nos essais devrait dans l'idéal être
la position mesurée par imagerie peropératoire de volume(ultrasons) ou par modèle prédictif ou
biomécanique.
6.1.4 Validation et évaluation de performance

Nous avons dû nous limiter, dans cette thèse, à de l'évaluation de performances techniques
des méthodes proposées. De plus, on peut reprocher à l'évaluation des performances réalisées
pour le suivi des déformations, l'absence d'une réelle référence. La reconnaissance d'amers, faite
visuellement à deux moments diérents, peut être en eet entachée d'erreur. Pour réaliser une
validation technique, il faudrait poser de réelles hypothèses à valider, dépendant du contexte.
Hors aujourd'hui, ces hypothèses ne sont pas bien dénies. Par exemple, quelle est la précision et
la résolution nécessaire en visualisation ? Quelle est la précision et la résolution nécessaire pour
la correction des déformations cérébrales peropératoires ? Nous n'avons donc réalisé qu'une éva-
luation des performances techniques. De plus, l'absence d'une réelle référence rend dicilement
quantiable les performances d'un algorithme de correction des déformations cérébrales. La
validation clinique est encore plus loin. Une réelle évaluation clinique, prenant en compte tous
les niveaux d'évaluation, comme ceux décrits dans [KGB+ 06] ne peut pas être réalisé dans le
cadre d'une thèse, dans un seul centre et avec un seul neurochirurgien. Nous travaillons avec un
neurochirurgien expert, et il est pressenti que les systèmes de chirurgie guidée par l'image sont
plus utiles aux chirurgiens juniors qu'aux chirurgiens experts. Cela a notamment été démontré
pour l'orthopédie [HCS06]. Par ailleurs, lorsque les performances d'un système sont connues,
il est important de les montrer au chirurgien. L'achage d'une marge d'erreur de manière vi-
suelle permet d'améliorer les performances du chirurgien [SME+ 06]. Il serait donc intéressant
de traduire les performances globales de notre système, en achant la marge d'erreur globale
comme une boîte transparente. Il serait également intéressant de compléter cet achage par
une erreur estimée sur chaque recalage, par exemple en utilisant le champ ψ ou la valeur du
critère de corrélation utilisé pour le recalage de deux surfaces. De manière générale, l'achage
de toute erreur prévue de recalage patient-image devrait être fournie au chirurgien, que ce soit
la TRE dans le cas d'un recalage rigide basé points ou une erreur résiduelle point à point lors
du recalage rigide de surface. Un chire seul indiquant une précision moyenne ou minimale n'est
pas susant. Il faut y ajouter une information de localisation de l'erreur.
6.2 Perspectives pour d'autres chirurgies

Nous avons montré que la méthode de recalage basée suivi vidéo était applicable à toutes
données, de surface, associées à des textures avec un ux vidéo. On peut retrouver cette situation
en endoscopie par exemple [SMD+ 05]. Une diculté supplémentaire pour ce type d'application
est la précision des reconstructions stéréoscopiques, diciles à calculer à cause du faible écart
interoculaire d'un endoscope vidéo. Une autre application intéressante serait la chirurgie car-
diaque [OGB+ 05]. De manière plus générale, toutes les chirurgies réalisées à l'aide d'un robot,
tel que le Da Vinci, orent une vision stéréoscopique du champ opératoire au chirurgien. Les
techniques de visualisation et de détection des déformations que nous avons développées pour-
raient aussi être utilisées dans ce contexte.
178 Discussion
La méthode proposée a-t-elle une place au bloc opératoire aujourd'hui ? La plupart des mi-
croscopes chirurgicaux dispose, au moins en option, d'un système vidéo d'acquisition stéréo-
scopique. Les ux vidéo peuvent être acquis directement en numérique ou numérisée et même
stockées au format DICOM (DICOM Izer, Etiam, Rennes, France). Plusieurs équipes s'orientent
vers l'utilisation de casques de réalité augmentée avec acquisition d'un ux vidéo stéréoscopique.
Cependant, aujourd'hui et en l'état, notre méthode ne peut pas être utilisée sans intervention
manuelle. Les méthodes de traitement de la vidéo sont donc utiles dans toutes ces applications.
6.3 Le suivi vidéo :vers un système expert de supervision

6.3.1 Trajectographie de points déformés pour l'indexation vidéo
Les nouveaux standards d'imagerie médicale prennent en compte la vidéo. DICOM, par
exemple, a un groupe de travail spéciquement dédié : DICOM WG 13. La vidéo opératoire
est alors stockée numériquement avec les données du patient. En endoscopie ou en microscopie,
toute la vidéo analogique est archivée. Elle est cependant très peu consultée, car les interventions
sont longues, souvent plusieurs heures. Retrouver un passage précis d'une intervention est très
long et laborieux. L'indexation vidéo semble ici essentielle. Suivre les déformations, pourrait
permettre de détecter les changements d'action. Une autre possibilité, peut-être complémen-
taire, est de suivre les outils dans la vidéo. Plusieurs travaux ont déjà montré la faisabilité de
cette approche [ASS+ 06, RSHS02, LSM+ 05]. Nous avons cherché à appliquer nos ltres de suivi
au suivi de points d'intérêt sur les outils, mais sans succès. Nous l'expliquons par la fréquence
d'acquisition faible de la vidéo. Les outils d'une image à l'autre ont des sauts de déplacements
de plus de 50 pixels, et nous perdons toute information de déplacement. En acquérant les vidéos
à des fréquences plus élevées, nous pourrions, peut-être, réussir à suivre les déplacements, même
rapide, de l'outil, avec un modèle régressif plus réactif que celui que nous avons utilisé.
6.3.2 Évaluation des chirurgiens

Plusieurs auteurs ont déjà démontré que le suivi des outils permettait de diérencier un
chirurgien junior d'un chirurgien senior [DBM+ 04, DAB+ 05, LNA+ 06]. La position et l'orien-
tation des outils étaient suivies grâce à des marqueurs externes et un localisateur. Pour des
outils tels que la pince bipolaire, nous avons montré que le suivi vidéo permettait de détecter
les ouvertures et fermetures de la pince par exemple, mais en sélectionnant manuellement les
points sur chaque image. D'après le rapport du conseil National de la chirurgie [CNC05], des ou-
tils objectifs d'évaluation des performances doivent être mis en place : L'explosion des primes
d'assurance au cours de quatre dernières années a conduit à un déséquilibre entre les honoraires
chirurgicaux et les primes d'assurances en RCP. Seule une meilleure gestion du risque permettra
de contenir cette évolution vers une judiciarisation croissante, comme l'ont fait certaines spécia-
lités (l'anesthésie) Les chirurgiens doivent être évalués tout au long de leur vie professionnelle.
A une auto évaluation permettant un suivi des performances doit être mise en place une évalua-
tion quantitative et qualitative des activités, tant sur le plan médical que médico-économique.
Pour toutes ces raisons, nous pensons ainsi que le suivi vidéo en chirurgie est un domaine
de recherche qui va voir son activité augmenter d'ici peu, ce qui est déjà le cas depuis un an ou
deux.
Conclusion Générale
Nous avons proposé dans cette thèse une méthode de virtualité augmentée et de suivi des
déformations surfaciques, sans contact, non ionisante et sans interruption de la chirurgie ni
déplacement de matériel. La virtualité augmentée permet d'améliorer la visualisation du lien
patient image du système de neuronavigation. Il manque aujourd'hui l'évaluation clinique et
ergonomique de ce système. Les déformations anatomiques cérébrales sont une limitation im-
portante des systèmes de visualisation. Le suivi de déformation de surface, que nous proposons,
est modulaire et novateur, mais il ne constitue a priori qu'une brique d'applications plus glo-
bales. Le bloc suivi de déformations en surface peut toutefois être utilisé seul pour la détection
des déformations en surface et pour l'extrapolation à des structures proches de la surface. Dans
notre cas, utilisés avec le système de neuronavigation, les blocs proposés permettent d'améliorer
le système pour l'application de neurochirurgie guidée par l'image, pour l'exérèse de lésion. Le
microscope chirurgical devient ainsi une modalité d'imagerie peropératoire. Il ne permet que
d'obtenir des informations sur la surface du champ opératoire, mais nous présumons que ces
informations sont utiles à la chirurgie, aussi bien pour la visualisation mixte que pour le suivi
des déformations.
179
180 Discussion
Publications
Articles de journaux
P Paul, O Fleig and P Jannin. Augmented Virtuality Based on Stereoscopic Reconstruction
in Multimodal Image-Guided Neurosurgery : Methods and Performance Evaluation. IEEE Trans
Med Imaging 24(11) :1500-11, 2005.
Conférences internationales ou workshop, avec comité de lec-

ture
P Paul, A Quéré, E Arnaud, X Morandi and P Jannin. A surface registration approach
for video-based analysis of intraoperative brain surface deformations. In Workshop on Aug-
mented Environments for Medical Imaging and Computer-Aided Surgery (Miccai workshop)
AMI-ARC'06, Copenhagen (Denmark), Octobre 2006.
P Paul, O Fleig, S Tranchant and P Jannin. Performance evaluation of a stereoscopic based

3D surface localiser for image-guided neurosurgery. In MICCAI 2004, Saint Malo (France),
Pages 510-7, Octobre 2004.
Conférences internationales, sur résumé avec comité de lec-

ture
P Paul, O Fleig, X Morandi and P Jannin. Virtualité augmentée en neurochirurgie guidée
par l'image. In Surgetica'05, Chambéry (France), Pages 99-104, 2005.
J Cohen-Adad, P Paul, X Morandi and P Jannin. Knowledge modeling in image guided

neurosurgery : application in understanding intra-operative brain shift. In SPIE Medical Ima-
ging : Visualization, Image-Guided Procedures and Display, San Diego, California USA, Février
2006.
181
182 Discussion
Annexe A
Quelques notions d'anatomie

cérébrale
Nous présentons ici une anatomie simpliée du cerveau. Le cerveau proprement dit est formé
de deux hémisphères cérébraux, d'aspect plissé dont la substance blanche, interne, est recouverte
d'un cortex cérébral gris, d'épaisseur variable. Le cortex est lui même recouvert de plusieurs
méninges (membrane de protection) :
-la peau ;
-l'os ;
-la dure-mère, méninge un peu opaque, blanchâtre. ;
-l'arachnoïde, méninge ne et transparente ;
-la pie-mère, méninge très ne et transparente, complètement collée au cortex.
Le cerveau baigne dans un liquide appelé liquide céphalo-rachidien ou LCR.
Fig. A.1 Coupe verticale du cerveau
183
184 Quelques notions d'anatomie cérébrale
Fig. A.2 Exemple de position d'un cavernome
Fig. A.3 A gauche coupe sagittale sur une IRM pour montrer les sillons (orange) et les
gyri (bleu). A droite, vue du cortex pendant l'opération à travers un oculaire du microscope
chirurgical. Un exemple de sillon (orange) et de gyrus (bleu), ainsi que de vaisseaux (vert),
sont échés. En bas à gauche de l'image provenant du microscope, on peut voir un bout de la
membrane arachnoïde qui n'a pas été retirée.
Annexe B
Deux exemples de ltres

particulaires
B.1 Filtre conditionnel pour le suivi de point avec estima-

tion du modèle d'évolution
Dans [AMCF05], un état Xk correspond à la projection 2D d'un point, donc sa position
(x, y) dans l'image k de la séquence d'image. Une image de référence I0 est dénie. Les points
à suivre sont sélectionnés par le ltre suivant.
Z · ¸
5Ix2 5Iy 5 Ix
T (x0 ) =
W (x0 ) 5Ix 5 Iy 5Iy2
L'équation dynamique conditionnelle p(xk |xk−1 , I0:k ) est dénie de la manière suivante :
- dans le cas d'un mouvement dominant, le même mouvement est appliqué à toute l'image.
xk = Axk−1 + bk + wk
avec A matrice de rotation et b vecteur translation. wk est un bruit blanc.

- dans le cas d'un mouvement paramétrique local, le support est un petit domaine de l'image
et le vecteur paramètre dépend de l'état courant (i.e., la position du point dans l'image).
p(xk |xk−1 , I0:k ) = N (xk−1 + P (xk−1 )θk , Qk )
avec Qk variance du bruit wk et P (xk−1 )θk dénissant un vecteur mouvement :

· ¸
1 x y 0 0 0
P (xk ) = .
0 0 0 1 x y
Le vecteur de paramètre θk est déni sur la séquence d'image :
θk = argminθ φ(θ)
X
φ(θ) = ρ(Ik (X + P (X)θ) − Ik−1 (X))
X∈support
où ρ est une fonction non quadratique et robuste, minimisée par un Gauss-Newton avec
une procédure multirésolution.
185
186 Deux exemples de ltres particulaires
L'équation de mesure yk conditionnelle est dénie par un pic de corrélation sur les moindres
carrés : X
yk = argminy (I0 (x0 + p) − Ik (y + p))2
p∈W
D'après [AMCF05], ce critère ore une bonne estimation de la covariance du bruit de mesure
et donc permet à l'algorithme d'être plus résistant au bruit. Une mesure de conance dans
la réponse ltrée pourrait être calculée en estimant la covariance empirique sur le nuage de
particules.
B.2 Filtre conditionnel pour le suivi de courbe

D'autres algorithmes basés sur des états plus complexes ont été proposés. Dans [IB98b,
IB98a], le but est de suivre des courbes, modélisées par des B-splines. Soit X une paramétrisation
de la courbe. Dans [IB98b], il s'agit d'une paramétrisation linéaire mais ce n'est pas une nécessité
pour l'algorithme.
x = r(s, t) = (B(s).Qx (t), B(s).Qy (t))
avec B(s) le vecteur des fonctions de bases de la B-Spline et Qx et Qy , les vecteurs de points
de contrôle. L'extraction des courbes peut se faire de plusieurs façons. Le modèle dynamique
est
xk − x = A(xk−1 − x) + Bwk
avec Bwk le bruit, x la valeur moyenne de l'état et
µ ¶
Xk−1
xk = .
Xk
. Dans leur expérimentation, la dénition de la courbe était manuelle. Un modèle de mouvement

a été appris en utilisant un ltre de Kalman, sur des données sans encombrement.
Le modèle de mesure est déni par p(z|x).
p(xt |Zt ) = kt p(zt |xt )p(xt |Zt−1 ) (B.1)
p(xt |Zt−1 ) = /intXt−1 p(xt |xt−1 )p(xt−1 |Zt−1 ) (B.2)

On détaille ici l'algorithme de ltrage particulaire, également appelé CONDENSATION. On
considère le résultat de l'itération t − 1 : p(xt−1 |Zt−1 ) représentée par les particules snt−1 et
n
leurs poids πt−1 . On considère également les poids cumulés cnt−1 . On échantillonne de nou-
velles particules à partir de cette densité de probabilité. Pour échantillonner, un nombre r
est généré aléatoirement. Le plus petit j tel que cjt−1 ≥ r est recherché par dichotomie. On
pose alors snt = sjt−1 La phase de prédiction se fait en deux étapes : on applique d'abord le
processus déterministe, correspondant au modèle dynamique, à ce nouvel ensemble de par-
ticules p(xt |xt−1 = snt ), snt = P (snt , wt ). Puis on sépare les particules tirées au même endroit
en leur appliquant un mouvement aléatoire (appelé mouvement brownien). Ces nouvelles par-
ticules constituent l'ensemble st qui représente donc un échantillonnage de la densité a priori
p(xt |Zt−1 ). Cet échantillonnage est une alternative au calcul compliqué et parfois impossible
dans les cas non-linéaires de l'expression (2).
Bibliographie
[AC99] MLJ Apuzzo and JC Chen. Stereotaxy, navigation and the temporal concate-
nation. Stereotact Funct Neurosurg, 72 :828, 1999.
[AFP00] MA Audette, F Ferrie, and T Peters. An algorithmic overview of surface
registration techniques for medical imaging. Med Image Anal, 4 :20117, 2000.
[AKDJ03] D Amin, T Kanade, A Digioia, and B Jaramaz. Ultrasound registration of the
bone surface for surgical navigation. Comput Aided Surg, 8(1) :116, 2003.
[Ake98] K-P Akesson. Augmented virtuality : A method to automatically augment vir-
tual worlds with video images. Master's thesis, Swedish Institute of Computer
Science, 1998.
[AM79] BDO Anderson and JB Moore. Optimal Filtering. Englewood Clis, NJ :
Prentice Hall, 1979.
[AMCF05] E Arnaud, E Memin, and B Cernuschi-Frías. Conditional lters for image
sequence-based tracking - application to point tracking. IEEE Trans Image
Process, 14(1) :6379, 2005.
[AMGC02] M Arulampalam, S Maskell, N Gordon, and T Clapp. A tutorial on particle
lters for online non linear/non-gaussian bayesian tracking. IEEE Trans Image
Process, 50(2), 2002.
[ASFP03] MA Audette, K Siddiqi, FP Ferrie, and TM Peters. An integrated range-
sensing, segmentation and registration framework for the characterization of
intra-surgical brain deformations in image-guided surgery. Comput Vis Image
Underst, 89 :22651, 2003.
[ASP99] M Audette, K Siddiqi, and T Peters. Level-set surface segmentation and fast
cortical range image tracking for computing intrasurgical deformations. In
MICCAI, pages 78897, 1999.
[ASS+ 06] S-A Ahmadi, T Sielhorst, R Stauder, M Horn, H Feussner, and N Navab.
Recovery of surgical workow without explicit models. In MICCAI part I,
pages 4208, 2006.
[Azu97] RTA Azuma. A survey of augmented reality. In Presence : Teleoperators and
Virtual Environments, volume 6, pages 35585. 1997.
[BBDL06] G Batan, S Ben Dadi, and M Laborde. Les systèmes de navigation en neuro-
chirurgie. Master's thesis, MASTER Management des Technologies en Santé
(MTS), UTC, 2006.
[BFH+ 02] W Birkfellner, M Figl, K Huber, F Watzinger, F Wanschitz, J Hummel, R Ha-
nel, W Greimel, P Homolka, R Ewers, and Bergmann H. A head-mounted
operating binocular for augmented reality visualization in medicinedesign and
initial evaluation. IEEE Trans Med Imaging, 21(8) :9917, 2002.
187
188 Bibliographie
[BFM+ 03] W Birkfellner, M Figl, C Matula, J Hummel, R Hanel, H Imhof, F Wanschitz,

A Wagner, F Watzinger, and H Bergmann. Computer-enhanced stereoscopic
vision in a head-mounted operating binocular. Phys Med Biol, 48(3) :4957,
2003.
[BG05] RJ Benveniste and I M Germano. Correlation of factors predicting intraope-
rative brain shift with successful resection of malignant brain tumors using
image-guided techniques. Surg Neurol., 63 :5429, 2005.
[BHP+ 99] SA Boppart, J Herrmann, C Pitris, DL Stamper, ME Brezinski, and JG Fuji-
moto. High-resolution optical coherence tomography-guided laser ablation of
surgical tissue. J Surg Res, 82(2) :27584, 1999.
[BII+ 06] SC Bunce, M Izzetoglu, K Izzetoglu, B Onaral, and K Pourrezaei. Functional
near-infrared spectroscopy. IEEE Eng Med Biol Mag, 25(4) :5462, 2006.
[BM93] PJ Besl and ND McKay. A method of registration of 3-D shapes. IEEE Trans
Pattern Anal Mach Intell, 14(2) :23956, 1993.
[BN06] C Bichlmeier and N Navab. Virtual window for improved depth perception
in medical ar. In International Workshop on Augmented Reality environments
for Medical Imaging and Computer-aided Surgery (AMI-ARCS 2006), Copen-
hagen, Denmark, October 2006, 2006.
[BSN06] C Bichlmeier, T Sielhorst, and N Navab. The tangible virtual mirror : New vi-
sualization paradigm for navigated surgery. In International Workshop on Aug-
mented Reality environments for Medical Imaging and Computer-aided Surgery
(AMI-ARCS 2006), Copenhagen, Denmark, October 2006, 2006.
[BYT+ 97] RD Bucholz, DD Yeh, J Trobaugh, LL McDurmont, CD Strum, and C Bau-
mann. The correction of stereotactic inaccuracy caused by brain shift using an
intraoperative ultrasound device. In J Troccaz, E Grimson, and R Moesges,
editors, CVRMed-MRCAS, pages 45966, 1997.
[CAPMJ06] J Cohen-Adad, P Paul, X Morandi, and P Jannin. Knowledge modeling in
image guided neurosurgery : application in understanding intra-operative brain
shift. In K Cleary and J Galloway, editors, SPIE Medical Imaging : Visua-
lization, Image-Guided Procedures and Display, San Diego, California USA,
February 2006. 6141-87.
[CB05] C Ciofolo and C Barillot. Brain Segmentation with Competitive Level Sets
and Fuzzy Control. In IPMI, pages 33344, 2005.
[CC93] LD Cohen and I Cohen. Finite-element methods for active contour models
and balloons for 2-D and 3-D images. IEEE Trans Pattern Anal Mach Intell,
15(11) :113147, 1993.
[CDM06] A Cao, P Dumpuri, and MI Miga. Tracking cortical surface deformations based
on vessel structure using a laser range scanner. In ISBI, pages 5225, 2006.
[CDT+ 05] O Clatz, H Delingette, IF Talos, AJ Golby, R Kikinis, FA Jolesz, N Ayache,
and SK Wareld. Robust nonrigid registration to capture brain shift from
intraoperative MRI. IEEE Trans Med Imaging, 24(11) :141727, 2005.
[Ce95] P Cinquin and et al. Computer assisted medical interventions : passive and
semi-active aids. IEEE Eng Med Biol Mag, 14(3) :25463, 1995.
[CHB05] P Coupé, P Hellier, and C Barillot. Etat de l'art des méthodes de correction
des déformations cérébrales per-opératoires. Technical Report 1724, IRISA,
2005.
Bibliographie 189
[CKM05] K Cleary, A Kinselle, and S K Mun. Or 2020 workshop report : Operating

room of the future. In CARS, International Congress series 1281, pages 8328,
2005.
[CMZ+ 01] DL Collins, J Montagnat, AP Zijdenbos, AC Evans, and DL Arnold. Auto-
mated estimation of brain volume in multiple sclerosis with BICCR. In IPMI,
page 141, 2001.
[CNC05] Recommandations du conseil national de la chirurgie.
http ://www.sante.gouv.frhtm/actu/reco_cnc/recommandations.pdf, Sep-
tembre 2005.
[Cor03] I Corrouge. Modélisation statistique de formes en imagerie cérébrale. PhD
thesis, IFSIC, 2003.
[Cox96] J Cox. Montreal Med J, (24) :6615, 1896.
[CR00] H Chui and A Rangarajan. A new algorithm for non-rigid point matching.
In IEEE CVPR, 2000. available at http ://noodle.med.yale.edu/∼chui/tps-
rpm.html.
[CR05] PJ Cassidy and GK Radda. Molecular imaging perspectives. J R Soc Interface,
2(3) :13344, 2005.
[CSC+ 05] TJ Carter, M Sermesant, DM Cash, D Barratt, C Tanner, and DJ Hawkes.
Application of soft tissue modelling to image-guided surgery. Med Eng Phys.,
27(10) :893909, 2005.
[CSFP00] RM Comeau, AF Sadikot, A Fenster, and TM Peters. Intraoperative ultrasound
for guidance and tissue shift correction in image-guided neurosurgery. Med
Phys., 27 :787800, 2000.
[CSHS+ 01] AD Castellano-Smith, T Hartkens, JA Schnabel, DR Hose, H Liu, WA Hall,
CL Truwit, DJ Hawkes, and DL Hill. Constructing patient specic models for
correcting intraoperative brain deformation. In MICCAI, pages 10918, 2001.
[CSHS+ 02] AD Castellano-Smith, T Hartkens, JA Schnabel, DR Hose, H Liu, WA Hall,
CL Truwit, DJ Hawkes, and DL Hill. Registration-based mesh construction
technique for nite-element models of brains. In SPIE Medical Imaging : Image
Processing, pages 53849, 2002.
[CWP05] MA Cardin, JX Wang, and DB Plewes. A method to evaluate human spatial
coordination interfaces for computer-assisted surgery. In MICCAI (2), pages
916, 2005.
[CZHT+ 96] AC Colchester, J Zhao, KS Holton-Tainter, CJ Henri, N Maitland, PT Ro-
berts, CG Harris, and RJ Evans. Development and preliminary evaluation of
VISLAN, a surgical planning and guidance system using intra-operative video
imaging. Med Image Anal, 1(1) :7390, 1996.
[DAB+ 05] A Dosis, R Aggarwal, F Bello, K Moorthy, Y Munz, D Gillies, and A Darzi.
Synchronized video and motion analysis for the assessment of procedures in
the operating theater. Arch Surg, 140(3) :2939, 2005.
[DAV+ 98] NL Dorward, O Alberti, B Velani, FA Gerritsen, WF Harkness, ND Kitchen,
and DG Thomas. Postimaging brain distortion : magnitude, correlates, and
impact on neuronavigation. J Neurosurg., 88(4) :65662, 1998.
[DBM+ 04] A Dosis, F Bello, K Moorthy, Y Munz, D Gillies, and A Darzi. Real-time
synchronization of kinematic and video data for the comprehensive assessment
of surgical skills. MMVR, 98 :828, 2004.
190 Bibliographie
[DCSea99] H Duau, L Capelle, J P Sichez, and et al. Intraoperative direct electrical

stimulations of the central nervous system : the Salpêtrière experience with 60
patients. Acta Neurochir (Wien), 141 :115767, 1999.
[DCY05] F Deligianni, A Chung, and G-Z Yang. Predictive camera tracking for bron-
choscope simulation with CONDensation. In MICCAI, pages 910916, 2005.
[DdFG01] A Doucet, N de Freitas, and N Gordon, editors. Sequential Monte Carlo me-
thods in practice. New York : Springer-Verlag, Series Statistics for Engineering
and Information Science, 2001.
[Dev97] F Devernay. Vision stéréoscopique et propriétés diérentielles des surfaces.
PhD thesis, Ecole Polytechnique, 1997.
[DF94] F Devernay and O Faugeras. Computing dierential properties of 3-D shapes
from stereoscopic images without 3-D models. Rapport de recherche, INRIA,
1994.
[DGS+ 02] D Dey, DG Gobbi, PJ Slomka, KJM Surry, and TM Peters. Automatic fusion
of freehand endoscopic brain images to three-dimensional surfaces : creating
stereoscopic panoramas. IEEE Trans Med Imaging, 21(1) :2330, 2002.
[dlFOS+ 05] M de la Fuente, JA Ohnsorge, E Schkommodau, S Jetzki, DC Wirtz, and K Ra-
dermacher. Fluoroscopy-based 3-D reconstruction of femoral bone cement : a
new approach for revision total hip replacement. IEEE Trans Biomed Eng,
52(4) :66475, 2005.
[DSAK01] C Davatzikos, D Shen, M Ashraf, and SK Kyriacou. A framework for predictive
modeling of anatomical deformation. IEEE Trans Med Imaging, 20(8) :83643,
2001.
[DSD+ 03] V Duay, TK Sinha, P-F D'Haese, M I Miga, and B M Dawant. Non-rigid re-
gistration of serial intra-operative images for automatic brain shift estimation.
In WBIR, pages 6170, 2003.
[DSS+ 06] M Das, F Sauer, UJ Schoepf, A Khamene, SK Vogt, S Schaller, R Kikinis,
E vanSonnenberg, and SG Silverman. Augmented reality visualization for CT-
guided interventions : system description, feasibility, and initial evaluation in
an abdominal phantom. Radiology, 240(1) :2305, 2006.
[Dub01] E Dubois. Chirurgie Augmentée, un cas de Réalité Augmentée. Conception et
réalisation centrées sur l'utilisateur. PhD thesis, Laboratoire de Communica-
tion Langagière et Interaction Personne-Système (IMAG), Université Joseph
Fourier, Grenoble, France, 2001.
[EBM+ 06] Y Enchev, O Bozinov, D Miller, W Tirakotai, S Heinze, L Benes, H Bertalany,
and U Sure. Image-guided ultrasonography for recurrent cystic gliomas. Acta
Neurochir (Wien), Aug 2006.
[EKM+ 00] PJ Edwards, AP King, CR Jr Maurer, DA de Cunha, DJ Hawkes, DL Hill,
RP Gaston, MR Fenlon, A Jusczyzck, AJ Strong, CL Chandler, and MJ Glee-
son. Design and evaluation of a system for microscope-assisted guided inter-
ventions (MAGI). IEEE Trans Med Imaging, 19(11) :108293, 2000.
[EVF94] R Encisco, T Viéville, and O Faugeras. Approximation du changement de
focale et de mise au point par une transformation ane à trois paramètres.
Traitement du Signal, 11 :36172, 1994.
[FA96] J Feldmar and N Ayache. Rigid, ane and locally ane registration of free-
form surfaces. Int J Computer Vision, 18(2) :99119, 1996.
Bibliographie 191
[Fah06] T Fahmy. State of the art in volume rendering. In S Casciaro and A Distante,
editors, Minimally Invasive Therapies & Novel EmbeddedTechnology Systems,
Text Book of the 2006 Summer School, pages 1558. ARIS*ER Network, 2006.
[Fau93] O Faugeras. Three-Dimensional Computer Vision, a Geometric Viewpoint.
MIT Press, 1993.
[FDF+ 05] G Fichtinger, A Deguet, G Fischer, I Iordachita, E Balogh, K Masamune,
RH Taylor, LM Fayad, M de Oliveira, and SJ Zinreich. Image overlay for
CT-guided needle insertions. Comput Aided Surg, 10(4) :24155, 2005.
[FDMA97] J Feldmar, J Declerck, G Malandain, and N Ayache. Extension of the ICP
algorithm to nonrigid intensity-based registration of 3D volumes. Comput Vis
Image Underst, 66(2) :193206, 1997.
[FDS+ 06] GS Fischer, A Deguet, D Schlattman, R Taylor, L Fayad, SJ Zinreich, and
G Fichtinger. MRI image overlay : applications to arthrography needle inser-
tion. Stud Health Technol Inform, 119 :1505, 2006.
[FDSJ01] OJ Fleig, F Devernay, J-M Scarabin, and P Jannin. Surface reconstruction
of the surgical eld from stereoscopic microscope views in neurosurgery. In
CARS, pages 25964, Berlin, Germany, 2001.
[FLR+ 98] H Fuchs, MA Livingston, R Raskar, D Colucci, K Keller, A State, JR Crawford,
P Rademacher, SH Drake, and A Meyer. Augmented reality visualization for
laparoscopic surgery. In MICCAI, pages 93443, 1998.
[FM96] G Florou and R Mohr. What accuracy for 3D measurements with cameras ?
In International Conference on Pattern Recognition, volume 1, pages 3548,
1996.
[FNM+ 02] M Ferrant, A Nabavi, B Macq, P Mcl Black, F a Jolesz, R Kikinis, and S K
Wareld. Serial registration of intraoperative MR images of the brain. Med
Image Anal, 6(4) :33759, 2002.
[FSHR89] EM Friets, JW Strohbehn, JF Hatch, and DW Roberts. A frameless stereotaxic
operating microscope for neurosurgery. IEEE Trans Biomed Eng, 36(6) :608
17, 1989.
[FWM98] JM Fitzpatrick, JB West, and CR Maurer. Predicting error in rigid-body,
point-based registration. IEEE Trans Med Imaging, 17(5) :694702, 1998.
[GCP00] DG Gobbi, RM Comeau, and TM Peters. Ultrasound/MRI overlay with image
warping for neurosurgery. In MICCAI, pages 10614, 2000.
[GDEF03] P Grunert, K Darabi, J Espinosa, and R Filippi. Computer-aided navigation
in neurosurgery. Neurosurg Rev, 26 :7399, 2003.
[GEW+ 96] WEL Grimson, GJ Ettinger, SJ White, T Lozano-Pérez, WM Wells, and R Ki-
kinis. An automatic registration method for frameless stereotaxy, image gui-
ded surgery, and enhanced reality visualization. IEEE Trans Med Imaging,
15(2) :12940, 1996.
[GFN+ 99] O Ganslandt, R Fahlbucch, C Nimsky, H Kober, M Moller, R Steinmeier,
J Romstock, and J Vieth. Functional neuronavigation with magnetoencepha-
lography : outcome in 50 patients with lesions around the motor cortex. J
Neurosurg, 91 :739, 1999.
[GGS+ 05] T Gasser, O Ganslandt, E Sandalcioglu, D Stolke, R Fahlbusch, and C Nimsky.
Intraoperative functional MRI : Implementation and preliminary experience.
Neuroimage, 26(3) :68593, 2005.
192 Bibliographie
[GIA+ 06] K Gary, L Ibanez, S Aylard, D Gobbi, MB Blake, and K Cleary. IGSTK : An
open-source software toolkit for image-guided surgery. Computer, 39(4) :4653,
2006.
[GKA+ 94] PL Gleason, R Kikinis, D Altobelli, W Wells, E Alexander, P M Black, and
F Jolesz. Video registration virtual reality for nonlinkage stereotactic surgery.
Stereotact Funct Neurosurg, 63 :13943, 1994.
[GNK+ 01] DT Gering, A Nabavi, R Kikinis, N Hata, L O'Donnell, WE Grimson, F Jo-
lesz, P Black, and WM Wells. An integrated visualization system for surgical
planning and guidance using image fusion and an open MR. J Magn Reson
Imaging, 6(13) :96775, 2001.
[GOSH02] M Gr®ger, T Ortmaier, W Sepp, and G Hirzinger. Tracking local motion on
the beating heart. In SPIE Medical Imaging Conference, volume 4681, pages
23341, 2002.
[GSS+ 05] T Gasser, E Sandalcioglu, B Schoch, E Gizewski, M Forsting, D Stolke, and
H Wiedemayer. Functional magnetic resonance imaging in anesthetized pa-
tients : a relevant step toward real-time intraoperative functional neuroimaging.
Neurosurgery, 2005.
[GW03] N Glossop and Z Wang. Projection augmented reality system for computer-
assisted surgery. In CARS, volume 1256, pages 6571, 2003.
[Hat06] http ://www.ncigt.org/ourwork/proj_amigo.html, 2006.
[HB03] P Hellier and C Barillot. Coupling dense and landmark-based approaches for
nonrigid registration. IEEE Trans Med Imaging, 22(2) :21727, 2003.
[HBB+ 05] DJ Hawkes, D Baratt, JM Blackall, C Chan, PJ Edwards, K Rhode, GP Pen-
ney, J McClelland, and DLG Hill. Tissue deformation and shape models in
image-guided interventions : a discussion paper. Med Image Anal, 9 :16375,
2005.
[HBP+ 04] KV Hansen, L Brix, CF Pedersen, JP Haase, and OV Larsen. Modelling of
interaction between a spatula and a human brain. Med Image Anal, 8(1) :2333,
2004.
[HCS06] PH Hsieh, YH Chang, and CH Shih. Image-guided periacetabular osteotomy :
computer-assisted navigation compared with the conventional technique : A
randomized study of 36 patients followed for 2 years. Acta Orthop, 77(4) :591
7, 2006.
[HDR+ 01] H Hoppe, S Dauber, J Raczkowsky, H Worn, and JL Moctezuma. Intraopera-
tive visualization of surgical planning data using video projectors. Stud Health
Technol Inform, 81 :2068, 2001.
[Hel00] P Hellier. Recalage non rigide en imagerie cérébrale : méthodes et validation.
PhD thesis, Université de rennes 1, 2000.
[HHCS+ 03] T Hartkens, DLG Hill, AD Castellano-Smith, DJ Hawkes, CR Maurer, AJ Mar-
tin, WA Hall, H Liu, and CL Truwit. Measurement and analysis of brain de-
formation during neurosurgery. IEEE Trans Med Imaging, 22(1) :8292, 2003.
[HMM+ 98] D Hill, CR Maurer, R Maciunas, J Barwise, JM Fitzpatrick, and MY Wang.
Measurement of intraoperative brain surface deformation under a craniotomy.
Neurosurgery, 43(3) :51426, 1998.
[HR94] G Horstmann and H Reinhardt. Ranging accuracy test of the sonic micros-
tereometric system. instrumentation assessment. Neurosurgery, 34(4) :75455,
1994.
Bibliographie 193
[HRS02] A Hagemann, K Rohr, and HS Stiehl. Coupling of uid and elastic models for
biomechanical simulations of brain deformations using FEM. Med Image Anal,
6(4) :37588, 2002.
[HRSN+ 00] P Hastreiter, C Rezk-Salama, C Nimsky, C Lurig, G Greiner, and T Ertl. Regis-
tration techniques for the analysis of the brain shift in neurosurgery. Computers
& Graphics, 24 :3859, 2000.
[HRSS+ 04] P Hastreiter, C Rezk-Salama, G Soza, M Bauer, G Greiner, R Fahlbusch,
O Ganslandt, and C Nimsky. Strategies for brain shift evaluation. Med Image
Anal, 8(4) :44764, 2004.
[HS81] BKP Horn and BG Shunk. Determining optical ow. Articial Intelligence,
17 :185203, 1981.
[HS88] C Harris and M Stephens. A combined corner and edge detector. In 4th Avey
Vision Conference, pages 14751, 1988.
[IB98a] M Isard and A Blake. CONDENSATIONconditional density propagation for
visual tracking. Int J Comput Vis, 1(29) :528, 1998.
[IB98b] M Isard and A Blake. A mixed-state CONDENSATION tracker with automatic
model-switching. In ICCV, pages 107112, 1998.
[IR96] S-L Iu and KW Rogovin. Registering perspective contours with 3-D objects
without correspondance using othogonals polynomials. In VRAIS, pages 3744,
1996.
[Jan05] P Jannin. De la neurochirurgie guidée par l'image, au processus neurochirur-
gical assitée par la connaissance et l'information, chapter Chapitre 4 : Vali-
dation des méthodes de traitement d'images en chirurgie guidée par l'image.
IRISA+IFSIC, Campus de Beaulieu, F-35042 Rennes Cedex, 2005.
[JBJS96] P Jannin, A Bouliou, E Journet, and J-M Scarabin. A ray-traced texture
mapping for enhanced virtuality in image-guided neurosurgery. Stud Health
Technol Inform, 29 :55363, 1996.
[JBS+ 97] P Jannin, A Bouliou, J-M Scarabin, C Barillot, and J Luber. Visual matching
between real and virtual images in image guided neurosurgery. In SPIE Medical
Imaging, volume 3031, pages 51826, 1997.
[JFS+ 00] P Jannin, OJ Fleig, E Seigneuret, C Grova, X Morandi, and J-M Scarabin.
A data fusion environment for multimodal and multi-informational neuro-
navigation. Comput Aided Surg, 5(1) :110, 2000.
[JGG01] P Jannin, C Grova, and B Gibaud. Fusion de données en imagerie médicale :
revue méthodologique basée sur le contexte clinique. ITBM-RBM, (22) :196
215, 2001.
[JGM06] P Jannin, C Grova, and CR Maurer. Model for dening and reporting reference-
based validation protocols in medical image processing. Int J Computer As-
sisted Radiology and Surgery, 1(2) :6373, 2006.
[JK99] AE Johnson and SB Kang. Registration and integration of textured 3D data.
Image and Vision Computing, 17(2) :13547, 1999.
[JMF+ 02] P Jannin, X Morandi, OJ Fleig, E Le Rumeur, P Toulouse, B Gibaud, and
J-M Scarabin. Integration of sulcal and functional information for multimodal
neuronavigation. J Neurosurg, 96(4) :71323, 2002.
[Jol97] FA Jolesz. Image-guided procedures and the operating room of the future.
Radiology, 204(3) :60112, 1997.
194 Bibliographie
[JRF+ 02] P Jannin, M Raimbault, OJ Fleig, X Morandi, JM Scarabin, and B Gibaud.

Neuronavigation multi-modalité. In J Troccaz and P Merloz, editors, Surgetica,
pages 17480, 2002.
[KBP+ 00] AP King, JM Blackall, GP Penney, PJ Edwards, DLG Hill, and DJ Hawkes.
Bayesian estimation of intra-operative deformation for image-guided surgery
using 3-D ultrasound. In MICCAI, pages 588597, 2000.
[KBP+ 01] AP King, PG Batchelor, GP Penney, JM Blackall, DLG Hill, and DJ Hawkes.
Estimating sparse deformation elds using multiscale bayesian priors and 3-d
ultrasound. In IPMI, pages 15561, 2001.
[Kel98a] PJ Kelly. Intraoperative brain shift and deformation : a quantitative analysis
of cortical displacement in 28 cases. Neurosurgery, 43(4) :759, 1998. Commen-
taries.
[Kel98b] PJ Kelly. Measurement of intraoperative brain surface deformation under a
craniotomy. Neurosurgery, 43(3) :5278, 1998. Commentaries.
[KGB+ 06] W Korb, R Grunert, O Burgert, HU Lemke, A Dietz, V Falk, S Jacobs,
J Meixensberger, G Strauss, and C Trantakis. An assessment model of the
ecacy of image guided therapy. In CARS, page 515, 2006.
[KKGE86] PJ Kelly, BA Kall, S Goerss, and F Earnest. Computer-assisted stereotaxic
laser resection of intra-axial brain neoplasms. J Neurosurg, 64 :42739, 1986.
[KKK+ 97] M Kabuto, T Kubota, H Kobayashi, T Nakagawa, H Ishii, H Takeuchi, R Kitai,
and T Kodera. Experimental and clinical study of detection of glioma at
surgery using uorescent imaging by a surgical microscope after uorescein
administration. Neurol Res., 19(1) :916, 1997.
[KKK+ 06] J Kettenbach, DF Kacher, AR Kanan, B Rostenberg, J Fairhurst, A Stad-
ler, K Kienreich, and FA Jolesz. Intraoperative and interventional mri : re-
commendations for a safe environment. Minim Invasive Ther Allied Technol,
15(2) :5364, 2006.
[KLB03] GE Keles, LR Lamborn, and MS Berger. Coregistration accuracy and de-
tection of brain shift using intraoperative sononavigation during resection of
hemispheric tumors. Neurosurgery, 53(3) :55662, 2003.
[KMS06] MF Khan, K Mewes, and O Skrinjar. Brain shift analysis for deep brain
stimulation surgery. In ISBI, pages 654657, 2006.
[KSK96] R Klette, K Schluns, and A Koshan. Computer Vision, Three-Dimensional
Data from Images. Springer, 1996.
[lA05] CEA (Commissariat à l'Energie Atomique). L'imagerie médicale.
http ://www.cea.fr/fr/jeunes/livret/Imagerie/index.html, septembre 2005.
[LBFFL98] F Laerum, HM Borchgrevink, E Fosse, and P Faye-Lund. The new interven-
tional centrea multidisciplinary r&d clinic for interventional radiology and
minimal access surgery. Comput Methods Programs Biomed, 57(1-2) :2934,
1998.
[LC87] WE Lorensen and HE Cline. Marching Cubes : A high resolution 3D surface
construction algorithm. In SIGGRAPH, volume 21, pages 1639, 1987.
[LCT+ 06] JA Long, P Cinquin, J Troccaz, JJ Rambeaud, O Skowron, P Berkelman,
P Berkelman, C Letoublon, P Cadi, F Bocqueraz, S Voros, and JL Descotes.
Preclinical development of the timc ler (light endoscope robot). Prog Urol,
16(1) :4551, 2006.
Bibliographie 195
[LGBB97] G Le Goualher, C Barillot, and Y Byzais. Three-dimensional segmentation and

representation of cortical sulci using active ribbons. Intern J Pattern Recognit
Artif Intell, 11(8) :1295315, 1997.
[LHN+ 04] H Liao, N Hata, S Nakajima, M Iwahara, I Sakuma, and T Dohi. Surgical
navigation by autostereoscopic image overlay of integral videography. IEEE
Trans Inf Technol Biomed, 8(2) :11421, 2004.
[Liv05] MA Livingston. Evaluating human factors in augmented reality systems. EEE
Comput Graph Appl, 25(6) :69, 2005.
[LM95] J Luber and A Mackevics. Multiple co-ordinate manipulator (mkm). a
computer-assisted microscope. In Computed Assisted Radiology, pages 11215,
1995.
[LNA+ 06] J Leong, M Nicolaou, L Atallah, G Mylonas, A Darzi, and G-Z Yang. HMM
assessment of quality of movement trajectory in laparoscopic surgery. In MIC-
CAI part I, pages 7529, 2006.
[LPL+ 05] KE Lunn, KD Paulsen, DR Lynch, DW Roberts, FE Kennedy, and A Hartov.
Assimilating intraoperative data with brain shift modeling using the adjoint
equations. Med Image Anal, 9(3) :28193, 2005.
[LPR+ 03] KE Lunn, KD Paulsen, DW Roberts, FE Kennedy, A Hartov, and LA Plate-
nik. Nonrigid brain registration : synthesizing full volume deformation elds
from model basis solutions constrained by partial volume intraoperative data.
Comput Vis Image Underst, 89(2-3) :299317, 2003.
[LRC+ 04] WW Lau, NA Ramey, JJ Corso, NV Thakor, and GD Hager. Stereo-based
endoscopic tracking of cardiac surface deformation. In MICCAI (2), pages
494501, 2004.
[LRD93] J-M Lavest, G Rives, and M Dhome. Three-dimensional reconstruction by
zooming. IEEE Trans Rob Autom, 9(2) :196207, 1993.
[LRH05] HU Lemke, OM Ratib, and SC Horii. Workow in the operating room : a
summary review of the arrowhed 2004 seminar in imaging and informatics. In
CARS, pages 8627, 2005.
[LSM+ 05] H C Lin, I Shafran, TE Murphy, AM Okamur, DD Yuh, and GD Hager. Auto-
matic detection and segmentation of robot-assisted surgical motions. In MIC-
CAI, pages 80210, 2005.
[LWVN05] MMJ Letteboer, PWA Willems, MA Viergever, and WJ Niessen. Brain shift
estimation in image-guided neurosurgery using 3-D ultrasound. IEEE Trans
Biomed Eng, 52(2) :26876, 2005.
[LYJ03] H Livyatan, Z Yaniv, and L Joskowicz. Gradient-based 2D/3D rigid registra-
tion of uoroscopic X-ray to CT. IEEE Trans Med Imaging, Special issue :
Medical Image Registration, 22(11), 2003.
[MATS06] TL Miller, AR Altman, T Tsuda, and TH Shaer. An ultrasound imaging
method for in vivo tracheal bulk and young's moduli of elasticity. J Biomech,
2006.
[Mau02] Advanced Techniques in Image-Guided Brain and Spine Surgery, chapter
Sources of Error in Image Registration for Cranial Image-Guided Neurosur-
gery, pages 1036. New York : Thieme, 2002.
[MB98] Isard M and A Blake. Icondensation : Unifying low-level and high-level tracking
in a stochastic framework. In ECCV (1), pages 893908, 1998.
196 Bibliographie
[MC99] P Milgram and H Colquhoun. Merging Real and Virtual Worlds, chapter Chap-
ter 1 : A Taxonomy of Real and Virtual World Display Integration. Springer
Verlag(Berlin), 1999.
[ME04] B Ma and RE Ellis. Surface-based registration with a particle lter. In MICCAI
(1), pages 56673, 2004.
[MFGP01] MI Miga, JM Fitzpatrick, RL Galloway, and KD Paulsen. Incorporation of
surface-based deformations for updating images intraoperatively. In SPIE Me-
dical Imaging 2001 : Image Processing, 2001.
[MHHR06] X Morandi, C Haegelen, P-L Henaux, and L Riaud. Brain shift is central
to the pathogenesis of intracerebral haemorrhage remote from the site of the
initial neurosurgical procedure. Med Hypotheses, 67 :8569, 2006.
[MHM+ 98] CR Maurer, D Hill, A Martin, H Liu, M McCue, D Rueckert, D Lloret, W Hall,
R Maxwell, D Hawkes, and C Truwit. Investigation of intraoperative brain
deformation using a 1.5-t interventional mr system : Preliminary results. IEEE
Trans Med Imaging, 17(5) :817825, 1998.
[MHT+ 03] P Merloz, C Huberson, J Tonetti, A Eid, and H Vouaillat. Computer-assisted
pedicle screw insertion techniques. Orthopaedics, 18(2) :14959, 2003.
[MKSO87] M Matsumura, Y Kawashima, T Shibazaki, and C Ohye. Stereotactic biopsy
for deep-seated intracerebral lesions. correlation between computer tomogra-
phy, positron emission tomography and electrophysiological activity. Appl Neu-
rophysiol, 50(1-6) :17882, 1987.
[MMD+ 04] Y Munz, K Moorthy, A Dosis, JD Hernandez, S Bann, F Bello, S Martin,
A Darzi, and T Rockall. The benets of stereoscopic vision in robotic-assisted
performance on bench models. Surg Endosc, 18(4) :6116, 2004.
[MML+ 06] K Matsui, K Matsumiya, H Liao, K Masamune, K Yasuda, and T Dohi. Three
dimensional real-time image overlay navigation system using integral videogra-
phy in knee-joint surgery : evaluation of motion tracking capability. In CARS,
pages 1813, Osaka, Japan, 2006.
[MMN+ 00] K Masamune, Y Masutani, S Nakajima, I Sakuma, T Dohi, I Iseki, and K Ta-
kakura. Three-dimensional slice image overlay system with accurate depth
perception for surgery. In MICCAI, pages 395402, 2000.
[MNT05a] B Mansoux, L Nigay, and J Troccaz. Interaction between a surgeon and a
computer assisted surgery system : an interactive design space. In Surgetica,
2005.
[MNT05b] B Mansoux, L Nigay, and J Troccaz. The mini-screen : an innovative device
for computer assisted surgery. In MMVR. IOS Press, 2005.
[MNVV03] S Martelli, L Nofrini, P Vendruscolo, and A Visani. Criteria of interface evalua-
tion for computer assisted surgery systems. Int J Medical Informatics, 72 :35
45, 2003.
[MPK+ 00] M Miga, K Paulsen, F Kennedy, J Hoopes, A Hartov, and DW Roberts. Initial
in-vivo analysis of 3-D heterogeneous brain computations for model-updated
image-guided neurosurgery. In MICCAI, pages 74352, 2000.
[MRK+ 01] MI Miga, DW Roberts, FE Kennedy, LA Platenik, A Hartov, KE Lunn, and
KD Paulsen. Modeling of retraction and resection for intraoperative updating
of images. Neurosurgery, 49(1) :7585, 2001.
Bibliographie 197
[MSC+ 03] MI Miga, TK Sinha, DM Cash, RL Galoway, and RJ Weil. Cortical surface
registration for image-guided neurosurgery using laser-range scanning. IEEE
[MSC05] MI Miga, TK Sinha, and DM Cash. Biomechanics Applied to Computer Assis-
ted Surgery, chapter Techniques to Correct for soft Tissue Deformations during
Image-Guided Brain Surgery. Research Signpost Publications, 2005.
[MV98] JA Maintz and MA Vierveger. A review of medical image registration. Med
Image Anal, 1 :136, 1998.
[NAK+ 97] S Nakajima, H Atsumi, R Kikinis, TM Moriarty, DC Metcalf, FA Jolesz, and
Black PM. Use of cortical surface vessel registration for image-guided neuro-
surgery. Neurosurgery, 40(6) :12018, 1997.
[NAPM05] R Narayanan, Fessler J A, H Park, and C R Meyer. Dieomorphic nonlinear
transformations : A local parametric approach for image registration. In IPMI,
pages 17485, 2005.
[NBG+ 01] A Nabavi, PMcL Black, DT Gering, CF Westin, V Metha, RS Pergolizzi, JrM
Ferrant, SK Wareld, N Hata, RB Schwarts, WM Wells, R Kikinis, and FA Jo-
lesz. Serial intraoperative mr imaging of brain shift. Neurosurgery, 48 :78798,
2001.
[NGC+ 00] C Nimsky, O Ganslandt, S Cerny, P Hastreiter, G Greiner, and R Fahlbusch.
Quantication of, visualization of, and compensation for brain shift using in-
traoperative magnetic resonance imaging. Neurosurgery, 47(5) :107079, 2000.
[NGH+ 05] AD Nijmeh, NM Goodger, D Hawkes, PJ Edwards, and M McGurk. Image-
guided navigation in oral and maxillofacial surgery. Br J Oral Maxillofac Surg,
43(4) :294302, 2005.
[NGP+ 05] S Nicolau, A Garcia, X Pennec, L Soler, and N Ayache. An augmented reality
system to guide radio-frequency tumour ablation. Computer Animation and
Virtual World (previously the Journal of Visualization & Computer Anima-
tion), 16(1) :110, 2005.
[NHe06] TA Nagelhus Hernes and et al. Computer-assisted 3d ultrasound-guided neu-
rosurgery : technological contributions, including multimodal registration and
advanced display, demonstrating future perspectives. Int J Medical Robotics
and Computer Assisted Surgery, 2(1) :4559, é006.
[Nic04] S Nicolau. Un système de réalité augmentée pour guider les opérations du foie
en radiologie interventionnelle. PhD thesis, INRIA sophia epidaure, ED STIC ;
UNSA, 2004.
[NKG+ 01] A Nabavi, DF Kacher, DT Gering, RS Pergolizzi, WM Wells, TZ Wong, C-
F Westin, N Hata, R Kikinis, PMcL Black, and FA Jolesz. Neurosurgical
procedures in a 0.5 Tesla, open-conguration intraoperative MRI : Plannning,
visualization, and navigation. Automedica, 00 :135, 2001.
[NMT04] L Nigay, B Mansoux, and J Troccaz. Abstract and concrete interaction with
mixed reality systems / the case of the mini screen, a new interaction device
in computer-assisted surgery. In MIXER, 2004.
[OB95] J-M Odobez and P Bouthemy. Robust multiresolution estimation of parametric
motion models. Journal of Visual Communication and Image Representation,
6(4) :348365, 1995.
198 Bibliographie
[OGB+ 05] T Ortmaier, M Groger, DH Boehm, V Falk, and G Hirzinger. Motion esti-
mation in beating heart surgery. IEEE Trans Biomed Eng., 52(10) :172940,
2005.
[Pau03] P Paul. Etude des déformations intra-opératoires de la surface corticale ba-
sée sur la reconstruction stéréoscopique en neurochirurgie guidée par l'image.
Master's thesis, DEA STIR, Université de Rennes 1 et INSA Rennes, 2003.
[PBBM04] H Park, PH Bland, KK Brock, and CR Meyer. Adaptive registration using
local information measures. Med Image Anal, 8(4) :46573, 2004.
[PCA00] X Pennec, P Cacher, and N Ayache. Tracking brain deformations in time
sequences of 3D US images. Technical report, INRIA, Equipe EPIDAURE,
Décembre 2000. http ://www.inria.fr/rrrt/rr-4091.html.
[PCA03] X Pennec, P Cachier, and N Ayache. Tracking brain deformations in time-
sequences of 3D US images. Pattern Recognition Letters. Special issue : Ultra-
sonic Image Processing and Analysis, 24 :80113, 2003.
[PCS+ 89] CA Pelizzari, GTY Chan, DR Spelbring, EE Weichselbaum, and CT Chen.
Accurate three-dimensional registration of CT, PET and/or MR images of the
brain. J Comput Assist Tomogr, 13 :206, 1989.
[Pet06] TM Peters. Image-guidance for surgical procedures. Phys Med Biol,
51(14) :R50540, 2006.
[PF06] S Periaswamy and H Farid. Medical image registration with partial data. Med
Image Anal, 2006.
[Pir05] G. Piriou. Modélisation statistique du mouvement dans des séquences d'images
pour la reconnaissance de contenus dynamiques. PhD thesis, Université de
Rennes 1, Mention Traitement du Signal et des Télécommunications, December
2005.
[Pod05] AG Podoleanu. Optical coherence tomography. Br J Radiol, 78(935) :97688,
2005.
[PRCA05] X Pennec, A Roche, P Cachier, and N Ayache. Multi-Sensor Image Fusion and
its Applications, chapter Non-Rigid MR/US Registration for Tracking Brain
Deformations. Marcel Dekker Inc, 2005.
[PSO+ 05] A Puzrin, O Skrinjar, C Ozan, S Kim, and S Mukudan. Image guided constitu-
tive modeling of the silicone brain phantom. In SPIE Medical Imaging, volume
5744, pages 5764, 2005.
[PTE95] B Peuchot, A Tanguy, and M Eude. Virtual reality as an operative tool during
scoliosis surgery. In CVRMed, pages 54954, 1995.
[PWKT00] T Paleologos, O Wadley, N Kitchen, and C Thomas. Clinical utility and
cost-eectiveness of interactive image-guided craniotomy : clinical comparaison
between conventionnal and image-guided meningioma surgery. Neurosurgery,
47 :408, 2000.
[PWWC92] BP Poncelet, VJ Weeden, RM Weissko, and MS Cohen. Brain parenchyma
motion : Measurement with Cine echoplanar MR imaging. Radiology, 185 :645
51, 1992.
[RAD03] GK Rodhe, A Aldroubi, and BM Dawant. The adaptive bases algorithm
for intensity based nonrigid image registration. IEEE Trans Med Imaging,
22(11) :14709, 2003.
Bibliographie 199
[Rai04] M Raimbault. Modélisation de procédures neurochirurgicales dans un contexte

de chirurgie guidée par l'image : méthodologie et résultats préliminaires. PhD
thesis, Université de Rennes 1, 2004.
[RC06] I Reinertsen and DL Collins. A realistic phantom for brain-shift simulation.
Med Phys, 33(9) :323440, 2006.
[RDD+ 04] I Reinertsen, M Descoteaux, S Drouin, K Siddiqi, and L Collins. Vessel driven
correction of brain shift. In MICCAI, pages 20816, 2004.
[RHB06] F Rousseau, P Hellier, and C Barillot. A novel temporal calibration method
for 3-D ultrasound. IEEE Trans Med Imaging, 25(8) :110812, 2006.
[RHK+ 98] DW Roberts, A Hartov, FE Kennedy, MI Miga, and KD Paulsen. Intraopera-
tive brain shift and deformation : a quantitative analysis of cortical displace-
ment in 28 cases. Neurosurgery, 43(4) :74958, 1998.
[RJM+ 02] M Raimbault, P Jannin, X Morandi, L Riaud, and B Gibaud. Modèles de
procédures chirurgicales pour la neurochirurgie guidée par l'image. In J Troccaz
and P Merloz, editors, Surgetica, pages 217223, Grenoble, 2002.
[RMH+ 99] DW Roberts, MI Miga, A Hartov, S Eisner, JM Lemery, FE Kennedy, and
KD Paulsen. Intraoperatively updated neuroimaging using brain modeling
and sparse data. Neurosurgery, 45(5) :1199207, 1999.
[RNB+ 05] A Raabe, P Nakaji, J Beck, LJ Kim, FP Hsu, JD Kamerman, V Seifert, and
RF Spetzler. Prospective evaluation of surgical microscope-integrated intrao-
perative near-infrared indocyanine green videoangiography during aneurysm
surgery. J Neurosurg., 103(6) :9829, 2005.
[RNK+ 04] MH Reinges, HH Nguyen, T Krings, BO Hutter, and JM Rohde, V andand Gils-
bach. Course of brain shift during microsurgical resection of supratentorial ce-
rebral lesions : limits of conventional neuronavigation. Acta Neurochir (Wien),
146(4) :36977, 2004.
[Roh05] K Rohr. Fundamental limits in 3D landmark localization. In IPMI, pages
28698, 2005.
[Roh06] T Rohlng. Transformation model and constraints cause bias in statitics on
deformation elds. In MICCAI part I, pages 20714, 2006.
[RSHS02] J Rosen, M Solazzo, B Hannaford, and M Sinanan. Decomposition of laparo-
scopic surgery for objective evaluation of surgical residents'learning curve using
hidden markov model. Comput Aided Surg, 7 :4961, 2002.
[RSL+ 02] M Rosenthal, A State, J Lee, G Hirota, J Ackerman, K Keller, ED Pisano,
M Jiroutek, K Muller, and H Fuchs. Augmented reality guidance for needle
biopsies : An initial randomized, controlled trial in phantoms. Med Image Anal,
6(3), 2002.
[SBM+ 02] R Shahidi, MR Bax, CR Jr Maurer, JA Johnson, EP Wilkinson, B Wang,
JB West, MJ Citardi, KH Manwaring, and R Khadem. Implementation, cali-
bration and accuracy testing of an image-enhanced endoscopy system. IEEE
[SC01] G Stetten and V Chib. Overlaying ultrasonographic images on direct vision. J
Ultrasound Med, 20(3) :23540, 2001.
[SDD+ 05] TK Sinha, BM Dawant, V Duay, DM Cash, RJ Weil, RC Thompson, KD Wea-
ver, and MI Miga. A method to track cortical surface deformations using a
laser range scanner. IEEE Trans Med Imaging, 24(6) :76781, 2005.
200 Bibliographie
[SDY05] D Stoyanov, A Darzi, and G-Z Yang. Laparoscope self-calibration for robotic
assisted minimally invasive surgery. In MICCAI (2), pages 11421, 2005.
[SFH+ 03] H Sun, H Farid, A Hartov, KE Lunn, DW Roberts, and KD Paulsen. Real-
time correction scheme for calibration and implementaiton of microscope-based
image-guided neurosurgery. In SPIE Medical Imaging : Visualization, Display,
and Image-Guided Procedures, volume 4681, pages 4754, 2003.
[SFR+ 03a] H Sun, H Farid, K Rick, A Hartov, DW Roberts, and KD Paulsen. Estimating
cortical motion using stereopsis for brain deformation models. In MICCAI (1),
pages 794801, 2003.
[SFR+ 03b] H Sun, H Farid, DW Roberts, K Rick, A Hartov, and KD Paulsen. A noncon-
tacting 3-D digitizer for use in image-guided neurosurgery. Stereotact Funct
Neurosurg, 80 :1204, 2003.
[SFT+ 06] T Sielhorst, M Feuerstein, J Traub, O Kutter, and N Navab. CAMPAR : A
software framework guaranteeing quality for medical augmented reality. Int J
Computer Assisted Radiology and Surgery, 1(Supplement 1) :2930, June 2006.
[SH99] E Samset and H Hirschberg. Neuronavigation in intra-operative MRI. Comput
Aided Surg., 4(4) :2007, 1999.
[Sim97] D Simon. Intra-operative position sensing and tracking devices. In Proceedings
of the First Joint CVRMed / MRCAS Conference, pages 6264, June 1997.
[SJSC+ 98] P St-Jean, AF Sadikot, DL Collins, D Clonda, R Kasrai, AC Evans, and TM Pe-
ters. Automated atlas integration and interactive 3-dimensional visualization
tools for planning and guidance of functional neurosurgery. IEEE Trans Med
Imaging, pages 67280, 1998.
[SL96] R Szeliski and S Lavallée. Matching 3-D anatomical surfaces with non-rigid
deformations unsing octree-splines. Int J Computer Vision, 18(2) :17186,
1996.
[SM99] P Sturm and S Maybank. On plane-based camera calibration : General algo-
rithm, singularities, applications. In IEEE CVPR, pages 4327, 1999.
[SMD+ 05] D Stoyanov, GP Mylonas, F Deligianni, A Darzi, and G-Z Yang. Soft-tissue
motion tracking and structure estimation for robotic assisted mis procedures.
In MICCAI (2), pages 13946, 2005.
[SME+ 06] AL Simpson, B Ma, Chen ECS, RE Ellis, and J Stewart. Using registration
uncertainty visualization in a user study of a simple surgical task. In MICCAI,
2006.
[SML93] W Schroeder, K Martin, and B Lorensen. The Visualization Toolkit : An
Object-Oriented Approach To 3D Graphics, 3rd Edition. Kitware, Inc. publi-
shers, 1993. http ://www.vtk.org.
[SNJ02] O Skrinjar, A Nabavi, and Duncan J. Model-driven brain shift compensation.
Med Image Anal, 6(4) :36173, 2002.
[SRF+ 05] H Sun, DW Roberts, H Farid, Z Wu, A Hartov, and KD Paulsen. Corti-
cal surface tracking using a stereoscopic operating microscope. Neurosurgery,
56(1) :8697, 2005.
[SRN+ 03] W Stummer, HJ Reulen, A Novotny, H Stepp, and JC Tonn. Fluorescence-
guided resections of malignant gliomasan overview. Acta Neurochir Suppl,
88 :912, 2003.
Bibliographie 201
[ST94] J Shi and C Tomasi. Good features to track. In IEEE CVPR, pages 593600,
Seattle, June 1994.
[Sta06] http ://www.cs.unc.edu/Research/us/laparo.html, 2006.
[STD00] O Skrinjar, H Tagare, and J Duncan. Surface growing from stereo images.
IEEE CVPR, II :5716, 2000.
[Sun02] H Sun. Registration Using Cortical Surface for Microscope-based Image-guided
Neurosurgery (Ph.D. Thesis Proposal. PhD thesis, Dartmouth College, 2002.
[TK91] C Tomasi and T Kanade. Detection and tracking of point features. Technical
report, Clemson University, 1991.
[TLG+ 05] GA Turgeon, G Lehmann, G Guiraudon, M Drangova, D Holdsworth, and
T Peters. 2D-3D registration of coronary angiograms for cardiac procedure
planning and guidance. Med Phys, 32(12) :373749, 2005.
[TMH+ 06] W Tirakotai, D Miller, S Heinze, L Benes, H Bertalany, and U Sure. A novel
platform for image-guided ultrasound. Neurosurgery, 58(4) :7108, 2006.
[TNDM04] D Trevisan, V Nicolas, P Delville, and B Macq. Towards markerless augmented
medical visualization. In MICCAI, Workshop AMI-ARCS, 2004.
[Tsa86] R Y Tsai. An ecient and accurate camera calibration technique for 3D ma-
chine vision. In IEEE CVPR, pages 36474, 1986.
[TSH+ 06] J Traub, P Stephan, SM Heining, T Sielhorst, C Riquarts, E Euler, and N Na-
vab. Stereoscopic augmented reality navigation for trauma surgery : cadaver
experiment and usability study. Int J Computer Assisted Radiology and Sur-
gery, 1(Supplement 1) :302, June 2006.
[TT88] J Talairach and P Tournoux. Co-Planar Stereotaxic Atlas of the Human
Brain : 3-Dimensional Proportional System : An Approach to Cerebral Ima-
ging. Thieme Medical, 1988.
[UK95] M Uenohara and T Kanade. Vision-based object registration for real-time
image overlay. Comput Biol Med, 25(2) :24960, 1995.
[VdEPV93] PA Van den Elsen, EJD Pol, and MA Viergever. Medical image matching - a
review with classication. IEEE Eng Med Biol Mag, 12(1) :2639, 1993.
[VG05] M Vaillant and J Glaunes. Surface matching via currents. In IPMI, pages
38192, 2005.
[VPN+ 98] E Viirre, H Pryor, S Nagata, , and T A Furness. The virtual retinal display :
A new technology for virtual reality and augmented vision in medicine. In
D Stredney and SJ Weghorst, editors, MMVR, pages 2527, 1998.
[VSB06] J-F Vigueras, G Simon, and M-O Berger. Erreurs de calibration en réalité
augmentée : une étude pratique. In Congrès RFIA'2006, 2006.
[War05] SK Wareld. Medical image analysis for image guided therapy. In IEEE
DICTA, pages 28491, 2005.
[WBHS02] M Wendt, A Bani-Hashemi, and F Sauer. Neurochirurgie guidée par l'image-
rie peroperatoire permettant d'obtenir une visualisation enrichie de la réalité.
Brevet international, Siemens Corporate Research, Inc, 2002.
[WBK+ 97] CR Wirtz, MM Bonsanto, M Knauth, VM Tronnier, FK Albert, A Staubert,
and S Kunze. Intraoperative magnetic resonance imaging to update interac-
tive navigation in neurosurgery : method and preliminary experience. Comput
Aided Surg., 2 :1729, 1997.
202 Bibliographie
[WDKS05] K Wurstbauer, H Deutschmann, P Kopp, and F Sedlmayer. Radiotherapy

planning for lung cancer : slow CTs allow the drawing of tighter margins.
Radiother Oncol, 75(2) :16570, 2005.
[WHT+ 05] SK Wareld, SJ Haker, I-F Talos, CA Kemper, N Weisenfeld, AUJ Mewes,
D Goldberg-Zimring, KH Zou, C-F Westin, WM Wells, CMC Tempany,
A Golby, PM Black, FA Jolesz, and R Kikinis. Capturing intraoperative defor-
mations : research experience at Brigham and Women's hospital. Med Image
Anal, 9 :14562, 2005.
[WVK+ 06] FK Wacker, S Vogt, A Khamene, JA Jesberger, SG Nour, DR Elgort, F Sauer,
JL Duerk, and JS Lewin. An augmented reality system for mr image-guided
needle biopsy : Initial results in a swine model. Radiology, 238 :497504, 2006.
[WWM+ 87] E Watanabe, T Watanabe, S Manaka, Y Mayanagi, and K Takakura. Three-
dimensional digitizer (neuronavigator) : new equipment for ct-guided stereo-
taxic surgery. Surg Neurol, 27 :5437, 1987.
[WWNBvdS06] P A Woerdeman, P W A Willems, H J Noordmans, and J W Berkelbach van der
Sprenkel. The analysis of intraoperative neurosurgical instrument movement
using a navigation log-le. Int J Med Robotics Comput Assist Surg, 2(2), 2006.
[YON06] ML Yuan, SK Ong, and AYC Nee. Registration using natural features for
augmented reality systems. IEEE Trans Vis Comput Graph, 12(4) :56980,
2006.
[You00] L Younes. Deformations, warping and object comparison, novem-
ber 2000. Tutorial in ECCV'2000, available at www.cmla.ens-
cachan.fr/Utilisateurs/younes/eccvTutorial/tutorialWarping.ps.gz.
[YPH+ 06] PA Yushkevich, J Piven, CH Hazlett, RS Smith, S Ho, JC Gee, and G Ge-
rig. User-guided 3D active contour segmentation of anatomical structures :
Signicantly improved eciency and reliability. Neuroimage, 2006. To appear.
www.itk-snap.org.
[Zha00] Z Zhang. A exible new technique for camera calibration. IEEE Trans Pattern
Anal Mach Intell, 22(11) :13304, 2000.
Table des gures
1.1 Cadre de stéréotaxie de Leksell . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.2 Scanner CT peropératoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 Trois types d'IRMi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4 Intervention dans une IRMi à anneaux verticaux . . . . . . . . . . . . . . . . . . 15
1.5 Imagerie ultrasonore peropératoire . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.6 Le VisioCell de Mauna Kea Technologies . . . . . . . . . . . . . . . . . . . . . . . 17
1.7 Modèle patient multimodal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.8 Quelques systèmes de localisations et marqueurs associés . . . . . . . . . . . . . . 19
1.9 Éléments constituant un système de neuronavigation . . . . . . . . . . . . . . . . 20
1.10 Système de neuronavigation commercial . . . . . . . . . . . . . . . . . . . . . . . 21
1.11 Salle d'opération multimodale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.1 Dénition du continuum de la réalité mixte par [MC99] . . . . . . . . . . . . . . 30

2.2 RA dans le microscope chirurgical en neurochirurgie . . . . . . . . . . . . . . . . 35
2.3 Superposition d'ultrasons sur la vue directe du patient . . . . . . . . . . . . . . . 37
2.4 Plan focal du microscope dans le modèle patient . . . . . . . . . . . . . . . . . . 38
2.5 Augmentation de la vidéo par information virtuelle . . . . . . . . . . . . . . . . . 39
2.6 VA avec comme capteur une IRM fonctionnelle . . . . . . . . . . . . . . . . . . . 40
2.7 Principe d'un casque de RA à visualisation vidéo . . . . . . . . . . . . . . . . . . 40
2.8 RA en laparoscopie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.9 Principe d'un casque de RA à visualisation optique . . . . . . . . . . . . . . . . . 41
2.10 Principe de la projection rétinienne . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.11 Le Varioscope . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.12 Principe de RA sur un écran extérieur . . . . . . . . . . . . . . . . . . . . . . . . 43
2.13 Principe de la projection directe sur patient . . . . . . . . . . . . . . . . . . . . . 44
2.14 Principe du miroir sans tain en chirurgie . . . . . . . . . . . . . . . . . . . . . . . 45
2.15 Illustration de deux lieux de perception possible en laparoscopie . . . . . . . . . . 45
2.16 Schéma de l'occupation d'une salle d'opération . . . . . . . . . . . . . . . . . . . 47
3.1 Système commercial RealScan USB 200 . . . . . . . . . . . . . . . . . . . . . . . 63

3.2 Explication géométrique des paramètres du modèle de caméra sténopé . . . . . . 64
3.3 Principe de la rectication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4 Exemple de modèle patient 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.5 Cadre de Mayeld . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.6 Recalage patient-image par pointeur . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.7 Images d'interventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.8 Installation clinique du système de VA . . . . . . . . . . . . . . . . . . . . . . . . 73
3.9 Système d'acquisition stéréoscopique . . . . . . . . . . . . . . . . . . . . . . . . . 74
203
204 Table des gures
3.10 Relations entre les repères . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

3.11 La mire plane utilisée lors du calibrage . . . . . . . . . . . . . . . . . . . . . . . . 77
3.12 Rectication des images du champ opératoire . . . . . . . . . . . . . . . . . . . . 79
3.13 Carte de disparité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.14 Représentation de la surface des volumes d'intérêt . . . . . . . . . . . . . . . . . 83
3.15 Diérence entre les conditions cliniques et les conditions de calibrage . . . . . . . 83
3.16 Surfaces de référence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.17 Résultats de l'évaluation des performances de la méthode de VA . . . . . . . . . 90
3.18 Résultats de l'analyse des eets des paramètres . . . . . . . . . . . . . . . . . . . 90
3.19 Vues de RA et VA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.20 Scène de VA avant le rasage et l'incision de la peau . . . . . . . . . . . . . . . . . 93
3.21 Scène de VA avant ouverture de la dure-mère . . . . . . . . . . . . . . . . . . . . 93
3.22 Scène de VA après ouverture de la dure-mère . . . . . . . . . . . . . . . . . . . . 94
3.23 Scène de VA avant et après ouverture de l'arachnoïde . . . . . . . . . . . . . . . 94
3.24 VA en n d'exérèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.1 Déformations cérébrales mesurées avec une sonde ultrasons . . . . . . . . . . . . 111

4.2 Déformations lors de l'ouverture des méninges . . . . . . . . . . . . . . . . . . . . 112
4.3 Déformations en fonction de la distance à la surface . . . . . . . . . . . . . . . . 113
4.4 Angle formé par la direction principale de la déformation . . . . . . . . . . . . . 114
4.5 Craniotomie et exérèse d'une lésion dans une IRMi ouverte . . . . . . . . . . . . 115
4.6 Utilisation de la uorescence avec marqueurs . . . . . . . . . . . . . . . . . . . . 119
4.7 Diagramme UML général représentant la globalité des solutions . . . . . . . . . . 121
4.8 Exemple de représentation 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4.9 Exemple de représentation 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4.10 Maillage tétraédrique réalisé à partir du volume IRM préopératoire . . . . . . . . 122
4.11 Systèmes d'acquisition de surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . 126
4.12 Acquisition ultrasonore . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.13 Utilisation du CT scanner sur le porc . . . . . . . . . . . . . . . . . . . . . . . . . 128
4.14 Exemple de fantôme déformable . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5.1 Recouvrement partiel des surfaces et disparition de matière . . . . . . . . . . . . 139

5.2 Premières images des séquences vidéo . . . . . . . . . . . . . . . . . . . . . . . . 146
5.3 Séquence 4 : Covariance calculée de manière empirique . . . . . . . . . . . . . . . 150
5.4 Principe général de l'acquisition d'images et du recalage . . . . . . . . . . . . . . 152
5.5 Table de corrélation entre les images issues des diérents canaux . . . . . . . . . 155
5.6 Points sélectionnés pour l'évaluation du recalage . . . . . . . . . . . . . . . . . . 158
5.7 Manipulation sur fantôme PVA. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
5.8 Fantôme en PVA avec les points acquis au pointeur . . . . . . . . . . . . . . . . . 160
5.9 Carte de déformations obtenues sur le fantôme en PVA . . . . . . . . . . . . . . 161
5.10 Résultats : Surface reconstruite de la dure-mère . . . . . . . . . . . . . . . . . . . 164
5.11 Résultats : amers anatomiques extraits automatiquement . . . . . . . . . . . . . 165
5.12 Résultats : Reconstructions stéréoscopiques achées dans l'examen IRM préopératoire165
5.13 Résultats : champ de déformation représenté par une carte de couleur . . . . . . 166
5.14 Evaluation de la précision de notre méthode de recalage . . . . . . . . . . . . . . 166
5.15 Résultats : la surface source est la surface reconstruite . . . . . . . . . . . . . . . 167
5.16 Plusieurs coupes du volume d'ultrasons . . . . . . . . . . . . . . . . . . . . . . . 168
5.17 Extrapolation de la déformation aux volumes d'intérêt . . . . . . . . . . . . . . . 169
5.18 La méthode d'extrapolation appliquée au cortex . . . . . . . . . . . . . . . . . . 169
5.19 Méthode : Fonction u(t) = exp−kt . . . . . . . . . . . . . . . . . . . . . . . . . . 170
Table des gures 205
A.1 Coupe verticale du cerveau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

A.2 Exemple de position d'un cavernome . . . . . . . . . . . . . . . . . . . . . . . . . 184
A.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
View publication stats
Résumé
La neurochirurgie guidée par l'image consiste à acher un modèle du patient et de la chirur-
gie en lien explicite avec le patient. Les systèmes commercialisés proposent une mise en relation
limitée à la position de l'outil dans le modèle patient. De plus, ils ne prennent pas en compte les
déformations anatomiques cérébrales qui se produisent durant l'intervention chirurgicale et qui
rendent obsolètes le modèle du patient et de la chirurgie. Nous avons proposé dans cette thèse
une amélioration de ces systèmes de neuronavigation, pour l'exérèse de lésion avec cranioto-
mie, non invasive, sans contact et sans ajout encombrant de matériel en salle. Nous avons ainsi
proposé une méthode de virtualité augmentée , basée sur l'utilisation des images provenant
du microscope chirurgical. Cette méthode consiste à acher, dans le modèle patient pendant
la chirurgie, la surface 3D du champ opératoire, telle que vue par le neurochirurgien à travers
les binoculaires du microscope. Cette surface est obtenue par stéréoscopie. Nous proposons éga-
lement d'utiliser cette surface du champ opératoire pour détecter les déformations cérébrales
anatomiques en surface et estimer un champ de déplacement dense pouvant être utilisé pour
mettre à jour le modèle du patient au fur et à mesure de l'intervention. Pour cela, nous mesu-
rons la distance entre deux surfaces acquises en mettant en correspondance les points des deux
surfaces et leur texture associée. Nous nous basons sur une fonction de coût à trois termes. Les
deux premiers termes mesurent l'attache aux données à la fois en distance euclidienne et en
luminance. Le troisième terme rajoute une information temporelle. Ce troisième terme est basé
sur l'information de position d'amers anatomiques suivis dans le ux vidéo, reliant les deux ac-
quisitions de surface. Nous avons montré les bonnes performances de nos méthodes de virtualité
augmentée et de suivi des déformations en surface, sur fantômes en condition cliniques et sur
des cas cliniques.
Abstract
Image guidance mainly consists of displaying preoperative images related to the neurosur-
geon's view of the operative eld. In most available commercial neuronavigation systems, limi-
tations are limited point of view and diculty to understand 3D complex scenes. Furthermore,
after opening the arachnoid, cortical surface deformation is signicant and the preoperative
information no longer corresponds to the anatomical reality of the patient. We present a new
approach referred to as augmented virtuality for displaying intraoperative views of the ope-
rative eld over 3D multimodal preoperative images onto an external screen during surgery.
3D surfaces meshes of the operative eld were then generated using stereopsis. An approach
for correcting the intraoperative location of regions of interest near the surface, based on 3D
surface meshes registration and on tracking in video image sequences is also presented. The
approach consists in using surface meshes obtained by stereoscopic reconstructions from the
microscope oculars. A visible light image is associated with this surface. Between two acqui-
sitions of surfaces meshes, landmarks are tracked in the video. The cost function for surface
matching is then composed by a dissimilarity metric based on both Euclidian distance and
intensity correlation and an additional term which is the deformation eld representing the
respect of landmark matching. Good performance of our methods was assessed by reference
comparison, using phantoms in clinical settings and on some real clinical cases.

Paul

Transféré par

Droits d'auteur :

Formats disponibles

Paul

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Paul

Transféré par

Droits d'auteur :

Formats disponibles

See discussions, stats, and author profiles for this publication at: https://www.researchgate.

Neurochirurgie guidée par l'image :visualisation mixte et quantiﬁcation des

Thesis · December 2006

The user has requested enhancement of the downloaded file.

devant l'Université de Rennes 1

le grade de : Docteur de l'Université de Rennes 1

Équipe d'accueil : Unité/Projet Visages U746 - IRISA

Neurochirurgie guidée par l'image :

soutenue le 8 décembre 2006 devant la commission d'examen

M. : Xavier Morandi Président

- Merci aux inrmières et inrmiers du bloc opératoire du CHU de Pontchaillou, Jean-Charles,

Table des matières 2

I Visualisation Peropératoire en Neurochirurgie en NchGI 25

2.7 Anticipation des sources d'erreurs dans un système de visualisation mixte . . . . 52

3 Virtualité augmentée par la surface 3D du champ opératoire 61

II Suivi des Déformations Anatomiques Peropératoires en NchGI101

4.2.5 La visualisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

5 Méthode de recalage de surface adaptée 133

A Quelques notions d'anatomie cérébrale 183

Notre contexte : la neurochirurgie

1.1 Bref historique de la neurochirurgie guidée par l'image

1.2 Sources d'informations sur le patient

1.2.1 Les images préopératoires

tissus mous des parties osseuses.

Modalités fonctionnelles cérébrales Les modalités d'imagerie fonctionnelle cérébrales sont

1.2.2 Les atlas

1.2.3 Les images peropératoires

Modalités anatomiques En uoroscopie, les radiations sont ionisantes donc l'exposition

(a) (b) (c)

1.3 Préparation du geste chirurgical

1.4 Les systèmes de localisation

(a) (b) (c)

1.5 Stéréotaxie sans cadre : la neuronavigation

Mécanique Optique Magnétique Ultrasonore

équipés de systèmes de neuronavigation [AC99, GDEF03], permettant au chirurgien de faire le

Fig. 1.10  Système de neuronavigation commercial. Le neurochirurgien montre un point sur

1.6 Validation des systèmes de chirurgie guidée par l'image

État de l'Art de la Visualisation

Le but de la visualisation peropératoire dont ce chapitre se veut un état de l'art, est de

2.1 Dénition des concepts

2.1.2 Réalité et virtualité en chirurgie

approximative et sa position dans le cerveau du patient. L'information indirecte donnée par

2.1.3 Dénition d'un système de visualisation mixte

2.2 Classications de systèmes de visualisation mixte

2.2.1 Les continua de Milgram

2.2.2 Taxonomie centrée sur l'utilisateur

2.3 Classication proposée

particulière dans une chirurgie particulière. La dénition de la tâche à réaliser permet de

2.4 État de l'art des systèmes de visualisation mixte pour

Tâche dénie comme un objectif particulier durant la chirurgie Nous souhaitons

2.4.2 Base de visualisation

Dimensions de la représentation visuelle La représentation visuelle de la base de visua-

réel contrairement à la vidéo. En cas de coupure de l'alimentation, le système de RA basé

En VA La base de visualisation est l'environnement virtuel. L'avantage principal est que la

2 Déplacement de la position apparente d'un objet, dû à un changement de position de l'observateur

2.4.3 Informations ajoutées

En RA Nous nous intéressons tout d'abord à la sémantique et à l'origine des informations

(a) (b) (c)

En VA Le type d'information ajoutée en virtualité augmentée a une sémantique de contexte

2.4.4 La technologie utilisée pour l'achage

- Merci aux inrmières et inrmiers du bloc opératoire du CHU de Pontchaillou, Jean-Charles,

Modalités anatomiques En uoroscopie, les radiations sont ionisantes donc l'exposition

Fig. 1.10 Système de neuronavigation commercial. Le neurochirurgien montre un point sur

2.1 Dénition des concepts

2.1.3 Dénition d'un système de visualisation mixte

2.2 Classications de systèmes de visualisation mixte

2.3 Classication proposée

particulière dans une chirurgie particulière. La dénition de la tâche à réaliser permet de

Tâche dénie comme un objectif particulier durant la chirurgie Nous souhaitons

2.4.4 La technologie utilisée pour l'achage

Fig. 2.10 Principe de la projection rétinienne. Illustration adaptée de [VPN+ 98].

Fig. 2.11 Le Varioscope. Ce casque de RA à visualisation optique est également un microscope

le patient ou le champ opératoire, correspondant à la zone imagée. C'est le cas de tous

intéressante serait eectivement d'avoir un écran suspendu au-dessus du patient. Le "mini-

contraintes incompatibles avec la contrainte de temps de réponse, dénie en sous-section 2.5.3.

Respect du ux d'action de la chirurgie Le ux d'action (workow en anglais) peut-

Le rapport coût/bénéce pour l'hôpital et la société Tout système clinique se doit de

2.6 Bilan des éléments selon la classication

2.7.6 Le suivi de la technologie d'achage ou des capteurs

Calcul des matrices de rectication La rectication des images consiste à arranger la

Choix de la stratégie chirurgicale A la n de la phase de préparation, le modèle patient

dans la position opératoire en fonction de la localisation de la craniotomie qu'il a planiée. La

Fig. 3.8 (a)Installation clinique du système de VA pendant la procédure d'évaluation des

Tab. 3.2 Description des trois procédures d'évaluation