Système d'imagerie endoscopique multimodale

Nous avons développé un système endoscopique multimodal prospectif (FL) qui offre des images couleur, classées spectralement, en mode B par ultrasons haute fréquence (HFUS) et intégrées à coefficient de rétrodiffusion (IBC) pour la détection des tumeurs in situ. L'examen de la répartition des tumeurs depuis la surface du côlon jusqu'au plus profond de l'intérieur est essentiel pour déterminer un plan de traitement du cancer. Par exemple, la profondeur d'invasion sous-muqueuse des tumeurs en plus de la répartition des tumeurs sur la surface du côlon est utilisée comme indicateur pour savoir si la dissection endoscopique serait opérée.

Ainsi, nous avons conçu le système endoscopique multimodal FL pour offrir des informations sur la distribution de la tumeur de la surface aux tissus profonds avec une grande précision. Ce système a été évalué avec des fantômes de gélatine bicouche qui ont des propriétés différentes à chaque couche du fantôme dans une direction latérale. Après avoir évalué le système avec des fantômes, il a été utilisé pour caractériser quarante tissus du côlon humain excisés sur des patients atteints de cancer. Le système proposé pourrait nous permettre d'obtenir des informations chimiques, anatomiques et macromoléculaires hautement résolues sur les tissus excisés du côlon, y compris les tumeurs, améliorant ainsi la détection de la distribution des tumeurs de la surface aux tissus profonds. Ces résultats suggèrent que le système endoscopique multimodal FL pourrait être un instrument de dépistage innovant pour la caractérisation quantitative des tumeurs.

La multimodalité d'un système optique implique l'utilisation d'une ou plusieurs techniques optiques pour améliorer les performances globales du système et son utilité maximale. Nous démontrons un système multimodal avec éclairage oblique qui combine deux techniques différentes : la micro-endoscopie à fluorescence et la spectroscopie simultanément et peuvent être utilisées pour obtenir diverses informations à partir du même emplacement d'un échantillon biologique. Dans le système actuel, l'utilisation d'une lentille à tige à indice gradué (GRIN) le rend très compact et l'incidence oblique découple la géométrie d'éclairage de la géométrie de collection, empêchant les caméras CCD de saturer et réduisant le nombre d'éléments optiques, rendant ainsi le système encore plus miniaturisé et portable sur le terrain. Il élimine également les inconvénients des réflexions indésirables provenant de différents éléments optiques.

Les résultats expérimentaux de l'imagerie et de la spectroscopie simultanées des échantillons biologiques sont présentés ainsi que les paramètres spectroscopiques quantitatifs ; décalage de longueur d'onde maximal, aire sous la courbe et demi-largeur totale (FWHM). De plus, nous avons obtenu le décalage vers le rouge pour les tissus buccaux cancéreux par rapport au tissu buccal normal de 5,79 ± 1,071 nm. Cela pourrait être un indicateur important pour le dépistage du cancer de la bouche.

Nous proposons un algorithme de mosaïquage d’images endoscopiques robuste aux changements de conditionnement de la lumière, aux réflexions spéculaires et aux scènes sans caractéristiques. Ces conditions sont particulièrement courantes en chirurgie mini-invasive où la source de lumière se déplace avec la caméra pour éclairer dynamiquement des scènes rapprochées. Cela rend difficile pour une méthode d'enregistrement d'image unique de suivre de manière robuste le mouvement de la caméra, puis de générer des mosaïques cohérentes de la scène chirurgicale élargie dans des environnements différents et hétérogènes. Au lieu de s'appuyer sur un extracteur de caractéristiques spécialisé ou une méthode d'enregistrement d'images, nous proposons de fusionner différents algorithmes d'enregistrement d'images en fonction de leurs incertitudes, en formulant le problème sous la forme d'une optimisation affine de graphe de pose. Cela permet de combiner des repères, un enregistrement d'intensité dense et des approches basées sur l'apprentissage dans un cadre unique.

Pour démontrer notre application, nous considérons le flux optique basé sur l'apprentissage profond, les fonctionnalités conçues à la main et l'enregistrement basé sur l'intensité. Cependant, le cadre est général et pourrait prendre en entrée d'autres sources d'estimation de mouvement, y compris d'autres modalités de capteur. Nous validons les performances de notre approche sur trois ensembles de données aux caractéristiques très différentes pour mettre en évidence sa généralisabilité, démontrant les avantages du cadre de fusion proposé. Même si chaque algorithme d'enregistrement individuel finit par échouer considérablement sur certaines scènes chirurgicales, l'approche de fusion détermine de manière flexible les algorithmes à utiliser et dans quelle proportion pour obtenir de manière plus robuste des mosaïques cohérentes.