Augmented Reality, System engineering and Deep Learning for Digital Anatomical Phantom

Le tecnologie abilitanti di maggiore impatto nella rapida innovazione di strumentazioni e procedure medico-chirurgiche includono la robotica, l’intelligenza artificiale, la manifattura digitale di materiali e la realtà aumentata. Tra le altre innovazioni, queste tecnologie possono offrire oggi nuovi strumenti per la formazione, la pianificazione e l’esecuzione di procedure chirurgiche particolarmente delicate. Nell’ambito del PF4 di Rome Technopole, il progetto “Phygital Twins Technologies for innovative surgical training and planning” ha l’obiettivo di sviluppare gemelli fisico-digitali (phygital) che riproducano un’area anatomica di interesse in forma fisica, attraverso la stampa 3D dei tessuti biologici coinvolti, e in forma digitale, attraverso la modellazione 3D e la simulazione. Modello fisico e digitale sono tra loro connessi in tempo reale, permettendo all’operatore un’interazione su livelli diversi di percezione (realtà virtuale/aumentata/mista). La connessione in tempo reale abilita inoltre l’interazione a distanza con il modello fisico tramite un sistema di teleoperazione robotica, in mancanza di una visualizzazione diretta, o per ridurre le informazioni da trasmettere. 

Le attività del progetto si sviluppano intorno a due linee tematiche dedicate rispettivamente allo sviluppo del modello fisico e della sua controparte digitale.

Le attività di ricerca e sviluppo della Linea Tematica 2 (Realtà aumentata, Ingegneria di sistema e Deep Learning per il phantom anatomico digitale) porteranno allo sviluppo delle metodologie necessarie alla realizzazione dei modelli digitali con gli obiettivi di: (1) “aumentare” l’esperienza dell’interazione del chirurgo con il phantom fisico utilizzando le informazioni ottenute dal gemello digitale durante l’esecuzione della procedura; (2) costruire ambienti virtuali, per il training e la pianificazione dell’intervento chirurgico, che includono il phantom digitale, gli strumenti chirurgici virtuali, i visori 3D e le interfacce aptiche, per comandare gli strumenti virtuali e ricevere feedback fisici dall’interazione virtuale. 

Lo sviluppo di questo ambiente permetterà eventualmente anche di interagire da remoto con il phantom fisico, attraverso l’utilizzo di un sistema di chirurgia robotica, abilitando quindi interventi da remoto anche su pazienti dei quali si è ricostruito un modello digitale accurato a partire da immagini diagnostiche e dati clinici.

L’utilizzo di tecniche di deep learning permetterà di simulare in tempo reale la dinamica dell’interazione con i tessuti deformabili, per poter riflettere un comportamento realistico del modello digitale durante l’esecuzione di una procedura sul phantom fisico e per fornire un feedback fisicamente significativo, nel caso di interazione con l’ambiente virtuale, attraverso dispositivi aptici e visori 3D.