Microsoft e Fondazione SIRM: la realtà mista degli HoloLens entra in sala operatoria

Microsoft e Fondazione SIRM – Società Italiana di radiologia medica e interventistica – in occasione del 48° congresso nazionale hanno annunciato un nuovo progetto pilota in collaborazione con PWC, Teorema Engineering e FifthIngenium volto ad accelerare la trasformazione digitale nel sistema sanitario italiano facendo leva su HoloLens, il dispositivo per la realtà mista di Microsoft.

Il team multidisciplinare di sviluppatori ha messo a punto una soluzione in grado di trasformare le immagini risultanti dalle TAC in un modello 3D fruibile tramite la realtà mista di HoloLens e piattaforme mobile, con l’obiettivo di aiutare il personale medico nelle attività di sala operatoria attraverso una visualizzazione più esaustiva ed efficace delle immagini e, in ambito diagnostico-terapeutico, consentire una più intuitiva e completa valutazione del quadro clinico con una più precisa pianificazione delle procedure interventistiche da adottare.

Come forse già saprai, i computer olografici Microsoft HoloLens generano un’immagine multi-dimensionale visibile all’utente, che può così percepire gli ologrammi come se fossero collocati nel mondo fisico. Gli ologrammi visibili con Microsoft HoloLens inaugurano così nuovi modi di comunicare, creare ed esplorare, sono estremamente vividi e possono essere plasmati e modificati in funzione dell’interazione con l’utente o con l’ambiente fisico in cui sono proiettati.

“Gli HoloLens rappresentano uno strumento strategico al servizio delle aziende di ogni settore poichè sono in grado di trasformare il modo in cui lavorano con dati tri-dimensionali, rendendo estremamente vivi e reali prodotti e informazioni. La capacità unica di HoloLens di proiettare visualizzazioni nello spazio fisico fa sì che il potenziale della realtà mista in sanità sia significativo. Pensiamo ad esempio a come HoloLens può supportare il processo formativo del personale medico, ma anche la preparazione degli interventi chirurgici, piuttosto che l’assistenza a distanza, solo per citare alcune applicazioni già in uso presso organizzazioni sanitarie in tutto il mondo, tra cui oggi possiamo annoverare anche la Fondazione SIRM. In Microsoft ci impegniamo da sempre per promuovere la Trasformazione Digitale del Paese e nello specifico della Sanità, e gli HoloLens rappresentano una leva utile per ripensare processi e modelli di business e guardare la realtà secondo nuove prospettive.” ha commentato Veronica Jagher, Director Industry Solutions Healthcare, Microsoft Western Europe HQ.

Di seguito trovate tutti i dettagli del progetto:

La Fondazione SIRM, Società Italiana di Radiologia Medica e Interventistica, ha commissionato a Microsoft, PwC, Teorema e FifthIngenium la realizzazione di un ambizioso progetto per trasformare i file DICOM risultanti dalle TAC in un modello 3D fruibile tramite HoloLens e piattaforme mobile.

ESIGENZE

La Fondazione SIRM con questo progetto intende testare le potenzialità d’uso di HoloLens nella Radiologia Interventistica come “acceleratore” dei processi di trasformazione digitale, sia in ambito formativo che nell’ambito dell’operatività clinica/chirurgica. Le esigenze erano quindi duplici:

* Trasformare le immagini in 3D e renderle fruibili in ambito formativo con simulazione di procedure interventistiche di base e complesse, sfruttando le caratteristiche della Mixed Reality;

* Rendere le immagini radiologiche utilizzabili in modo semplice nella attività della sala operatoria e, in ambito diagnostico-terapeutico, consentire una più intuitiva e completa valutazione del quadro clinico con una più precisa pianificazione delle procedure interventistiche da adottare.

SOLUZIONE

La soluzione proposta dal Team di Progetto è basata su un approccio per fasi così strutturato:

Fase 1: Sviluppo di una prima versione che consenta – a partire dalle immagini DICOM – la ricostruzione dell’ologramma in 3D dell’aorta utilizzabile in sala operatoria e su device multiconnessi. L’applicazione HoloLens rende possibile una esperienza condivisa tra più utenti in cui il modello 3D può essere manipolato, con l’utilizzo delle mani e attraverso comandi vocali, e visualizzato nella sua interezza e/o tramite diversi piani di taglio. Lo sviluppo prevede inoltre l’implementazione di una infrastruttura Cloud basata su Microsoft Azure per la conversione dei file, il caricamento di informazioni sanitarie addizionali e la modellizzazione delle immagini 3D su piattaforma mobile.

Fase 2: Estensione per la ricostruzione dell’intero corpo umano (comprensivo di organi e vasi) ed integrazione della Mixed Reality con diversi scenari evolutivi (strumenti di force feedback integrati con fantocci per simulazione chirurgica, conversational bot, tecniche di machine learning applicate ai dati …)

BENEFICI

La soluzione implementata dal Team di progetto garantisce i seguenti benefici:

* L’utilizzo di dati reali provenienti da immagini DICOM offre in fase di training una casistica molto più ampia rispetto agli approcci tradizionali.

* La fruibilità via web e su piattaforma mobile rende le informazioni condivisibili anche da remoto e abilita scenari di collaborazione e condivisione di competenze ed esperienze ovunque l’esperto si trovi.

* La condivisone di ologrammi 3D su Mixed Reality migliora l’efficacia e riduce i tempi di formazione degli specializzandi, offrendo una prospettiva completamente nuova e una esperienza condivisa unica.

* La costante disponibilità per il radiologo interventista dei dati del paziente in 3D e in tempo reale aiuta a ridurre il rischio clinico e migliora gli esiti della cura.