Un nuovo studio del MIT trova "grafici di conoscenza della salute, " che mostrano le relazioni tra sintomi e malattie e hanno lo scopo di aiutare con la diagnosi clinica, può non essere all'altezza di determinate condizioni e popolazioni di pazienti. I risultati suggeriscono anche modi per aumentare le loro prestazioni.

I grafici sulla conoscenza della salute sono stati generalmente compilati manualmente da medici esperti, ma questo può essere un processo laborioso. Recentemente, i ricercatori hanno sperimentato la generazione automatica di questi grafici di conoscenza dai dati dei pazienti. Il team del MIT ha studiato quanto questi grafici resistono a diverse malattie e popolazioni di pazienti.

In un documento presentato al Pacific Symposium on Biocomputing 2020, i ricercatori hanno valutato grafici di conoscenza della salute generati automaticamente basati su set di dati reali che comprendono più di 270, 000 pazienti con quasi 200 malattie e più di 770 sintomi.

Il team ha analizzato il modo in cui vari modelli utilizzavano i dati della cartella clinica elettronica (EHR), contenente le storie mediche e terapeutiche dei pazienti, per "apprendere" automaticamente modelli di correlazioni malattia-sintomo. Hanno scoperto che i modelli hanno funzionato particolarmente male per le malattie che hanno alte percentuali di pazienti molto anziani o giovani, o alte percentuali di pazienti di sesso maschile o femminile, ma che scegliendo i dati giusti per il modello giusto, e apportare altre modifiche, può migliorare le prestazioni.

L'idea è di fornire una guida ai ricercatori sulla relazione tra dimensione del set di dati, specifica del modello, e prestazioni quando si utilizzano cartelle cliniche elettroniche per costruire grafici di conoscenza sanitaria. Ciò potrebbe portare a strumenti migliori per aiutare medici e pazienti nel processo decisionale medico o per cercare nuove relazioni tra malattie e sintomi.

"Negli ultimi 10 anni, L'uso di EHR è salito alle stelle negli ospedali, quindi c'è un'enorme quantità di dati che speriamo di estrarre per imparare questi grafici delle relazioni malattia-sintomo, " dice la prima autrice Irene Y. Chen, uno studente laureato presso il Dipartimento di Ingegneria Elettrica e Informatica (EECS). "È essenziale esaminare attentamente questi grafici, in modo che possano essere utilizzati come i primi passi di uno strumento diagnostico."

Insieme a Chen sul giornale ci sono Monica Agrawal, uno studente laureato in Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT; Steven Horng del Beth Israel Deaconess Medical Center (BIDMC); e il professore EECS David Sontag, che è membro del CSAIL e dell'Istituto per l'ingegneria e la scienza medica, e capo del Clinical Machine Learning Group.

Pazienti e malattie

Nei grafici di conoscenza della salute, ci sono centinaia di nodi, ognuno rappresenta una malattia e un sintomo diversi. I bordi (linee) collegano i nodi della malattia, come "diabete, " con nodi sintomatologici correlati, come "sete eccessiva". Notoriamente Google ha lanciato la sua versione nel 2015, che è stato curato manualmente da diversi medici per centinaia di ore ed è considerato il gold standard. Quando cerchi una malattia su Google adesso, il sistema visualizza i sintomi associati.

In un documento Nature Scientific Reports del 2017, Sognare, corno, e altri ricercatori hanno sfruttato i dati dello stesso 270, 00 pazienti nel loro studio attuale, che proveniva dal dipartimento di emergenza del BIDMC tra il 2008 e il 2013, per costruire grafici sulla conoscenza della salute. Hanno usato tre strutture modello per generare i grafici, chiamata regressione logistica, ingenuo Bayes, e rumoroso OR. Utilizzando i dati forniti da Google, i ricercatori hanno confrontato il loro grafico di conoscenza sulla salute generato automaticamente con il grafico di conoscenza sulla salute di Google (GHKG). Il grafico dei ricercatori ha funzionato molto bene.

Nel loro nuovo lavoro, i ricercatori hanno eseguito una rigorosa analisi degli errori per determinare per quali pazienti e malattie specifici i modelli hanno funzionato male. Inoltre, hanno sperimentato l'aumento dei modelli con più dati, da oltre il pronto soccorso.

In una prova, hanno suddiviso i dati in sottopopolazioni di malattie e sintomi. Per ogni modello, hanno esaminato le linee di collegamento tra le malattie e tutti i possibili sintomi, e confrontato con il GHKG. Nella carta, ordinano i risultati nelle 50 malattie più basse e 50 più performanti. Esempi di scarsi risultati sono la sindrome dell'ovaio policistico (che colpisce le donne), asma allergico (molto raro), e cancro alla prostata (che colpisce prevalentemente gli uomini più anziani). Le prestazioni elevate sono le malattie e le condizioni più comuni, come aritmia cardiaca e fascite plantare, che è il gonfiore dei tessuti lungo i piedi.

Hanno scoperto che il modello di sala operatoria rumorosa era il più robusto contro l'errore in generale per quasi tutte le malattie e i pazienti. Ma l'accuratezza è diminuita tra tutti i modelli per i pazienti che hanno molte malattie concomitanti e sintomi concomitanti, così come i pazienti molto giovani o di età superiore agli 85 anni. Anche le prestazioni hanno sofferto per popolazioni di pazienti con percentuali molto alte o basse di qualsiasi sesso.

Essenzialmente, i ricercatori ipotizzano scarse prestazioni sono causate da pazienti e malattie che hanno prestazioni predittive anomale, così come potenziali confondenti non misurati. Pazienti anziani, ad esempio, tendono ad entrare negli ospedali con più malattie e sintomi correlati rispetto ai pazienti più giovani. Ciò significa che è difficile per i modelli correlare malattie specifiche con sintomi specifici, Chen dice. "Allo stesso modo, "aggiunge, "i giovani pazienti non hanno molte malattie o tanti sintomi, e se hanno una malattia o un sintomo raro, non si presenta in modo normale che i modelli capiscono."

Dividere i dati

I ricercatori hanno anche raccolto molti più dati sui pazienti e hanno creato tre set di dati distinti di diversa granularità per vedere se ciò potrebbe migliorare le prestazioni. Per il 270, 000 visite utilizzate nell'analisi originale, i ricercatori hanno estratto la cronologia completa dell'EHR dei 140, 804 pazienti unici, indietro di un decennio, con circa 7,4 milioni di annotazioni totali da varie fonti, come le note del medico.

Anche le scelte nel processo di creazione del set di dati hanno avuto un impatto sulle prestazioni del modello. Uno dei set di dati aggrega ciascuno dei 140, 400 anamnesi paziente come un punto dati ciascuna. Un altro set di dati tratta ciascuna delle 7,4 milioni di annotazioni come un punto dati separato. Un ultimo crea "episodi" per ogni paziente, definito come una serie continua di visite senza interruzione di oltre 30 giorni, per un totale di circa 1,4 milioni di episodi.

Intuitivamente, un set di dati in cui l'intera storia del paziente è aggregata in un punto dati dovrebbe portare a una maggiore precisione poiché viene considerata l'intera storia del paziente. Controintuitivamente, però, ha anche fatto sì che il modello ingenuo di Bayes si comportasse in modo più scarso per alcune malattie. "Si presume che le informazioni più intra-paziente, meglio è, con modelli di apprendimento automatico. Ma questi modelli dipendono dalla granularità dei dati che fornisci loro, " Dice Chen. "Il tipo di modello che usi potrebbe essere sopraffatto."

Come previsto, anche l'alimentazione del modello di informazioni demografiche può essere efficace. Ad esempio, i modelli possono utilizzare tali informazioni per escludere tutti i pazienti di sesso maschile per, dire, predire il cancro della cervice uterina. E alcune malattie molto più comuni per i pazienti anziani possono essere eliminate nei pazienti più giovani.

Ma, in un'altra sorpresa, le informazioni demografiche non hanno aumentato le prestazioni per il modello di maggior successo, quindi la raccolta di tali dati potrebbe non essere necessaria. È importante, Chen dice, perché la compilazione di dati e modelli di addestramento sui dati può essere costosa e richiedere molto tempo. Ancora, a seconda del modello, l'utilizzo di decine di dati potrebbe non migliorare effettivamente le prestazioni.

Prossimo, i ricercatori sperano di utilizzare le loro scoperte per costruire un modello robusto da implementare in contesti clinici. Attualmente, il grafico della conoscenza della salute apprende le relazioni tra malattie e sintomi ma non fornisce una previsione diretta della malattia dai sintomi. "Speriamo che qualsiasi modello predittivo e qualsiasi grafico di conoscenza medica venga sottoposto a uno stress test in modo che i medici e i ricercatori dell'apprendimento automatico possano affermare con sicurezza:"Ci fidiamo di questo come un utile strumento diagnostico, '", dice Chen.

Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.