Le disuguaglianze di campionamento influenzano la generalizzazione del neuroimaging

BMC Medicine volume 21, numero articolo: 241 (2023) Citare questo articolo

1372 accessi

1 Citazioni

3 Altmetrico

Dettagli sulle metriche

Lo sviluppo di modelli di apprendimento automatico per facilitare la diagnosi dei disturbi mentali è riconosciuto come un progresso significativo nel campo della psichiatria. Tuttavia, la pratica clinica di tali modelli rimane una sfida, poiché la scarsa generalizzabilità rappresenta una limitazione importante.

Qui, abbiamo condotto una valutazione di meta-ricerca pre-registrata su modelli basati su neuroimaging nella letteratura psichiatrica, esaminando quantitativamente le questioni di campionamento globale e regionale negli ultimi decenni, da una visione che è stata relativamente sottoesplorata. Nella valutazione attuale sono stati inclusi un totale di 476 studi (n = 118.137). Sulla base di questi risultati, abbiamo creato un sistema completo di valutazione a 5 stelle per valutare quantitativamente la qualità dei modelli di machine learning esistenti per le diagnosi psichiatriche.

Una disuguaglianza di campionamento globale in questi modelli è stata rivelata quantitativamente (campionamento del coefficiente di Gini (G) = 0,81, p < 0,01), variando tra diversi paesi (regioni) (ad esempio, Cina, G = 0,47; Stati Uniti, G = 0,58; Germania , G = 0,78; il Regno Unito, G = 0,87). Inoltre, la gravità di questa disuguaglianza di campionamento è stata prevista in modo significativo dai livelli economici nazionali (β = − 2,75, p < 0,001, R2adj = 0,40; r = − 0,84, IC 95%: da − 0,41 a − 0,97) e era plausibilmente prevedibile per le prestazioni del modello, con una maggiore disuguaglianza di campionamento per riportare una maggiore accuratezza della classificazione. Ulteriori analisi hanno mostrato che la mancanza di test indipendenti (84,24% dei modelli, IC 95%: 81,0–87,5%), una validazione incrociata impropria (51,68% dei modelli, IC 95%: 47,2–56,2%) e una scarsa trasparenza tecnica (87,8 % di modelli, IC 95%: 84,9–90,8%)/disponibilità (80,88% di modelli, IC 95%: 77,3–84,4%) prevalgono negli attuali classificatori diagnostici nonostante i miglioramenti nel tempo. In relazione a queste osservazioni, le prestazioni del modello sono state riscontrate diminuite negli studi con validazioni di campionamento transnazionale indipendenti (tutti p < .001, BF10 > 15). Alla luce di ciò, abbiamo proposto una checklist di valutazione quantitativa appositamente creata, che ha dimostrato che le valutazioni complessive di questi modelli sono aumentate in base all’anno di pubblicazione ma sono state associate negativamente alle prestazioni del modello.

Insieme, migliorare l’uguaglianza economica del campionamento e quindi la qualità dei modelli di apprendimento automatico può essere un aspetto cruciale per tradurre in modo plausibile i classificatori diagnostici basati sul neuroimaging nella pratica clinica.

Rapporti di peer review

I modelli di machine learning (ML) sono stati ampiamente utilizzati per classificare i pazienti con malattie mentali per aiutare nel processo decisionale clinico [1, 2]. Costruendo modelli di apprendimento automatico addestrati da caratteristiche basate sul neuroimaging, la decisione diagnostica potrebbe essere più accurata e affidabile con l'aiuto di questi biomarcatori oggettivi e ad alta dimensione [3, 4]. Inoltre, data la natura multivariata delle caratteristiche cerebrali, le tecniche di apprendimento automatico potrebbero catturare l’intero modello neurale attraverso voxel dipendenti ad alto volume per rivelare le firme fisiopatologiche di questi disturbi, mentre la previsione individualizzata dei modelli di apprendimento automatico nei modelli ML basati sul neuroimaging facilita anche affrontare le crescenti esigenze della psichiatria di precisione [5, 6]. Nonostante i notevoli sforzi dedicati a questo scopo, la traduzione della classificazione dell’apprendimento automatico per la raccomandazione diagnostica e terapeutica nella pratica clinica rimane impegnativa [7]. Ciò è in parte dovuto alla scarsa generalizzabilità di questi classificatori basati sul neuroimaging, che sono spesso ottimizzati all'interno di un campione specifico per incorrere nell'incapacità di generalizzare per diagnosticare pazienti invisibili in nuovi campioni [8,9,10]. Sebbene questi classificatori possano essere addestrati per ottenere una precisione desiderabilmente elevata in una coorte specifica, non sono rappresentativi di una popolazione più generale tra centri medici, regioni geografiche, stati socioeconomici e gruppi etnici [11, 12]. Inoltre, le persistenti preoccupazioni sulla generalizzabilità implicano potenziali errori di campionamento nonostante la dimensione sostanzialmente aumentata dei dati negli ultimi decenni [13].