Rendiment dels algorismes d'aprenentatge automàtic per predir la progressió cap a la demència en pacients de la clínica de memòria

Per a més informació:ali.ma@wecistanche.com

Resum

IMPORTÀNCIA

Els algorismes d'aprenentatge automàtic es podrien utilitzar com a base per a les ajudes per a la presa de decisions clíniques per millorar la pràctica clínica.

OBJECTIU

Avaluar la capacitat dels algorismes d'aprenentatge automàtic per predir la incidència de demència en 2 anys en comparació amb els models existents i determinar l'enfocament analític òptim i el nombre de variables necessàries.

DISSENY, AMBIENTACIÓ I PARTICIPANTS

Aquest estudi pronòstic va utilitzar dades d'una cohort prospectiva de 15 307 participants sense demència a l'inici per realitzar una anàlisi secundària dels factors que es podrien utilitzar per predir la incidència de la demència. Els participants van assistir al National Alzheimer Coordinating Centermemòriaclíniques dels Estats Units entre 2005 i 2015. Les anàlisis es van fer de març a maig de 2021. EXPOSICIONS 258 variables que abasten àmbits de mesures clíniques i factors de risc relacionats amb la demència.

PRINCIPALS RESULTATS I MESURES

El resultat principal va ser la demència per totes les causes incident diagnosticada dins dels 2 anys posteriors a l'avaluació inicial.

Charlotte James, Ph.D.; Janice M. Ranson, Ph.D.; Richard Everson, Ph.D.; David J. Llewellyn, PhD

RESULTATS

En una mostra de {{0}} participants (edat mitjana [DE], 72,3 [9,8] anys; 9129 [6{{20}} per cent ] dones i 6178 [4{{24 }} per cent ] homes) sense demència a l'inici, 1568 (10 per cent ) van rebre un diagnòstic de demència en els dos anys posteriors a la seva avaluació inicial. En comparació amb 2 models existents per a la predicció del risc de demència (és a dir, Factors de risc cardiovascular, envelliment i incidència de la puntuació de risc de demència i l'indicador de cribratge breu de demència), els algorismes d'aprenentatge automàtic van ser superiors a l'hora de predir la demència per totes les causes en 2 anys. L'algoritme d'arbres augmentat pel gradient tenia una precisió global mitjana (SD) del 92 per cent (1 per cent), la sensibilitat de 0,45 (0,05), l'especificitat de 0,97 (0,01) i àrea sota la corba de 0,92 (0,01) utilitzant les 258 variables. L'anàlisi d'importància variable va mostrar que només es necessitaven 6 variables perquè els algorismes d'aprenentatge automàtic assoleixin una precisió del 91 per cent i l'àrea sota la corba d'almenys 0,89. Els algorismes d'aprenentatge automàtic també van identificar fins al 84 per cent dels participants que van rebre un diagnòstic inicial de demència que posteriorment es va revertir a un deteriorament cognitiu lleu o no deteriorat cognitivament, cosa que suggereix un possible diagnòstic errònia.

CONCLUSIONS I RELEVÀNCIA

Aquestes troballes suggereixen que els algorismes d'aprenentatge automàtic podrien predir amb precisió la demència incident en 2 anys en pacients que reben atenció amemòriaclíniques utilitzant només 6 variables. Aquestes troballes es podrien utilitzar per informar el desenvolupament i la validació d'ajudes per a la presa de decisionsmemòriaclíniques.

Feu clic per cistanche DHT per a la memòria

Introducció

Molts pacients avaluats en entorns especialitzats, com aramemòriaÉs important diferenciar entre pacients que desenvolupen demència en un període de temps clínicament rellevant i aquells que romanen lliures de demència, ja que aquesta visió es pot utilitzar per prioritzar els pacients per a les investigacions de seguiment. i intervencions. Identificar pacients amb alt risc de desenvolupar demència és un repte per als metges. Un enfocament és centrar-se en aquells que tenen un deteriorament cognitiu lleu (MCI) quan s'avaluen inicialment i convidar aquests pacients a fer un seguiment. Tanmateix, això pot provocar una classificació errònia considerable per als pacients que no estan dirigits per al seguiment però que desenvolupen demència i els pacients que es dirigeixen a investigacions posteriors però que no desenvolupen demència. La majoria dels pacients de la clínica de memòria amb MCI no progressen cap a la demència fins i tot després de 10 anys, amb una taxa de conversió anual del 9,6 per cent.

Les ajudes per a la presa de decisions clíniques poden millorar la capacitat dels metges per estimar l'inici de la demència. Les ajudes per a la presa de decisions clíniques existents estan disponibles per estimar la incidència de la demència a mitjà i llarg termini en diferents poblacions. Per exemple, la puntuació de risc de factors de risc cardiovascular, envelliment i incidència de la demència (CAIDE) 3 es va dissenyar per predir el risc de desenvolupar demència en 20 anys per a persones de mitjana edat, i el Brief Dementia Screening Indicator (BDSI)4 té com a objectiu identificar les persones grans. pacients per fer un cribratge cognitiu determinant el seu risc de desenvolupar demència en 6 anys. No obstant això, segons el nostre coneixement, no s'ha desenvolupat cap ajuda per a la presa de decisions clíniques per predir la incidència de demència a les clíniques de memòria durant un període clínicament rellevant més curt.

L'aprenentatge automàtic (ML) permet aprofitar la informació de conjunts de dades grans i complexos. Recentment, s'ha aplicat al diagnòstic de la demència i a la predicció del risc.5-9 Tanmateix, aquests models sovint incorporen informació que normalment no està disponible en la pràctica clínica habitual, com ara neuroimatge avançada, proves genètiques i biomarcadors de líquid cefaloraquidi, limitant l'aplicació clínica a entorns especialitzats o de recerca.

Hem investigat si les tècniques de ML es poden utilitzar per predir la incidència de la demència durant un període de 2-anys utilitzant les dades de la clínica de memòria de la US NationalAlzheimerCentre Coordinador (NACC). També vam examinar el conjunt mínim de variables necessàries perquè els models ML assoleixin un rendiment de diagnòstic complet.

Mètodes

L'estudi NACC va rebre l'aprovació ètica de la junta de revisió institucional de cada lloc abans que pogués aportar dades i tots els participants havien proporcionat el consentiment informat per escrit. Aquest estudi pronòstic es va considerar exempt de l'aprovació ètica institucional perquè vam utilitzar dades recollides anteriorment sense identificar. Les dades utilitzades en aquest estudi estan disponibles mitjançant la sol·licitud de dades al NACC. Aquest estudi s'informa d'acord amb la directriu d'informes Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD). Les dades es van analitzar de març a maig de 2021.

Mostra d'estudi

Hem utilitzat dades recollides anteriorment del conjunt de dades uniforme (UDS) de la NACC.10 L'UDS conté dades de cohorts prospectives de l'Institut Nacional d'envelliment dels EUA.AlzheimerMalaltiaPrograma del centre d'investigació col·laborativa multicèntrica sobreAlzheimermalaltiai altres trastorns neurodegeneratius.11 El nostre conjunt de dades consisteix en dades de la clínica de memòria recollides entre setembre de 2005 i febrer de 2015 a partir de 30AlzheimerMalaltiaCentres situats als Estats Units. El conjunt de dades inclou característiques sociodemogràfiques dels participants i coparticipants, antecedents familiars, estat funcional12, símptomes de comportament (avaluats amb els resultats del qüestionari d'inventari neuropsiquiàtric13), bateria de proves neuropsicològiques14 i diagnòstic de demència clínica NACC, assignats per cadascú.AlzheimerMalaltiaCentre amb criteris de diagnòstic clínic publicats basats en l'avaluació clínica estandarditzada de l'UDS. El detall dels criteris diagnòstics adoptats pel protocol UDS i la guia associada s'han publicat prèviament.15

Hem utilitzat les versions 1 i 2 d'UDS, que inclouen 32 573 assistents a la clínica de memòria amb una avaluació de referència. Tot i que els nostres models estan dissenyats per predir la incidència de demència en 2 anys, per tenir en compte la variació en el temps entre les cites de seguiment, vam incloure el seguiment que es va produir dins dels 29 mesos posteriors a la visita inicial per assegurar-nos que la visita fos la primera o segona cita de seguiment.

Variable de resultat

La variable de resultat va ser el diagnòstic incident de demència per totes les causes dins dels 29 mesos (aproximadament 2 anys) de l'avaluació inicial. Això inclou subtipus de demència, com ara la demència d'Alzheimer, la demència amb cossos de Lewy, la demència vascular i altres subtipus més rars. La demència d'Alzheimer es va diagnosticar segons els criteris NINCSD-ADRDA16, la demència vascular es va diagnosticar segons els criteris NINDS-AIREN17, la demència de cossos de Lewy (LBD) es va diagnosticar segons els criteris del Consorci Demència amb cossos de Lewy18 i la demència frontotemporal. va ser diagnosticat segons els criteris de 1998 de Neary i col·legues.19

Candidats predictors

Es van incloure totes les variables clínicament rellevants recollides durant la visita inicial a les versions 1 i 2 de l'UDS (eTaula 1 del suplement). Vam excloure variables amb valors de text lliure, com ara noms de medicaments, i variables que eren constants entre tots els participants, com el nombre de visites. Es van generar quatre variables sintètiques per ajudar en l'avaluació de la importància de la variable (aquestes variables s'han de classificar baix); 3 d'aquestes variables eren permutacions de variables existents (1 binària, 1 categòrica i 1 numèrica) i 1 variable es va generar aleatòriament a partir d'una distribució normal. Això va donar lloc a un total de 258 variables.

Les variables de l'UDS incorporades als nostres models inclouen característiques demogràfiques dels participants (15 variables), característiques demogràfiques coparticipants (7 variables), antecedents familiars (3 variables), antecedents mèdics (47 variables), medicaments (21 variables), físics (12 variables). ) i neurològics (4 variables), l'escala de valoració de la malaltia de Parkinson unificada20 (UDPRS) (28 variables), l'escala de classificació clínica de demència (CDR)21 (8 variables), estat funcional (10 variables), bateria de proves neuropsicològiques (50 variables) , Escala de depressió geriàtrica (17 variables) i una valoració clínica dels símptomes (32 variables). D'aquestes variables, 239 (93 per cent) faltaven per a almenys 1 participant, i tots els participants tenien com a mínim 1 variable desapareguda.

Desenvolupament del model

Hem implementat 4 algorismes ML22: regressió logística (LR), 23 màquines de vectors de suport (SVM), 24 boscos aleatoris (RF), 25,26 i arbres augmentats amb gradient (XGB)27 (eMethods al suplement). Aquests algorismes realitzen una tasca de classificació: determinen si un participant entra a la classe 0 (es preveu que romandrà lliure de demència 29 mesos des de la línia de base) o a la classe 1 (es preveu que experimenti una demència incident en els 29 mesos posteriors a la línia de base). La classificació es basa en variables registrades en la seva primera visita a la clínica de memòria (de referència). Per implementar els algorismes de ML, hem utilitzat la biblioteca sci-kit-learn de Python (Python Software Foundation),28 amb 5-validació creuada (eMethods al suplement). Els valors que faltaven es van imputar mitjançant un mostreig amb substitució dels valors que no faltaven. Tot el processament i l'anàlisi de dades es van implementar a la versió 3.9 de Python, la versió 1.19.4 de NumPy i la versió de sci-kit-learn 0.24.0.

Anàlisi estadística

Model d'avaluació

Hem avaluat el rendiment de tots els models comparant la seva precisió, sensibilitat i especificitat generals per als llindars de decisió preespecificats a la literatura (models existents) o un llindar de 0,5 (models ML), que pondera igualment els falsos positius. i errors falsos negatius. L'àrea sota la corba característica d'operació del receptor (AUC)29 es va utilitzar per resumir el rendiment del model sobre tots els llindars possibles i, per tant, les ponderacions d'error de classificació errònia.30 Les mesures de rendiment mitjà i els SD es van obtenir mitjançant l'arrencada (eMethods al suplement).

Comparació amb models existents

El BDSI i el CAIDE són models de predicció del risc de demència existents que assignen als pacients una puntuació que representa el seu risc de desenvolupar demència en escales de temps més llargues. Per obtenir les puntuacions de risc BDSI i CAIDE, vam seleccionar les variables de l'UDS que es corresponen més amb les variables utilitzades anteriorment (eTaula 2 del suplement). El rendiment dels nostres models ML es va comparar amb el de BDSI i CAIDE per predir la incidència de demència 2-any.

Rendiment del model entre els subtipus de demència

La demència pot tenir diverses causes, corresponents a diferents subtipus de demència. Per avaluar la capacitat dels models ML per identificar diferents subtipus de demència, vam dividir els casos de demència incident en demència d'Alzheimer, LBD, demència vascular i altres subtipus de demència. Utilitzant aquestes 4 estratificacions, vam calcular el percentatge de participants classificats correctament (taxa veritable positiva) i vam comparar les corbes ROC per a cada model ML.

Investigació d'estabilitat diagnòstica

Se sap que el diagnòstic clínic de demència incorpora pacients que inicialment són mal diagnosticats (efectivament, errors falsos positius i falsos negatius).31 Definim la reversión com quan un participant que va ser diagnosticat amb demència fins a 2 anys després de la seva primera visita a la clínica de memòria. i, posteriorment, reben un diagnòstic de no demència (ja sigui MCI o cognició no alterada) dins dels 2 anys posteriors al diagnòstic de demència. En raonar que aquestes reversions són diagnòstics inestables i que probablement hagin estat el resultat d'un diagnòstic errònia de demència, vam investigar la precisió de classificació dels models ML en una mostra de participants amb reversió (eMethods al suplement). Hem utilitzat la funció de distribució acumulada (CDF) de les puntuacions de classificació produïdes per cada model de ML per comparar els participants amb reversió amb pacients que van desenvolupar demència i pacients que es van mantenir lliures de demència.

Resultats

Després d'excloure {{0}} assistents amb un diagnòstic de demència a l'inici, 4557 assistents que no tenien dades de seguiment i 573 assistents que van fer el seu primer seguiment més de 29 mesos després de la seva primera visita , la mostra analítica final contenia 15 307 participants (edat mitjana [DE], 72,3 [9,8] anys; 9129 [60 per cent ] dones i 6178 [40 per cent ] homes). Les característiques de la mostra es mostren a la taula 1. En els dos anys posteriors a la línia de base, 1568 participants (10 per cent) van rebre un diagnòstic de demència. Dels 1568 participants que van rebre un diagnòstic de demència, 273 (17 per cent) van ser diagnosticats per un únic metge i 1216 (78 per cent) van ser diagnosticats per un panell de consens; per a 79 participants (5 per cent), no es va especificar la font del diagnòstic. Les mesures de rendiment clau que avaluen el poder predictiu de cada model es mostren a la taula 2. En comparació amb els models existents, els models ML eren superiors en la seva capacitat per predir si un individu desenvoluparia demència en 2 anys, i van superar els models existents en totes les mesures. Tots els models ML van funcionar de la mateixa manera, amb XGB amb la potència més gran quan es mesura per la precisió global (92 per cent) i AUC (mitjana [SD], 0,92 [0,01]). La corba característica de funcionament del receptor per a cada model demostra la similitud entre els models ML i la seva superioritat en comparació amb els 2 models de risc existents (figura 1).

Rendiment del model entre els subtipus de demència

Per avaluar el rendiment del model ML en diferents subtipus de demència, vam dividir la població en 4 subtipus de demència: demència d'Alzheimer (1285 participants), LBD (82 participants), demència vascular (21 participants) i altres subtipus de demència (180 participants). El model LR va ser millor per identificar la demència d'Alzheimer i altres subtipus, classificant correctament 589 participants (46 per cent) amb demència d'Alzheimer i 99 participants (55 per cent) amb altres subtipus. El model SVM va funcionar millor en participants amb LBD, classificant correctament 40 participants (49 per cent). Tots els models van classificar correctament 7 participants (33 per cent) amb demència vascular. Les corbes característiques de funcionament del receptor demostren que tots els models van funcionar aproximadament igual de bé en cada subtipus (eFigura 1 del suplement).

Investigació del nombre mínim de variables

Un inconvenient potencial d'utilitzar un enfocament de ML és el gran nombre de variables implicades. A mesura que augmenta el nombre de variables requerides per un model, la implementació en un entorn clínic es fa menys pràctica i la interpretabilitat del model es veu afectada. Per avaluar quantes variables necessitava cada model de ML per aconseguir el poder predictiu equivalent al que vam trobar utilitzant les 258 variables (taula 2), vam avaluar com variava l'AUC amb el nombre de variables incloses als models. Concretament, hem classificat les variables per a cada model ordenant-les per ordre descendent d'importància (és a dir, el poder discriminatori de cada variable segons l'algorisme; eMethods al suplement). Posteriorment hem recapacitat cada model amb un nombre creixent de variables, començant per les més importants. Vam trobar que tots els models només necessitaven 22 variables per aconseguir un rendiment diagnòstic estadísticament indistingible del seu rendiment mitjà òptim (figura 2; eFigura 2 al suplement). Les variables sintètiques afegides per garantir la validesa de l'avaluació d'importància variable no estaven a les 22 variables principals per a cap model, cosa que reflecteix el fet que després d'arribar al rendiment complet del diagnòstic, hi havia poca informació per determinar amb força la classificació de la variable.

Identificació dels factors de risc clau

De les 22 variables més importants per a cada model, només 5 eren comunes a tots els models (és a dir, el judici clínic de la disminució de la memòria, les habilitats cognitives, el comportament, la capacitat de gestionar els assumptes o els canvis motors i de moviment; temps per completar la prova Trail Making Part B; CDR: discapacitat d'orientació; CDR: deteriorament de la llar i les aficions; i nivell d'independència). De les variables restants, hi havia 10 parelles que tenien una correlació superior a 0.7, cosa que indica que eren variables similars (eTaula 3 del suplement). Tenint en compte aquesta correlació mitjançant l'intercanvi de variables que estaven altament correlacionades, vam trobar que hi havia 6 variables altament predictives (judici clínic de declivi, temps per completar la prova Trail Making Part B, 3 components del CDR [orientació, memòria i llar i aficions). deteriorament] i nivell d'independència) que eren comuns a tots els models d'ML (eTaula 4 del suplement). Entrenant cada model utilitzant només aquestes variables, vam trobar que per a LR i XGB, no hi havia una disminució significativa del rendiment diagnòstic: utilitzant aquest conjunt bàsic de 6 variables, aquests models tenien una precisió mitjana (SD) del 91 per cent (0 per cent ) per a LR i 91 per cent (1 per cent) per a XGB i AUC mitjà (SD) de 0,89 (0.{01) per a LR i 0,89 (0,02) per a XGB (eTaula 5 del suplement).

Estabilitat diagnòstica

Dels 1.568 participants que van rebre un diagnòstic de demència en un termini de 2 anys, vam identificar 130 (8 per cent ) com a experimentant reversió que probablement es van diagnosticar erròniament inicialment i, per tant, etiquetats malament amb finalitats de ML. Vam trobar que, tot i que les reversions només es van informar en el 0,8 per cent dels participants, van representar entre 92 i 109 participants (7 per cent -8 per cent) dels participants mal classificats, amb una petita variació entre models (taula 3). El model de RF va tenir l'estabilitat diagnòstica més alta, identificant correctament 109 de 130 participants amb reversió (84 per cent) classificant-los com es preveia que estaven lliures de demència als 2 anys. Per investigar l'estabilitat diagnòstica dels models ML, vam eliminar els participants amb reversió durant l'entrenament (eMethods al suplement). Després de reciclar els models sense reversions, vam trobar que RF va identificar 106 participants que van experimentar reversions (mediana [IQR], 82 per cent [78 per cent -82 per cent ]), SVM va identificar 93 participants que van experimentar reversions (mediana [IQR], El 72 per cent [69 per cent -74 per cent ]) i LR i XGB van identificar 92 participants que van experimentar reversions (mediana [IQR], 71 per cent [68 per cent -75 per cent ]). Els IQR es van obtenir mitjançant l'arrencada dels participants que van experimentar una reversió.

Per entendre la diferència entre els participants mal classificats, els participants amb reversió i els participants que van desenvolupar demència sense reversió, es van analitzar els CDF de les puntuacions de classificació obtingudes de cada model de ML. Vam trobar que les puntuacions dels participants malclassificats i dels participants específics amb reversió eren diferents dels participants que van desenvolupar demència i dels que no ho van fer (eFigura 3 del suplement). Els CDF de les puntuacions de classificació dels participants que no van desenvolupar demència van caure a l'extrem esquerre de cada trama, cosa que indica que els models ML van assignar a aquests participants una baixa probabilitat de desenvolupar demència. Per contra, per als participants que van desenvolupar demència, els CDF van caure a la dreta de les parcel·les: se'ls va assignar una alta probabilitat de desenvolupar demència. Per a tots els models, la distribució de les puntuacions dels participants amb reversió va caure a l'esquerra de la dels participants que van desenvolupar demència, el que significa que es va avaluar que els participants amb reversió tenien una probabilitat més baixa de desenvolupar demència segons aquests models.

Discussió

En aquest estudi de pronòstic, els algorismes de ML tenien una precisió pronòstica superior en comparació amb BDSI i CAIDE per predir la incidència de demència en els 2 anys posteriors a la primera avaluació clínica de memòria d'un pacient. Es van avaluar dos dels algorismes de ML per aconseguir una precisió del 91 per cent i un AUC de 0,89 amb només 6 variables clau. Les anàlisis de sensibilitat suggereixen que els models de ML podrien classificar correctament una proporció elevada de participants que van experimentar reversió que van ser potencialment diagnosticats erròniament en els dos anys posteriors a la seva visita inicial. Aquest estudi té diversos punts forts, com ara la gran mostra de pacients derivats de múltiples clíniques de memòria dels Estats Units, l'ampli ventall de tècniques de ML utilitzades, l'avaluació comparativa amb els models de risc existents i l'exploració de l'estabilitat diagnòstica i el possible diagnòstic errònia.

Estudis previs sobre l'ús de ML per predir el risc de demència s'han centrat en la conversió de la cognició no alterada a la demència d'Alzheimer o MCI6,8 o la conversió de MCI a demència d'Alzheimer.5 Aquests enfocaments són menys útils en un entorn clínic, ja que exclouen altres tipus de demència5,6,8 o pacients que inicialment no presenten alteracions cognitives.5 Les dades utilitzades en aquests estudis van incloure tomografies per emissió de positrons5,8 i biomarcadors de líquid cefaloraquidi,8 dels quals no estan disponibles habitualment en una clínica de memòria. Un estudi de Lin et al6 va superar això mitjançant l'ús de dades NACC per trobar un conjunt de 15 variables clíniques no invasives per avaluar el risc de conversió de la cognició no alterada a MCI en un període de 4-any. No obstant això, la construcció de MCI continua sent una mica controvertida32, i les taxes de conversió entre MCI i demència solen ser baixes.32,33 Els nostres models de ML complementen aquestes anàlisis i tenen l'avantatge d'incorporar només 6 variables clau en una escala de temps clínicament rellevant i predir el resultat de la demència per totes les causes.

Dels models existents investigats al nostre estudi, el model CAIDE va ​​ser el menys precís a l'hora de predir el risc de demència durant 2 anys, cosa que no és sorprenent, ja que es va desenvolupar per predir el risc de demència a llarg termini en adults de mitjana edat durant molt més temps. període de seguiment de 20 anys. El BDSI va funcionar millor que el CAIDE, probablement reflectint que va ser dissenyat per al seu ús en adults grans durant un període de seguiment més moderat de 6 anys. Tanmateix, tots els models ML van superar aquests models existents. Utilitzant totes les variables, XGB va ser l'enfocament de ML més potent per predir pacients que podien ser diagnosticats de demència en un termini de 2 anys, cosa que suggereix que la forma en què s'entrenen els nous arbres de decisió per corregir els errors dels tres últims resulta en un rendiment marginal. guany. Tanmateix, l'XGB també semblava ser l'enfocament menys capaç d'identificar els participants que van experimentar reversió, és a dir, aquells que van ser diagnosticats inicialment de demència en un termini de 2 anys i aquest diagnòstic es va invertir en un termini de 2 anys després del diagnòstic inicial.

El rendiment dels models ML es pot reduir considerablement per dades d'entrenament mal etiquetades.34 De manera contraintuïtiva, excloure dades d'entrenament mal etiquetades no sempre millora el rendiment.35 A mesura que augmenta el nivell de soroll a les dades d'entrenament, el valor d'excloure o reduir aquest soroll disminueix si el mateix soroll està present a les dades de validació.36 Per tant, filtrar les dades d'entrenament pot fins i tot reduir les dades d'invalidació del rendiment, tal com es troba en aquest estudi. Tanmateix, quan el nivell d'etiquetatge incorrecte és inferior al 20% al 40% aproximadament, l'eliminació de les dades mal etiquetades pot millorar la precisió de les dades de validació, fins i tot si incorporen dades mal etiquetades.35,37,38 Això il·lustra la importància d'investigar l'estabilitat del diagnòstic en l'entrenament i dades de validació: fins i tot les dades estàndard de criteri incorporen errors.

La taxa de reversió observada (8 per cent) va ser similar a la trobada en un estudi del 2019 basat en una població dels EUA diferent.31 En el nostre estudi, es va trobar que el percentatge de falsos positius variava del 7 al 19 per cent, depenent del nivell cognitiu. avaluació utilitzada. Segons el nostre coneixement, aquesta és la primera anàlisi de possibles diagnòstics errònia a la NACC UDS i suggereix que l'ús de ML com a ajuda per a la presa de decisions clíniques té el potencial de reduir el diagnòstic errònia de falsos positius fins a un 84 per cent. Atès que els pacients que experimenten reversió són límit en el sentit diagnòstic, des d'una perspectiva clínica, pot ser sensat que siguin seguits de totes maneres, atès que hi ha hagut motius per a la preocupació clínica. Així, XGB pot ser el millor model d'ajuda per a la presa de decisions clíniques. Alternativament, un enfocament de conjunt que fa prediccions secundàries sobre l'estabilitat diagnòstica probable i el potencial de classificació errònia pot resultar encara més útil.

Limitacions

Aquest estudi té diverses limitacions. En primer lloc, tant CAIDE com BDSI es van desenvolupar utilitzant poblacions diferents a la utilitzada en aquest estudi. No totes les variables utilitzades per al desenvolupament d'aquests models tenien un equivalent exacte en l'UDS que podria haver afectat el seu rendiment en aquest conjunt de dades. En segon lloc, el mètode utilitzat per imputar les dades pot donar lloc a un error d'imputació. Concretament, l'imputació substitueix tots els valors que falten per un valor numèric, però alguns valors falten a causa de la seva relació amb un altre valor; per tant, el fet que falti un valor és informatiu. Tanmateix, mentre que els participants tenien una mitjana d'un 14 per cent de dades que faltaven, les 6 variables clau identificades no estaven per a una mitjana de l'1 per cent dels participants. En tercer lloc, tot i que el nostre estudi va utilitzar una gran mostra d'assistents a la clínica de memòria als Estats Units, fent que els nostres resultats siguin molt aplicables a aquest entorn, es desconeix fins a quin punt aquests resultats es generalitzaran a altres poblacions.

Conclusions

Aquest estudi pronòstic va trobar que els models de ML van superar els models de predicció del risc de demència existents i poden tenir el potencial de millorar la predicció de la demència incident durant 2 anys a les clíniques de memòria. Sis factors clau per al risc de demència identificats en aquest estudi poden tenir el potencial de millorar la pràctica clínica a les clíniques de memòria si s'incorporen a les futures ajudes per a la presa de decisions clíniques.

REFERÈNCIES

1. Hejl A, Høgh P, Waldemar G. Condicions potencialment reversibles en 1000 pacients consecutius de la clínica de memòria. J Neurol Neurosurg Psiquiatria.

2. Mitchell AJ, Shiri-Feshki M. Taxa de progressió del deteriorament cognitiu lleu fins a la demència: una metaanàlisi de 41 estudis de cohort d'inici robusts. Acta Psychiatr Scand. 2009;119(4):252-265.

3. Barnes DE, Beiser AS, Lee A, et al. Desenvolupament i validació d'un breu indicador de cribratge de demència per a l'atenció primària. Dement d'Alzheimer. 2014;10(6):656-665.e1. doi:10.1016/j.jalz.2013.11.006

4. Kivipelto M, Ngandu T, Laatikainen T, Winblad B, Soininen H, Tuomilehto J. Puntuació de risc per a la predicció del risc de demència en 20 anys entre persones de mitjana edat: un estudi longitudinal basat en la població. Lancet Neurol. 2006;5(9):735-741. doi:10.1016/S1474-4422(06)70537-3

5. Cui Y, Liu B, Luo S, et al; Iniciativa de neuroimatge de la malaltia d'Alzheimer. Identificació de la conversió del deteriorament cognitiu lleu a la malaltia d'Alzheimer mitjançant predictors multivariants. PLoS One.

6. Lin M, Gong P, Yang T, Ye J, Albin RL, Dodge HH. Enfocaments analítics de grans dades al conjunt de dades NACC: ajuda a l'enriquiment dels assaigs preclínics. Alzheimer Dis Assoc Disord. 2018;32(1):18-27.

7. Park JH, Cho HE, Kim JH, et al. Predicció d'aprenentatge automàtic de la incidència de la malaltia d'Alzheimer mitjançant dades administratives de salut a gran escala. NPJ Digit Med. 2020;3(1):46.

8. Zhan Y, Chen K, Wu X, et al; Iniciativa de neuroimatge de la malaltia d'Alzheimer. Identificació de la conversió de la cognició normal de la gent gran a la malaltia d'Alzheimer mitjançant una màquina vectorial de suport multimodal. J Alzheimers Dis. 2015; 47(4):1057-1067.

9. Burgos N, Colliot O. Machine learning for classification and prediction of brain diseases: recent advances and upcoming challenges. Curr Opin Neurol. 2020;33(4):439-450.

10. Beekly DL, Ramos EM, Lee WW, et al; NIA Centres de Malaltia d'Alzheimer. Base de dades del National Alzheimer's Coordinating Center (NACC): el conjunt de dades uniforme. Alzheimer Dis Assoc Disord. 2007;21(3):249-258.

11. Institut Nacional de l'Envelliment. Centres de recerca de la malaltia d'Alzheimer. Accés el 21 de maig de 2021.

12. Pfeffer RI, Kurosaki TT, Harrah CH Jr, Chance JM, Filos S. Mesura de les activitats funcionals en adults majors de la comunitat. J Gerontol. 1982;37(3):323-329.

13. Kaufer DI, Cummings JL, Ketchel P, et al. Validació de l'NPI-Q, una forma clínica breu de l'Inventari Neuropsiquiàtric. J Neuropsiquiatria Clin Neurosci. 2000;12(2):233-239.

14. Weintraub S, Salmon D, Mercaldo N, et al. Conjunt de dades uniforme (UDS) dels centres de la malaltia d'Alzheimer: la bateria de proves neuropsicològiques. Alzheimer Dis Assoc Disord. 2009;23(2):91-101.

15. Morris JC, Weintraub S, Chui HC, et al. The Uniform Data Set (UDS): variables clíniques i cognitives i dades descriptives dels Centres de Malaltia d'Alzheimer. Alzheimer Dis Assoc Disord. 2006;20(4):210-216.

16. McKhann G, Drachman D, Folstein M, Katzman R, Price D, Stadlan EM. Diagnòstic clínic de la malaltia d'Alzheimer: informe del Grup de Treball NINCDS-ADRDA sota els auspicis del Grup de Treball del Departament de Salut i Serveis Humans sobre la malaltia d'Alzheimer. Neurologia. 1984;34(7):939-944.

17. Román GC, Tatemichi TK, Erkinjuntti T, et al. Demència vascular: criteris diagnòstics per a estudis de recerca: informe del Jornada Internacional NINDS-AIREN. Neurologia. 1993;43(2):250-260.

18. McKeith IG, Dickson DW, Lowe J, et al; Consorci sobre DLB. Diagnòstic i gestió de la demència amb cossos de Lewy: tercer informe del Consorci DLB. Neurologia.

19. Neary D, Snowden JS, Gustafson L, et al. Degeneració lobar frontotemporal: un consens sobre els criteris de diagnòstic clínic. Neurologia. 1998;51(6):1546-1554.

20. Martínez-Martín P, Gil-Nagel A, Gracia LM, Gómez JB, Martínez-Sarriés J, Bermejo F; El Grup Cooperatiu Multicèntric. Característiques i estructura de l'escala de qualificació unificada de la malaltia de Parkinson. Mov Disorder. 1994;9 (1):76-83.

21. Morris JC. Classificació clínica de demència: una mesura de diagnòstic i estadificació fiable i vàlida per a la demència de tipus Alzheimer. Int Psicogeriatr. 1997;9(S1)(suppl 1):173-176.

22. Hastie T, Tibshirani R, Friedman J. Els elements de l'aprenentatge estadístic: mineria de dades, inferència i predicció. Springer Science & Business Media; 2009.

23. Hosmer Jr DW, Lemeshow S, Sturdivant RX. Regressió Logística Aplicada. John Wiley & Sons; 2013.

24. Cortes C, Vapnik V. Xarxes de suport-vector. Mach Learn. 1995;20(3):273-97. doi:10.1007/BF00994018

25. Breiman L. Random forests. Mach Learn. 2001;45(1):5-32. doi:10.1023/A:1010933404324

26. Ho TK. Boscos de decisió aleatòria. A: Proceedings of the 3rd International Conference on Document Analysis and Recognition. IEEE; 1995:278-282.

27. Friedman JH. Augment del gradient estocàstic. Anàlisi de dades estadístiques computacionals. 2002; 38(4):367-78.

28. Pedregosa F, Varoquaux G, Gramfort A, et al, Scikit-learn: machine learning in Python. J Mach Learn Res. 2011; 12:2825-2830.

29. Krzanowski WJ, DJ de mà. Corbes ROC per a dades contínues. CRC Press; 2009.

30. Fawcett, T. Una introducció a l'anàlisi ROC. Reconeixement de patrons Lett. 2006;27(8):861-874. doi:10.1016/j. Patric.2005.10.010

31. Ranson JM, Kuźma E, Hamilton W, Muniz-Terrera G, Langa KM, Llewellyn DJ. Classificació errònia dels predictors de la demència quan s'utilitzen avaluacions cognitives breus. Neurol Clin Pract. 2019;9(2):109-117.

32. Bruscoli M, Lovestone S. És realment la MCI només una demència precoç: una revisió sistemàtica dels estudis de conversió. Int Psicogeriatr. 2004;16(2):129-140.

33. Farias ST, Mungas D, Reed BR, Harvey D, DeCarli C. Progressió del deteriorament cognitiu lleu a la demència a les cohorts de la clínica versus la comunitat. Arch Neurol. 2009;66(9):1151-1157.

34. Guan D, Yuan W, Ma T, Khattak AM, Chow F. Eliminació sensible al cost de dades d'entrenament mal etiquetades. Inf Sci. 2017; 402:170-81.

35. Brodley CE, Friedl MA. Identificació de dades d'entrenament mal etiquetades.J Artif Intelligence Res.

36. Quinlan JR. Inducció d'arbres de decisió. Mach Learn. 1986;1(1):81-106.

37. Brodley CE, Friedl MA. Identificar i eliminar instàncies d'entrenament mal etiquetades. A: AAAI '96: Proceedings of the Thirteenth National Conference on Artificial Intelligence. AAAI; 1996:799-805.

38. Brodley CE, Friedl MA. Millorar la cartografia automatitzada de la coberta del sòl mitjançant la identificació i eliminació d'observacions mal etiquetades de les dades de formació. A: IGARSS '96: 1996 Simposi Internacional de Geociència i Teledetecció. IEEE;1996:1379-1381.