Novetat de reconeixement espai-temporal continu de la llengua de signes mitjançant una xarxa atenta de múltiples funcions(1)

Resum: Tenint en compte els fluxos de vídeo, pretenem detectar correctament els signes no segmentats relacionats amb el reconeixement continu de la llengua de signes (CSLR). Malgrat l'augment dels mètodes d'aprenentatge profund proposats en aquesta àrea, la majoria d'ells se centren principalment en utilitzar només una funció RGB, ja sigui la imatge de fotograma complet o detalls de les mans i la cara. L'escassetat d'informació per al procés d'entrenament CSLR limita molt la capacitat d'aprendre múltiples funcions mitjançant fotogrames d'entrada de vídeo. A més, l'explotació de tots els fotogrames d'un vídeo per a la tasca CSLR podria conduir a un rendiment subòptim, ja que cada fotograma conté un nivell d'informació diferent, incloses les característiques principals en la inferència del soroll. Per tant, proposem un nou reconeixement espai-temporal continu de la llengua de signes utilitzant la xarxa atenta de múltiples funcions per millorar CSLR proporcionant funcions de punts clau addicionals. A més, explotem la capa d'atenció en els mòduls espacials i temporals per emfatitzar simultàniament múltiples característiques importants. Els resultats experimentals dels dos conjunts de dades CSLR demostren que el mètode proposat aconsegueix un rendiment superior en comparació amb els mètodes actuals d'última generació per 0,76 i 20,56 per a la puntuació WER en conjunts de dades CSL i PHOENIX, respectivament.

Cistanche d'herbes de Superman

Paraules clau: llenguatge de signes continu; espacial; temporal; multifunció; punts clau; autoatenció

1. Introducció

La llengua de signes prioritza la comunicació manual mitjançant gestos de les mans, llenguatge corporal i moviments dels llavis en lloc del so per comunicar-se [1,2]. Normalment, la llengua de signes l'utilitzen persones sordes o amb dificultats auditives, però també es pot utilitzar en situacions en què és impossible o difícil d'escoltar els sons. Per tant, cal un sistema de reconeixement de la llengua de signes (SLR) ja que ajuda a connectar les persones amb problemes d'audició i les que no ho són.

En els darrers anys, els investigadors han centrat molta atenció en la SLR a causa de la rica informació visual que proporciona. Els estudis SLR recents solen agrupar-se en reconeixement aïllat de llengua de signes (ISLR) o reconeixement continu de llengua de signes (CSLR). Diversos treballs aborden només ISLR [3,4], mentre que d'altres només analitzen tasques més fàcils, com ara gestos estàtics per al reconeixement de l'alfabet [5]. Mentrestant, els darrers mètodes solen ser més complicats ja que resolen tasques CSLR [6–8]. En comparació amb ISLR, CSLR és un problema més difícil, ja que implica la reconstrucció de frases.

Té de Cistanche

Feu clic aquí per veure els productes de te Cistanche deserticola

【Demanar més】 Correu electrònic:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

La recerca de CSLR encara té una gran demanda perquè la seva implementació està estretament relacionada amb les condicions quotidianes del món real. Aquest enfocament pretén reconèixer les sèries de gloses que es produeixen en una sèrie de vídeos sense una segmentació clara o fins i tot cap. A més, incorpora una gran quantitat d'investigació d'aprenentatge automàtic i una comprensió completa del comportament humà. Per exemple, implica el seguiment del moviment humà [9], el reconeixement de gestos [10] i el reconeixement facial [11]. No obstant això, hi ha diversos reptes per realitzar tasques CSLR.

En primer lloc, la recollida i l'anotació de dades són costoses per a CSLR [12]. Aquest és potser un dels reptes que s'enfronten en el seu desenvolupament, ja que el CSLR està implicat en una gran xarxa i la quantitat de dades afecta fortament el rendiment [13]. A més, diversos conjunts de dades disponibles per a la llengua de signes estan feblement anotats [12,14,15]. Per resoldre aquest problema, nombrosos estudis han utilitzat un enfocament feblement supervisat, juntament amb l'aplicació d'un mòdul d'alineació i extractor de característiques a l'arquitectura de xarxa [12].

En segon lloc, en comparació amb ISLR, CSLR és més complicat. S'obté informació suficient utilitzant diverses característiques; S'ha demostrat que això aconsegueix un millor rendiment que l'ús d'una única característica, tal com es va informar en treballs anteriors [16-18]. Aquestes múltiples característiques consisteixen en la característica principal que és una imatge corporal que aconsegueix la màxima precisió i característiques addicionals, com ara la postura, el cap, la mà esquerra i la mà dreta, que té una precisió menor per al rendiment individual [17,18]. Entrenar una xarxa gran amb una gran quantitat de dades requereix molt de temps [13]. Afegir el flux d'entrada també augmenta el temps d'entrenament, mentre que l'ús de funcions addicionals basades en imatges augmenta el cost [19]. Per tant, hem de triar característiques importants perquè puguem entrenar de manera eficient.

Cistanche d'herbes xineses

En tercer lloc, l'entrada de vídeo té un gran nombre d'imatges a la seqüència. Algunes imatges tenen una forma de mà poc clara a causa del moviment ràpid, possiblement conduint a informació incorrecta. Per tant, el nostre model proposat utilitza l'autoatenció basada en [20] per ajudar a seleccionar informació important. A més, l'autoatenció demostrada per [21,22] té un impacte en la millora del rendiment.

Per tant, proposem un nou model anomenat novel·la multifunció d'atenció espacial temporal (STAMF) per gestionar tots els problemes. Hem seguit treballs anteriors [17, 23], que s'ha demostrat que funcionen per a CSLR amb problemes d'anotació febles. Construeixen el model utilitzant tres components principals: el primer és el mòdul espacial, el segon és el mòdul temporal i el tercer és el mòdul d'aprenentatge de seqüències. Proposem una entrada multifunció eficient i eficaç mitjançant la funció de fotograma complet juntament amb funcions de punt clau per realitzar tasques CSLR. La funció de fotograma complet representa la imatge corporal com a característica principal i les característiques del punt clau com a característica addicional. La característica clau és la postura corporal, inclòs el detall de la postura de la mà. Aquesta postura corporal és la característica addicional més eficaç, ja que en alguns treballs s'ha demostrat que aconsegueix la màxima precisió després de la funció de fotograma complet [17,18]. També utilitzem un mòdul d'atenció que utilitza l'autoatenció basada en [20] per capturar la característica important i per ajudar l'aprenentatge de la seqüència a millorar el rendiment.

La contribució d'aquest manuscrit es resumeix de la següent manera: • Introduïm una nova atenció temporal al mòdul de seqüències per capturar els punts de temps importants que contribueixen a la sortida final; • Introduïm la funció múltiple que consisteix en la funció de fotograma complet a partir del valor RGB del fotograma com a característica principal i les funcions clau que inclouen la postura del cos amb el detall de la forma de la mà com a característica addicional per millorar el rendiment del reconeixement del model; • Utilitzem la mètrica WER per demostrar que el nostre model STAMF proposat supera els models d'última generació en els dos conjunts de dades de referència CSLR a través dels experiments.

Suplement de Cistanche a prop meu-Millora la memòria

2. Obres relacionades

Hi ha hagut diversos avenços en la tecnologia i s'han fet moltes investigacions sobre SLR. Estudis anteriors [24–27] van explorar la possibilitat d'utilitzar ISLR que té una segmentació per a cada paraula. En els darrers anys, s'han utilitzat mètodes basats en l'aprenentatge profund per extreure característiques mitjançant xarxes convolucionals, ja sigui 2D [28,29] o 3D [30,31], per la seva forta representació visual. La majoria de les primeres investigacions sobre el reconeixement de la llengua de signes es van centrar en ISLR amb característiques multimodals [30–32], com ara RGB, mapes de profunditat i esquelets, que donen un millor rendiment.

Avui en dia, CSLR s'ha popularitzat, tot i que no s'ha segmentat clarament entre cada paraula. Els primers treballs utilitzen un extractor de funcions de CNN [6,33] i HMM [34] per construir l'objectiu de la seqüència. Algunes investigacions recents per als sistemes CSLR [17,23] han inclòs tres passos principals per realitzar la tasca de reconeixement de problemes. Primer, van realitzar l'extracció de les característiques espacials, després la segmentació temporal i, finalment, la síntesi de frases amb un model de llenguatge [35], o van utilitzar l'aprenentatge de seqüències [17,23]. Aquest aprenentatge de seqüències va utilitzar Bi-LSTM i CTC per extreure la relació entre la brillantor de signes a les seqüències de vídeo. Tot i que utilitza una anotació feble que té seqüències de vídeo no segmentades per definir les glosses de signes, aquests enfocaments han mostrat resultats prometedors.

Tanmateix, l'estudi CLSR relacionat més recent que va implementar un enfocament multifuncional [17] va utilitzar cinc funcions simultàniament. L'enfocament multifuncional és més pesat en comparació amb l'ús de menys funcions [19]. Aquest enfocament tampoc no pot gestionar els fotogrames sorollosos de la seqüència de vídeo que tenen informació poc clara, com ara una forma de mà borrosa a causa del moviment ràpid. A més, confiar en l'aprenentatge de seqüències basat en RNN pot trobar problemes amb seqüències llargues i pot perdre el context global [20].

Suplement de Cistanche a prop meu-Millora la memòria

La investigació actual pretén millorar el rendiment afegint un mecanisme d'autoatenció [21,22] que pugui gestionar seqüències més llargues per aprendre el context global. L'autoatenció es basa en investigacions primerenques [20] que van demostrar que l'autoatenció té l'avantatge de poder gestionar dependències llargues. Tanmateix, aquesta autoatenció és més fàcil d'aprendre un camí més curt en comparació amb un camí més llarg amb dependències llargues. En els treballs anteriors de CLSR [21,22] l'autoatenció podria ajudar la xarxa a aprendre la funció de manera més eficaç.

Per tant, en aquest article, introduïm un nou model espai-temporal atent i multifuncional. Aquest model proposat extreu eficaçment les característiques importants i aprèn millor la seqüència donant informació important mitjançant un mecanisme d'autoatenció des de múltiples funcions. Tots els processos s'executen amb un enfocament d'extrem a extrem.

3. Mètode proposat

Aquesta secció detalla les tècniques bàsiques del nostre model proposat per a CSLR. Per tant, comencem aquesta secció explicant la visió general del nostre model proposat. A més, proporcionem més detalls sobre cada component clau, inclosos el mòdul espacial, el mòdul temporal i el mòdul d'aprenentatge de seqüències. A més, també expliquem el nostre mòdul d'atenció proposat per ajudar el model a aprendre millor. Finalment, podem integrar el marc de formació i inferència al nostre model proposat.

3.1. Visió general del marc

Donada una entrada de vídeo, el nostre model proposat pretén predir el signe corresponent en una frase de brillantor correcta. El primer mòdul genera múltiples característiques espacials, com ara característiques de fotograma complet i de punt clau per a cada fotograma T del vídeo. Aleshores, el mòdul temporal ens permet extreure correlacions temporals de les característiques espacials entre fotogrames d'ambdós fluxos. Com a pas final, les xarxes espacials i temporals s'han vinculat a la memòria bidireccional a curt termini (Bi-LSTM) i a la CTC per a l'aprenentatge i la inferència de seqüències. A continuació, expliquem els nostres components principals amb més detall i de manera consecutiva. La visió general de la nostra arquitectura proposada es mostra a la figura 1.

Figura 1. L'arquitectura global del mètode proposat consta de tres components: un mòdul espacial, un mòdul temporal i un mòdul d'aprenentatge de seqüències. El mòdul espacial pren primer la seqüència d'imatges per extreure les característiques del marc i després aplica el mòdul temporal per extreure les característiques temporals. A continuació, les característiques temporals s'envien al mòdul d'aprenentatge de seqüències per realitzar prediccions de paraules i construir-les en una frase

3.2. Mòdul espacial

El mòdul espacial aprofita una característica de fotograma complet i característiques de punt clau, tal com es mostra a la figura 2. Aquest mòdul utilitza l'arquitectura de xarxa 2D-CNN com a columna vertebral i s'escull ResNet50 per capturar les funcions múltiples. ResNet50 és més eficaç per utilitzar-se en comparació amb l'arquitectura ResNet recent en termes de temps, alhora que té un resultat comparable [36,37]. El RGB utilitza ResNet50 directament, mentre que el punt clau l'obté per HRNet [38] del fotograma de vídeo i s'extreu mitjançant ResNet50 per obtenir les funcions del punt clau.

Figura 2. L'arquitectura del mòdul espacial utilitza entrada multi-stream. El flux RGB com a funció de fotograma complet i el flux de punts clau com a funció de punt clau.

3.2.1. Funció de fotograma complet

Hem aplicat els nostres passos de preprocessament a les dades RGB i després hem introduït les nostres dades al model. A continuació, els posem com a entrada de fotograma complet a la nostra arquitectura. La figura 3 mostra la il·lustració de la imatge RGB original al costat esquerre i la imatge retallada al costat dret. La imatge retallada s'utilitza com a entrada pel model. Això il·lustra el pas de preprocessament que redueix les parts menys importants de la imatge i posa més focus en el signant. Aquest retall utilitza un mètode de retall aleatori de [12] per augmentar el conjunt de dades. La funció de fotograma complet s'extreu de la imatge retallada per a cada fotograma de la seqüència mitjançant el ResNet50.

Figura 3. Característica de fotograma complet amb imatge RGB, la (imatge esquerra) és la imatge original i la (imatge dreta) és la imatge retallada per ajustar-la amb el model proposat

3.2.2. Característiques del punt clau

Hem extret les característiques del punt clau del mòdul espacial de les dades RGB per a cada fotograma de l'entrada de vídeo. La qualitat de les característiques dels punts clau té un paper important en el nostre model proposat, per la qual cosa hem d'utilitzar un enfocament robust, com ara HRNet [38]. Hem emprat HRNet [38] prèviament entrenat per estimar tots els 133 punts clau del cos, i hem utilitzat 27 dels 133 punts clau del seu resultat. Com es mostra a la figura 4, el costat esquerre és el punt clau original del cos superior i el costat dret són els 27 punts clau del cos superior seleccionats. Aquests 27 punts clau inclouen canells, colzes, espatlles, coll, mans i dits.

Figura 4. Característiques del punt clau del conjunt de dades PHOENIX-RWTH [33,39], extracció (imatge esquerra) de la imatge RGB, i la (imatge dreta) és el punt clau seleccionat utilitzat pel model proposat.

3.3. Mòdul temporal

El mòdul temporal té com a objectiu aprendre informació espaciotemporal del mòdul espacial. Els mòduls temporals es construeixen mitjançant l'agrupació temporal apilada per a cada flux. Com es mostra a la figura 5, el mòdul d'agrupació temporal consta d'una capa de convolució temporal i una capa d'agrupació per extreure característiques de les entrades seqüencials.

Figura 5. L'arquitectura del mòdul temporal consta d'un 1D-CNN apilat i una capa de agrupació incrustada amb un mòdul d'atenció. Treballeu en paral·lel per als dos fluxos de característiques concatenats al final de les capes apilades i produïu una única característica temporal amb una longitud de seqüència quatre vegades més petita.

L'entrada és una llista de múltiples característiques espacials de l'etapa anterior. La característica temporal s'obté utilitzant la capa de convolució temporal que és una única capa de convolució 1D amb les mateixes longituds d'entrada i sortida, seguida d'una única capa d'agrupació que redueix la mida a la meitat. L'ús d'aquestes dues capes d'agrupació temporal apilades és la millor configuració, segons els treballs anteriors [12]. Després de cada agrupació temporal, incorporem un mòdul d'atenció que s'explicarà amb detall a la secció 3.4. Al final, concatenem la sortida de l'agrupació temporal d'ambdós fluxos.

3.4. Mòdul d'Atenció

El vídeo té diversos fotogrames on algunes parts de la imatge de vegades són borroses. El conjunt de dades RTWH-PHOENIX [33, 39] té més marcs defectuosos que el conjunt de dades CSL [8, 40, 41]. Això passa quan el moviment és massa ràpid, creant una imatge borrosa i donant lloc a la ubicació del punt clau incorrecta. Aquest marc es considera defectuós i pot provocar una interpretació errònia tant de les característiques RGB com del punt clau. La figura 6 mostra una il·lustració de marcs defectuosos al conjunt de dades RTWH-PHOENIX [33]. Per fer front a aquest problema, hem afegit una capa d'atenció.

Figura 6. Il·lustració de marcs de defectes al conjunt de dades RWTH-PHOENIX [33, 39]. Alguns dels punts clau de la zona de les mans estan en una posició incorrecta a causa de les imatges borroses.

Mitjançant l'algorisme CTC, l'alineació del camí juntament amb el seu etiquetatge es realitza utilitzant una etiqueta en blanc i eliminant les etiquetes repetides. CTC prefereix predir etiquetes en blanc en lloc de límits de brillantor quan no pot distingir el límit de brillantor, però cap dels resultats és convincent. Això fa que la xarxa utilitzi CTC per produir pics de resultats en analitzar, aprendre i predir [42,43]. Generalment, la pèrdua de CTC busca els fotogrames clau i el darrer resultat és la predicció d'un fotograma clau particular que té una alta probabilitat de ser una etiqueta en blanc o una etiqueta no en blanc. Si la brillantor prediu la mateixa etiqueta o l'etiqueta en blanc de manera consecutiva, donarà com a resultat la mateixa sortida. Tanmateix, si hi ha una etiqueta d'inserció entre la mateixa etiqueta, encara que només hi hagi un error, es tradueix en una pèrdua molt més gran. Aquí l'addició d'una capa d'atenció ajuda a seleccionar la seqüència temporal important abans de ser utilitzada per a l'aprenentatge seqüencial.

El mòdul d'atenció utilitza un mecanisme d'autoatenció multicaps [20]. El mòdul multicapçal s'utilitza per executar diversos mecanismes d'atenció paral·lel al mateix temps. L'atenció multicaps s'executa de manera independent per centrar-se en les dependències a curt termini o en les dependències a llarg termini en un cap separat. Cada sortida es concatena linealment i es transforma en la forma desitjada.

Al mateix temps, el mecanisme d'autoatenció multicaps s'ocupa de la informació de múltiples subespais de representació, depenent de la història de les observacions. Per simplicitat, denotem les seqüències d'entrada com X. Matemàticament, per al model d'atenció d'un sol cap, donada l'entrada X t − T més 1:t=[X t − T més 1, · · ·, X t ] ∈ RT × N × P, s'obtenen tres subespais, és a dir, el subespai de consulta Q ∈ RN ×dq, el subespai clau K ∈ RN × dk i el subespai de valor V ∈ RN × dv. El procés d'aprenentatge subespai latent es pot formular com [20]:

Q=XWQ, K =%XWK , V =} XWV ,

Aleshores, l'atenció del producte de punts escalada s'utilitza per calcular la sortida d'atenció com [20]:

Atenció (Q, K, V)=així que f tmaxQKT/ p dkV,

A més, si tenim diversos caps que segueixen simultàniament les múltiples representacions de l'entrada, podem obtenir resultats més rellevants al mateix temps. El pas final és concatenar tots els caps i projectar-los de nou per calcular la puntuació final [20]:

MultiHead(Q,K,V)=Concat(cap1,..., caps )WO,

cap=Atenció(Qi,Ki,Vi),

on Qi=XWQ i , Ki=XWVi i WO ∈ R hd × dmodel. Finalment, pot seleccionar la part important de la seqüència de funcions perquè no tota la informació de la seqüència és important.

Com es mostra a la figura 7, utilitzem el mòdul d'atenció en diverses configuracions. El primer mòdul d'atenció es col·loca al final del mòdul espacial, mentre que el segon i tercer mòduls d'atenció se situen al mòdul temporal. El segon mòdul d'atenció, anomenat mòdul temporal primerenc, es col·loca després del primer bloc d'agrupació temporal com a entrada, mentre que el tercer mòdul d'atenció temporal, anomenat mòdul d'atenció temporal tardana, es col·loca després del segon bloc d'agrupació temporal.

Figura 7. Els mòduls d'atenció estan incrustats en mòduls espacials i temporals en diferents configuracions.