Extracció de paràmetres de característiques millorades dels senyals de parla mitjançant l'algoritme d'aprenentatge automàtic (1)
May 30, 2023
Resum: el reconeixement de veu fa referència a la capacitat del programari o del maquinari per rebre un senyal de veu, identificar les característiques de l'altaveu en el senyal de parla i reconèixer-lo després. En general, el procés de reconeixement de la parla inclou tres passos principals: processament acústic, extracció de característiques i classificació/reconeixement. El propòsit de l'extracció de característiques és il·lustrar un senyal de parla utilitzant un nombre predeterminat de components del senyal. Això es deu al fet que tota la informació del senyal acústic és excessivament feixuc de manejar i alguna informació és irrellevant en la tasca d'identificació. Aquest estudi proposa un enfocament basat en l'aprenentatge automàtic que realitza l'extracció de paràmetres de característiques dels senyals de parla per millorar el rendiment de les aplicacions de reconeixement de veu en entorns de ciutat intel·ligent en temps real. A més, el principi de mapejar un bloc de memòria principal a la memòria cau s'utilitza de manera eficient per reduir el temps de càlcul. La mida del bloc de la memòria cau és un paràmetre que afecta molt el rendiment de la memòria cau. En particular, la implementació d'aquests processos en sistemes en temps real requereix una alta velocitat de càlcul. La velocitat de processament té un paper important en el reconeixement de veu en sistemes en temps real. Requereix l'ús de tecnologies modernes i algorismes ràpids que augmenten l'acceleració en l'extracció dels paràmetres de les característiques dels senyals de parla. Els problemes amb l'overclocking durant el processament digital dels senyals de parla encara no s'han resolt completament. Els resultats experimentals demostren que el mètode proposat extreu amb èxit les característiques del senyal i aconsegueix un rendiment de classificació perfecte en comparació amb altres algorismes de reconeixement de veu convencionals.
Cistanche deserticola
Paraules clau: reconeixement de veu; informàtica paral·lela; informàtica distribuïda; processador multinucli; extracció de característiques; anàlisi espectral
1. Introducció
L'establiment d'enfocaments de comunicació entre humans i tecnologia informàtica és una tasca crítica en la intel·ligència artificial moderna. Un dels mètodes més fàcils per als usuaris per introduir informació és mitjançant senyals de parla. Per tant, la tecnologia de processament del senyal de la parla i les seves eines s'han convertit en una part necessària de la societat de la informació. El reconeixement de la parla és un aspecte essencial de la investigació del processament del senyal de la parla i una tècnica vital d'interacció home-ordinador. Els senyals de parla contenen informació semàntica, personal i ambiental [1]. L'enfocament general del processament del senyal de veu és utilitzar l'anàlisi a curt termini, en què el senyal es divideix en finestres de temps de mida fixa, assumint que els paràmetres del senyal no canvien. Es col·loca una superposició entre finestres per obtenir una representació del senyal més precisa. A cada finestra s'apliquen algorismes d'extracció de característiques com l'anàlisi espectral i la predicció lineal. Tanmateix, aquests processos també haurien de tenir en compte la velocitat i el temps.
Ginseng del desert
El temps és una preocupació important en diverses àrees del processament del senyal en temps real. La relació de velocitat de processament es pot augmentar utilitzant de manera eficient els recursos del processador i desenvolupant algorismes nous i ràpids per reduir el temps de processament digital. No obstant això, els problemes de computació d'alt rendiment encara no s'han resolt completament [2]. A més, s'han fet avenços substancials en el reconeixement automàtic de la veu amb el desenvolupament de maquinari i programari de processament de senyal digital. Tanmateix, malgrat aquests avenços, les màquines no poden igualar el rendiment dels seus homòlegs humans en termes de reconeixement de precisió i velocitat, especialment en el reconeixement de parla independent del parlant. Així, una gran quantitat d'investigacions que s'han dut a terme sobre el reconeixement de la parla s'han centrat en problemes de reconeixement de parla que són independents del parlant, a causa de l'ampli ventall d'aplicacions i limitacions de les tècniques de reconeixement de parla disponibles [3].
En resum, les principals aportacions de l'estudi són les següents:
Té de Cistanche
Feu clic aquí per veure els productes de te Cistanche deserticola
【Demanar més】 Correu electrònic:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692
El procés d'identificació d'una persona mitjançant senyals de parla consta de diverses etapes. Entre ells, alguns passos requereixen més temps de càlcul. Aquesta és una anàlisi espectral. Un dels paràmetres que és especialment important en els algorismes d'aprenentatge automàtic és el temps d'entrenament. En aquest treball, hem trobat que el procés d'extracció de característiques és important per a la identificació de senyals de parla. A més, es necessita molt de temps en l'aprenentatge automàtic. S'estableix que el procés d'anàlisi espectral consta d'operacions independents, i la paral·lelització és possible.
Els experiments han demostrat que les transformacions espectrals FFT i DCT donen bons resultats en l'anàlisi espectral. El procés d'anàlisi espectral és vàlid per a cada segment del senyal de parla. Això ens permet distingir clarament aquestes característiques del senyal de parla. Amb l'ajuda de les eines OpenMP i TBB, es va desenvolupar un algorisme de càlcul paral·lel que va permetre accelerar els càlculs.
La mida del segment és important quan es divideix un senyal de veu en segments. Durant els experiments, es va trobar que la mida del segment del senyal de parla depèn de la memòria cau del processador central. En particular, s'ha trobat que la concordança del segment amb la mida de la memòria cau en processadors multinucli té un efecte positiu en la velocitat computacional en l'aprenentatge automàtic.
Es proposa un nou mètode d'implementació paral·lel per a transformacions espectrals de senyals per a l'extracció de paràmetres de característiques a partir de senyals de parla mitjançant un algorisme d'aprenentatge automàtic en processadors multinucli que utilitzen TBB i OpenMP.
També es va trobar que l'ús efectiu del principi d'assignació del bloc de memòria principal a la memòria cau i la mida del bloc de memòria cau poden augmentar la velocitat de processament.
Suplement de Cistanche a prop meu-Millorant la memòria
La resta d'aquest document s'organitza de la següent manera. La secció 2 revisa els estudis existents per extreure propietats específiques del senyal de parla. La secció 3 descriu els passos d'extracció de característiques amb experiments. La secció 4 presenta l'algorisme computacional d'alt rendiment proposat per extreure els paràmetres de les característiques dels senyals de parla en detall. Els resultats experimentals basats en la nostra implementació es discuteixen a la secció 5. La secció 6 destaca les limitacions del mètode proposat. Finalment, la secció 7 conclou l'estudi resumint les conclusions i assenyalant les futures direccions de recerca.
2. Obres relacionades
Actualment s'estan desenvolupant i millorant nous mètodes, algorismes i aplicacions més modernes per a la segmentació de senyals de parla i el càlcul d'indicadors paramètrics de fragments seleccionats, creant així un espectrograma de senyals de parla mitjançant l'anàlisi espectral [4–7]. La identificació dels altaveus amb clips de veu diversificats a tot el món és una tasca crucial i desafiant, especialment per extreure característiques vigoroses i discriminatòries [8]. Korkmaz et al va proposar un nou sistema d'extracció de coeficients cepstrals de freqüència Mel (MFCC) més ràpid i més eficient energèticament que la realització tradicional de MFCC. [9]. En lloc d'utilitzar un filtre de preaccentuació de pas alt, van utilitzar un filtre de pas baix. Van implementar un filtre de pas de banda amb un filtre de pas alt perquè cal fer èmfasi prèvia per augmentar l'energia del senyal en freqüències altes. En el nostre treball anterior [10], vam presentar un mètode nou basat en MFCC per a la identificació del parlant. En lloc d'utilitzar MFCC convencionals, utilitzem píxels de l'espectrograma Mel com a conjunt de característiques. L'espectrograma es va transformar en una matriu 2-D per crear un conjunt de dades nou. Per identificar el parlant, es van posar en pràctica diversos algorismes d'aprenentatge amb una tècnica de validació creuada 10-fold. Amb l'ajuda d'un perceptró multicapa (MLP) amb una funció d'activació tanh, es va aconseguir la millor precisió del 90,2 per cent.
L'extracció de característiques s'aconsegueix canviant la forma d'ona de la parla a una forma de representació paramètrica a una velocitat de dades relativament menor per al processament i l'anàlisi posteriors [11-14]. Els enfocaments d'extracció de característiques solen produir un vector de característiques multidimensionals per a cada senyal de parla. L'extracció de característiques és la part més rellevant del reconeixement dels parlants. Les característiques de la parla tenen una part vital en la segregació d'un parlant dels altres. L'extracció de característiques redueix la magnitud del senyal de parla, sense causar cap dany a la potència del senyal de parla [15-17]. A [18], els autors van introduir un nou enfocament que aprofita l'ajustament dels paràmetres de mida i desplaçament de la finestra d'anàlisi espectral que s'utilitza per calcular la transformada inicial de Fourier a curt temps per millorar el rendiment d'un reconeixement automàtic de parla depenent del parlant. sistema (ASR). En absència de metges, els profans poden utilitzar sistemes d'ajuda a la presa de decisions que es van crear mitjançant enfocaments d'intel·ligència artificial. La detecció precoç i no invasiva de l'estat del cor es pot aconseguir mitjançant senyals de fonocardiograma (PCG) [19-21].
S'ha demostrat que les xarxes neuronals convolucionals (CNN) simulen amb èxit la localitat estructural a l'espai de les característiques, així com utilitzen l'agrupació dins d'una regió de freqüència esbiaixada per reduir la variació translacional i ajustar-se a les pertorbacions i petits canvis a l'espai de les característiques [22]. Mukhamadiyev et al. va proposar un model de reconeixement de veu del model de Markov amagat de xarxa neuronal profunda d'extrem a extrem i una xarxa d'atenció de classificació temporal conexionista (CTC) híbrida per a la llengua uzbeka i els seus dialectes. L'enfocament proposat redueix el temps d'entrenament i millora la precisió del reconeixement de la parla utilitzant eficaçment la funció objectiu CTC en l'entrenament del model d'atenció [23]. A [24] es va proposar l'extracció i classificació de característiques mitjançant un model de xarxa neuronal convolucional (CNN) unidimensional, que divideix els senyals de so cardíac en normals i anormals directament independents d'un electrocardiograma (ECG). Afirmen que la precisió de classificació és més alta a la CNN 1D que a la CNN 2D per als senyals de so cardíac utilitzats en aquest estudi quan el nucli de convolució és inferior a 52 perquè un nucli de convolució gran pot conduir a la complexitat computacional i cada cop requereix més temps. . A [25], es va entrenar una xarxa neuronal profunda per maximitzar la precisió posterior de les seqüències d'estat dels models acústics relacionades amb les seqüències de característiques de la parla mitjançant la base de dades TIMIT (Corpus de parla continua acústica-fonètica TIMIT).
3. Preprocessament: visió general del material
Suplement de Cistanche a prop meu-Millorant la memòria
Per a això, és indispensable el desenvolupament d'algorismes ràpids per extreure paràmetres de característiques de senyals de parla i representacions paramètriques, l'extracció de mostres útils i informatives per al processament i el desenvolupament de programes per a la implementació d'espectrogrames de segments acústics seleccionats.
Els sistemes de reconeixement de veu consten de dos subsistemes principals:
El processament primari dels senyals de la parla (fonograma);
La classificació de símbols acústics mitjançant un algorisme intel·ligent (espectrograma).
El primer subsistema genera símbols acústics com un conjunt de propietats acústiques informatives dels senyals i característiques del senyal. El segon subsistema converteix el senyal de parla en una forma paramètrica en funció de les característiques acústiques obtingudes. El processament del senyal de veu consta de les següents etapes:
Separació dels límits del senyal de parla;
Filtret digital;
Segmentació;
Aplicació d'una finestra de suavització;
Transformació espectral i normalització de freqüències espectrals.
Aquests passos s'utilitzen àmpliament per extreure paràmetres de característiques dels senyals de parla, i les seves característiques principals es consideren a continuació.
3.1. Separació de límits
L'extracció de només parts de la parla del senyal entrant o la determinació dels moments inicials i finals d'una frase en un entorn sorollós és una tasca essencial en el processament de la parla. Les propietats següents del senyal de parla s'utilitzen per resoldre aquest problema: l'energia a curt termini del senyal de parla, el nombre de punts que es tallen a zero, la densitat de la distribució dels valors del camp de silenci dins del senyal i la entropia espectral. Els sistemes tradicionals de reconeixement de veu utilitzen tècniques que es basen en les energies transitòries i espectrals d'un senyal (per exemple, detecció d'activitat de veu) per determinar els límits de la parla a partir dels senyals de parla entrants [26–28].
Els paràmetres principals del senyal de parla són l'energia a curt termini del senyal de parla i el nombre de punts que passen per zero. Com a regla general, els paràmetres d'un senyal de parla canvien ràpidament amb el temps; per tant, s'acostuma a processar un senyal de parla en fragments de 10 a 30 ms de longitud que no es superposen. El senyal de parla està estacionari dins d'aquest rang, i les àrees de silenci del senyal de parla s'eliminen calculant l'energia transitòria. L'algorisme per resoldre aquest problema es divideix en N seqüències de 256 valors d'energia a curt termini del següent senyal de parla.
El càlcul de l'energia de cada fragment dividint el senyal de parla és adequat per a la computació paral·lela i distribuïda. Cada fragment es processa de manera independent. Si el processament s'aplica en un multiprocessador n-core, serà possible calcular l'energia de n fragments simultàniament. Per tant, és possible augmentar l'eficiència del processament paral·lel durant aquesta etapa [29-32].
3.2. Nombre d'encreuaments per zero
Un pas per zero és un punt en què el signe d'una funció matemàtica canvia (per exemple, de positiu a negatiu), que es representa per una intercepció de l'eix (valor zero) en el gràfic de la funció [33]. La freqüència de pas per zero en un senyal pot ser l'indicador més senzill de les seves propietats espectrals. Per exemple, el nombre de punts que passen per zero en un senyal de parla es pot determinar mitjançant l'equació següent:
Figura 1. Mètode de separació de la parla basat en l'anàlisi d'entropia espectral.
3.3. Filtret digital
A més d'un senyal típic i útil, hi ha diversos tipus de soroll. Com que el soroll afecta negativament la qualitat dels sistemes de reconeixement de veu, tractar-lo és un problema urgent. S'utilitzen dos tipus de filtres digitals per reduir els nivells de soroll del sistema: un filtre de línia i un filtre inicial. Un filtre lineal es pot considerar una combinació de filtres de baixa i alta freqüència, ja que captura totes les freqüències baixes i altes. S'aplica el filtrat inicial per minimitzar l'impacte de les pertorbacions locals en les marques característiques que s'utilitzen per a la identificació posterior. Un senyal de parla ha de passar per un filtre de pas baix per a l'alineació espectral [35].
3.4. Segmentació
La segmentació és el procés de dividir un senyal de parla en fragments discrets i no superposats. El senyal normalment es divideix en unitats de parla com ara frases, paraules, síl·labes, fonemes o fins i tot unitats fonètiques més petites. La segmentació d'enregistraments que contenen enunciats de nombrosos parlants pot consistir en atribuir fragments d'enunciats a parlants concrets. El terme "estacions de segment" s'utilitza de vegades per referir-se a una divisió del senyal de parla en trames abans de la seva parametrització [36,37].
3.5. Transformació espectral
Cal distingir les característiques principals dels senyals de parla que s'utilitzen en les etapes posteriors del procés de reconeixement de la parla. Les característiques inicials es determinen analitzant les propietats espectrals dels senyals de parla. L'algoritme de transformada ràpida de Fourier s'utilitza habitualment per obtenir la freqüència espectral d'un senyal de parla [38,39].
3.6. Normalització de Freqüències Espectrals
Tot el procés computacional en algorismes intel·ligents es basa en nombres decimals en moviment. Per tant, els paràmetres dels objectes que es classifiquen mitjançant xarxes neuronals es limiten a l'interval [{{0}}.0, 1.0]. L'espectre resultant es normalitza entre 0 i 1 per aplicar el processament espectral mitjançant la xarxa neuronal. Per aconseguir-ho, cada component vectorial es divideix en els seus components màxims.
Els mètodes de processament espectral permeten l'ús de totes les mostres de dades que s'obtenen del senyal de parla. Molts senyals de parla tenen una estructura de freqüència i propietats espectrals específiques. Els mètodes espectrals proporcionen un processament d'alta precisió dels senyals de parla. Els desavantatges del processament espectral inclouen una baixa flexibilitat en les característiques locals dels senyals, una manca de dimensions espectrals i uns costos computacionals relativament elevats.
La transformació de Fourier, l'anàlisi wavelet i molts altres algorismes s'utilitzen àmpliament en el processament espectral de senyals de parla. La transformació de Fourier s'utilitza en molts camps de la ciència, inclòs el processament de la parla. En el processament del senyal de veu, la transformació de Fourier converteix el senyal del camp del temps al camp espectral com a component de freqüència [40].
En estudis anteriors, es van aplicar la transformada discreta de Fourier (DFT), la transformada discreta del cosinus (DCT), la transformada de Fourier a curt termini i la transformada wavelet per a l'anàlisi espectral. Aquests mètodes es van utilitzar per transformar fragments d'un senyal de parla en el domini de freqüència i calcular l'espectre. Els paquets TBB i OpenMP es van utilitzar per crear algorismes paral·lels per a transformacions espectrals. En aquests mètodes, l'ordre divideix el senyal en trames; per exemple, N=16, 32, … o 4096 per a cada fotograma [4]. La mida de cada fotograma creat és igual a la mida del bloc de la memòria cau perquè la memòria cau és un factor que afecta l'eficiència del processament paral·lel. Els resultats de l'acceleració es mostren a la figura 2.
Figura 2. Resultats d'acceleració per a (a) processadors de quatre i (b) vuit nuclis.
Per a la implementació de programari dels algorismes de processament paral·lel, es va realitzar un processament en sèrie i paral·lel en processadors de quatre i vuit nuclis, que es van aplicar mitjançant ordinadors personals i servidors, tal com es mostra a la taula 1.
Taula 1. Característiques dels processadors Intel.
La característica principal de l'algorisme DCT és la periodicitat. Un avantatge del DCT és que tendeix a concentrar la major part de l'energia del senyal en un nombre reduït de factors. Les equacions següents proporcionen els elements de la matriu de coeficients:
on L(k) és el valor de la DCT, k és un índex de coeficients, x(n) representa elements de dades i N és la mida del marc.
Els paràmetres d'anàlisi de Fourier són la base dels mètodes que s'utilitzen per generar vectors de característiques en la majoria de sistemes de reconeixement de parla en el processament digital de senyals de parla dins del domini espectral. Els coeficients cepstrals de freqüència Mel (MFCC) [41] i les tècniques de codificació predictiva lineal (LPC) [42,43] s'utilitzen en l'anàlisi de Fourier per generar imatges d'espectrograma a partir de senyals de parla. Els espectres que s'obtenen mitjançant l'anàlisi de Fourier proporcionen informació concisa i precisa sobre un senyal de parla, tal com es mostra a la figura 3.
Figura 3. DFT: (a) canvi en el rang de freqüències dins del domini del temps i (b) espectrograma.
Es van utilitzar senyals bidimensionals (2D) per a l'anàlisi espectral en els experiments. Les característiques d'anàlisi espectral 2D que s'utilitzen en algorismes de processament d'imatges en paral·lel són adequades per al processament paral·lel en processadors multinucli [38]. En particular, els vectors i les matrius de transformació directa i inversa tenen dimensions binàries, i la compatibilitat d'aquesta arquitectura de processador multinucli pot augmentar efectivament la velocitat computacional. Per tant, hem aplicat el processament seqüencial i paral·lel en un ordinador amb diferents característiques de processador per a la implementació de maquinari dels algorismes que s'utilitzaven per processar senyals 2D (taula 2).
Taula 2. Característiques de l'aplicació de processadors Intel.
Tot el senyal 2D es va dividir en fragments idèntics de diferents mides a cada etapa [44]. Els valors dels fragments seleccionats estaven entre resolucions de píxels de 16 × 16 i 1024 × 1024. La velocitat de l'algorisme DCT paral·lel que utilitza el paquet OpenMP en comparació amb la de l'algorisme seqüencial es presenta a la figura 4 L'ús d'una anàlisi espectral 2D paral·lel L'algoritme dels processadors multinucli produeix un resultat d'overclocking proper al nombre de nuclis.
Figura 4. Resultats d'acceleració per a l'anàlisi espectral paral·lel 2D.
