Побољшано издвајање параметара карактеристика из говорних сигнала коришћењем алгоритма машинског учења(1)

Апстрактан: Препознавање говора се односи на способност софтвера или хардвера да прими говорни сигнал, идентификује карактеристике говорника у говорном сигналу и након тога препозна говорника. Генерално, процес препознавања говора укључује три главна корака: акустичку обраду, издвајање обележја и класификацију/препознавање. Сврха екстракције обележја је да илуструје говорни сигнал коришћењем унапред одређеног броја компоненти сигнала. То је зато што су све информације у акустичном сигналу претерано гломазне за руковање, а неке информације су ирелевантне у задатку идентификације. Ова студија предлаже приступ заснован на машинском учењу који изводи екстракцију параметара карактеристика из говорних сигнала како би побољшао перформансе апликација за препознавање говора у окружењима паметних градова у реалном времену. Штавише, принцип мапирања блока главне меморије у кеш се ефикасно користи за смањење времена рачунара. Величина блока кеш меморије је параметар који снажно утиче на перформансе кеш меморије. Конкретно, имплементација оваквих процеса у системима у реалном времену захтева велику брзину рачунања. Брзина обраде игра важну улогу у препознавању говора у системима у реалном времену. Захтева коришћење савремених технологија и брзих алгоритама који повећавају убрзање издвајања параметара карактеристика из говорних сигнала. Проблеми са оверклоком током дигиталне обраде говорних сигнала тек треба да буду у потпуности решени. Експериментални резултати показују да предложени метод успешно издваја карактеристике сигнала и постиже беспрекорне перформансе класификације у поређењу са другим конвенционалним алгоритмима за препознавање говора.

Цистанцхе десертицола

Кључне речи: препознавање говора; паралелно рачунарство; дистрибуирано рачунарство; вишејезгарни процесор; издвајање својстава; спектрална анализа

1. Представљање

Успостављање комуникацијских приступа између људи и компјутерске технологије је критичан задатак у савременој вештачкој интелигенцији. Један од најлакших метода за унос информација је путем говорних сигнала. Стога су технологија обраде говорних сигнала и њени алати постали неопходан део информационог друштва. Препознавање говора је суштински истраживачки аспект обраде говорних сигнала и витална техника интеракције између човека и рачунара. Говорни сигнали садрже семантичке, личне и еколошке информације [1]. Општи приступ обради говорног сигнала је коришћење краткорочне анализе, у којој се сигнал дели на временске прозоре фиксне величине, под претпоставком да се параметри сигнала не мењају. Између прозора се поставља преклапање да би се добила тачнија репрезентација сигнала. Алгоритми за екстракцију карактеристика као што су спектрална анализа и линеарно предвиђање примењују се на сваки прозор. Међутим, ови процеси такође треба да узму у обзир брзину и време.

Пустињски гинсенг

Тајминг је значајан проблем у неколико области обраде сигнала у реалном времену. Однос брзине обраде може се повећати ефикасним коришћењем ресурса процесора и развојем нових и брзих алгоритама за смањење времена дигиталне обраде. Међутим, рачунарски проблеми високих перформанси још увек нису у потпуности решени [2]. Штавише, значајан напредак је направљен у аутоматском препознавању говора са развојем хардвера и софтвера за дигиталну обраду сигнала. Међутим, упркос овом напретку, машине не могу да парирају перформансама својих људских колега у погледу прецизности и брзине препознавања, посебно у препознавању говора независно од говорника. Дакле, велики број истраживања која су спроведена о препознавању говора фокусирала се на проблеме препознавања говора који су независни од говорника, због широког спектра примене и ограничења доступних техника препознавања говора [3].

Укратко, главни доприноси студије су следећи:

Цистанцхе чај

Кликните овде да видите производе чаја Цистанцхе десертицола

【Затражите више】 Е-пошта:cindy.xue@wecistanche.com / Вхатс Апп: 0086 18599088692 / Вецхат: 18599088692

Процес идентификације особе по говорним сигналима састоји се од неколико фаза. Међу њима, неки кораци захтевају више времена за прорачун. Ово је спектрална анализа. Један од параметара који је посебно важан у алгоритмима машинског учења је време обуке. У овом раду смо открили да је процес издвајања обележја важан за идентификацију говорних сигнала. Поред тога, потребно је много времена за машинско учење. Утврђено је да се процес спектралне анализе састоји од независних операција, а могућа је и паралелизација.

Експерименти су показали да ФФТ и ДЦТ спектралне трансформације дају добре резултате у спектралној анализи. Процес спектралне анализе важи за сваки сегмент говорног сигнала. Ово нам омогућава да јасно разликујемо ове карактеристике од говорног сигнала. Уз помоћ ОпенМП и ТББ алата развијен је паралелни рачунарски алгоритам који је омогућио убрзање прорачуна.

Величина сегмента је важна када се говорни сигнал дели на сегменте. Током експеримената је утврђено да величина сегмента говорног сигнала зависи од кеш меморије централног процесора. Конкретно, утврђено је да подударање сегмента са величином кеша у вишејезгарним процесорима има позитиван ефекат на брзину рачунара у машинском учењу.

Предложена је нова метода паралелне имплементације за спектралне трансформације сигнала за екстракцију параметара карактеристика из говорних сигнала коришћењем алгоритма машинског учења на вишејезгарним процесорима који користе ТББ и ОпенМП.

Такође је утврђено да ефективна употреба принципа мапирања главног меморијског блока у кеш и величина блока кеш меморије може повећати брзину обраде.

Цистанцхе додатак близу мене-Побољшање памћења

Остатак овог рада организован је на следећи начин. Одељак 2 даје преглед постојећих студија за издвајање специфичних својстава говорног сигнала. Одељак 3 описује кораке екстракције обележја са експериментима. Одељак 4 представља детаљно предложени рачунарски алгоритам високих перформанси за издвајање параметара карактеристика из говорних сигнала. Експериментални резултати засновани на нашој имплементацији разматрани су у одељку 5. Одељак 6 наглашава ограничења предложеног метода. Коначно, одељак 7 закључује студију сумирањем налаза и навођењем будућих праваца истраживања.

2. Сродни радови

Тренутно се развијају и унапређују нове методе, алгоритми и модерније апликације за сегментацију говорних сигнала и прорачун параметарских индикатора одабраних фрагмената, чиме се креира спектрограм говорних сигнала коришћењем спектралне анализе [4–7]. Идентификација звучника са разноврсним гласовним снимцима широм света је кључни и изазован задатак, посебно у издвајању снажних и дискриминативних карактеристика [8]. Нови Мел Фрекуенци Цепстрал Цоеффициентс (МФЦЦ) карактерише систем екстракције који је бржи и енергетски ефикаснији од традиционалне МФЦЦ реализације предложили су Коркмаз ет ал. [9]. Уместо да користе високопропусни филтер за пре-наглашавање, користили су нископропусни филтер. Они су имплементирали пропусни филтер са високопропусним филтером јер је потребно претходно наглашавање да би се појачала енергија сигнала на високим фреквенцијама. У нашем претходном раду [10] представили смо нови метод за идентификацију говорника заснован на МФЦЦ-у. Уместо да користимо конвенционалне МФЦЦ-ове, ми користимо пикселе из Мел спектрограма као наш скуп карактеристика. Спектрограм је трансформисан у 2-Д низ да би се направио нови скуп података. Да би се идентификовао говорник, неколико алгоритама учења је коришћено у пракси помоћу 10-технике преклапања. Уз помоћ вишеслојног перцептрона (МЛП) са функцијом активације танх постигнута је најбоља тачност од 90,2 одсто.

Екстракција карактеристика се постиже променом таласног облика говора у облик параметарске репрезентације уз релативно мању брзину података за накнадну обраду и анализу [11–14]. Приступи екстракције обележја обично дају вишедимензионални вектор обележја за сваки говорни сигнал. Екстракција карактеристика је најрелевантнији део препознавања говорника. Особине говора имају виталну улогу у одвајању говорника од других. Екстракција обележја смањује величину говорног сигнала, без изазивања било каквог оштећења снаге говорног сигнала [15–17]. У [18], аутори су представили нови приступ који користи фино подешавање величине и параметара померања прозора спектралне анализе који се користи за израчунавање почетне краткотрајне Фуријеове трансформације ради побољшања перформанси аутоматског препознавања говора зависног од говорника. (АСР) систем. У недостатку лекара, лаици могу да користе системе за помоћ при одлучивању који су креирани коришћењем приступа вештачке интелигенције. Рано и неинвазивно откривање статуса срца може се постићи коришћењем сигнала фонокардиограма (ПЦГ) [19–21].

Показало се да конволуционе неуронске мреже (ЦНН) успешно симулирају структурни локалитет у простору обележја, као и да користе обједињавање унутар пристрасног фреквентног региона како би смањиле транслационе варијације и прилагодиле се поремећајима и малим променама у простору обележја [22]. Мухамадијев и др. предложио је енд-то-енд дубоку неуронску мрежу са скривеним Марковљевим моделом модела препознавања говора и хибридну конекционистичку временску класификацију (ЦТЦ) – мрежу пажње за узбекистански језик и његове дијалекте. Предложени приступ смањује време тренинга и побољшава тачност препознавања говора ефективним коришћењем функције ЦТЦ циља у тренингу модела пажње [23]. Екстракција и класификација карактеристика коришћењем модела једнодимензионалне конволуционе неуронске мреже (ЦНН), који дели звучне сигнале срца на нормалне и абнормалне директно независно од електрокардиограма (ЕКГ), предложена је у [24]. Они тврде да је тачност класификације већа у 1Д ЦНН-у него у 2Д ЦНН-у за звучне сигнале срца који се користе у овој студији када је конволуционо језгро мање од 52, јер велико конволуционо језгро може довести до сложености рачунара и све више одузима време. . У [25], дубока неуронска мрежа је обучена да максимизира постериорну тачност секвенци стања акустичких модела у вези са секвенцама карактеристика говора користећи ТИМИТ базу података (ТИМИТ Ацоустиц-Пхонетиц Цонтинуоус Спеецх Цорпус).

3. Предобрада: Преглед материјала

Цистанцхе додатак близу мене-Побољшање памћења

У ту сврху неопходни су развој брзих алгоритама за издвајање параметара обележја из говорних сигнала и параметарских репрезентација, издвајање корисних и информативних узорака за обраду, као и развој програма за имплементацију спектрограма одабраних акустичких сегмената.

Системи за препознавање говора се састоје од два главна подсистема:

Примарна обрада говорних сигнала (фонограм);

Класификација акустичких симбола коришћењем интелигентног алгоритма (спектрограма).

Први подсистем генерише акустичке симболе као скуп информативних акустичких својстава сигнала и карактеристика сигнала. Други подсистем конвертује говорни сигнал у параметарски облик на основу добијених акустичких карактеристика. Обрада говорног сигнала се састоји од следећих фаза:

Раздвајање граница говорног сигнала;

Дигитално филтрирање;

Сегментација;

Примена прозора за заглађивање;

Спектрална трансформација и нормализација спектралних фреквенција.

Ови кораци се интензивно користе за издвајање параметара карактеристика из говорних сигнала, а њихове главне карактеристике се разматрају у наставку.

3.1. Раздвајање граница

Издвајање само делова говора из долазног сигнала или одређивање почетног и завршног тренутка реченице у бучном окружењу је суштински задатак у обради говора. За решавање овог проблема користе се следећа својства говорног сигнала: краткорочна енергија говорног сигнала, број тачака које се секу на нули, густина расподеле вредности поља тишине унутар сигнала и спектрална ентропија. Традиционални системи за препознавање говора користе технике које се заснивају на пролазној и спектралној енергији сигнала (нпр. детекција гласовне активности) за одређивање граница говора из долазних говорних сигнала [26–28].

Главни параметри говорног сигнала су краткорочна енергија говорног сигнала и број тачака које пролазе кроз нулу. По правилу, параметри говорног сигнала се брзо мењају током времена; стога је уобичајено да се говорни сигнал обрађује у фрагменте дужине од 10 до 30 мс који се не преклапају. Говорни сигнал је стационаран унутар овог опсега, а области тишине у говорном сигналу се уклањају израчунавањем енергије прелаза. Алгоритам за решавање овог задатка подељен је на Н секвенци од 256 краткорочних енергетских вредности следећег говорног сигнала.

Израчунавање енергије сваког фрагмента дељењем говорног сигнала је прикладно за паралелно и дистрибуирано рачунарство. Сваки фрагмент се самостално обрађује. Ако се обрада примени у мултипроцесору са н језгра, биће могуће израчунати енергију н фрагмената истовремено. Због тога је у овој фази могуће повећати ефикасност паралелне обраде [29–32].

3.2. Број прелазака на нулу

Прелазак нуле је тачка у којој се мења предзнак математичке функције (нпр. из позитивног у негативан), што је представљено пресеком осе (нулте вредности) на графику функције [33]. Фреквенција преласка нуле у сигналу може бити најјаснији показатељ његових спектралних својстава. На пример, број тачака које пролазе кроз нулу у говорном сигналу може се одредити коришћењем следеће једначине:

Слика 1. Метода раздвајања говора на основу анализе спектралне ентропије.

3.3. Дигитал Филтеринг

Поред типичног, корисног сигнала, присутни су и различити типови шума. Како бука негативно утиче на квалитет система за препознавање говора, суочавање са буком је горуће питање. За смањење нивоа буке у систему користе се два типа дигиталних филтера: линијски филтер и почетни филтер. Линеарни филтер се може сматрати комбинацијом филтера ниске и високе фреквенције јер хвата све ниске и високе фреквенције. Почетно филтрирање се примењује да би се смањио утицај локалних сметњи на карактеристичне ознаке које се користе за накнадну идентификацију. Говорни сигнал мора бити пропуштен кроз нископропусни филтер ради спектралног поравнања [35].

3.4. Сегментација

Сегментација је процес поделе говорног сигнала на дискретне фрагменте који се не преклапају. Сигнал се обично дели на говорне јединице као што су реченице, речи, слогови, фонеми или чак мање фонетске јединице. Сегментација снимака који садрже исказе бројних говорника може се састојати од приписивања делова исказа одређеним говорницима. Термин „сегментне станице“ се понекад користи за поделу говорног сигнала на оквире пре његове параметризације [36,37].

3.5. Спецтрал Трансформатион

Неопходно је разликовати главне карактеристике говорних сигнала који се користе у каснијим фазама процеса препознавања говора. Почетне карактеристике се одређују анализом спектралних својстава говорних сигнала. Алгоритам брзе Фуријеове трансформације се обично користи за добијање спектралне фреквенције говорног сигнала [38,39].

3.6. Нормализација спектралних фреквенција

Цео процес рачунања у интелигентним алгоритмима заснива се на покретним децималним бројевима. Због тога су параметри објеката који се класификују коришћењем неуронских мрежа ограничени на опсег [{{0}}.0, 1.0]. Добијени спектар се нормализује између 0 и 1 да би се применила спектрална обрада коришћењем неуронске мреже. Да би се ово постигло, свака векторска компонента је подељена на своје максималне компоненте.

Методе спектралне обраде омогућавају коришћење свих узорака података који се добијају из говорног сигнала. Многи говорни сигнали имају специфичну фреквентну структуру и спектрална својства. Спектралне методе обезбеђују високопрецизну обраду говорних сигнала. Недостаци спектралне обраде укључују ниску флексибилност локалних карактеристика сигнала, недостатак спектралних димензија и релативно високе рачунске трошкове.

Фуријеова трансформација, таласна анализа и многи други алгоритми се интензивно користе у спектралној обради говорних сигнала. Фуријеова трансформација се користи у многим областима науке, укључујући обраду говора. У обради говорног сигнала, Фуријеова трансформација конвертује сигнал из временског поља у спектрално поље као фреквенцијску компоненту [40].

У претходним студијама, за спектралну анализу примењене су дискретна Фуријеова трансформација (ДФТ), дискретна косинусна трансформација (ДЦТ), краткорочна Фуријеова трансформација и таласна трансформација. Ове методе су коришћене за трансформацију фрагмената говорног сигнала у фреквенцијски домен и израчунавање спектра. ТББ и ОпенМП пакети су коришћени за креирање паралелних алгоритама за спектралне трансформације. У овим методама, команда дели сигнал у оквире; на пример, Н=16, 32, … или 4096 за сваки оквир [4]. Величина сваког креираног оквира једнака је величини блока кеш меморије јер је кеш меморија фактор који утиче на ефикасност паралелне обраде. Резултати убрзања су приказани на слици 2.

Слика 2. Резултати убрзања за (а) четворојезгарне и (б) осмојезгарне процесоре.

За софтверску имплементацију алгоритама паралелне обраде извршена је серијска и паралелна обрада на четворојезгарним и осмојезгарним процесорима, који су примењени коришћењем персоналних рачунара и сервера, како је наведено у табели 1.

Табела 1. Карактеристике Интел процесора.

Главна карактеристика ДЦТ алгоритма је периодичност. Предност ДЦТ-а је што тежи да концентрише већину енергије сигнала на мали број фактора. Следеће једначине дају елементе матрице коефицијената:

где је Л(к) вредност ДЦТ-а, к је индекс коефицијената, к(н) представља ставке података, а Н је величина оквира.

Параметри Фуријеове анализе су основа метода које се користе за генерисање вектора обележја у већини система за препознавање говора у дигиталној обради говорних сигнала у оквиру спектралног домена. Цепстрални коефицијенти Мел-фреквенције (МФЦЦ) [41] и технике линеарног предиктивног кодирања (ЛПЦ) [42,43] се користе у Фуријеовој анализи за генерисање слика спектрограма из говорних сигнала. Спектри који су добијени коришћењем Фуријеове анализе пружају концизне и прецизне информације у вези са говорним сигналом, као што је илустровано на слици 3.

Слика 3. ДФТ: (а) промена фреквенцијског опсега у временском домену и (б) спектрограм.

За спектралну анализу у експериментима су коришћени дводимензионални (2Д) сигнали. Карактеристике 2Д спектралне анализе које се користе у алгоритмима за паралелну обраду слике су погодне за паралелну обраду у вишејезгарним процесорима [38]. Конкретно, вектори и матрице унапред и инверзне трансформације имају бинарне димензије, а компатибилност ове вишејезгрене процесорске архитектуре може ефикасно повећати брзину рачунара. Због тога смо за хардверску имплементацију алгоритама који су коришћени за обраду 2Д сигнала применили секвенцијалну и паралелну обраду на рачунару са различитим карактеристикама процесора (Табела 2).

Табела 2. Карактеристике примене Интел процесора.

Цео 2Д сигнал је подељен на идентичне фрагменте различитих величина у свакој фази [44]. Вредности изабраних фрагмената биле су између резолуције пиксела од 16 × 16 и 1024 × 1024. Брзина паралелног ДЦТ алгоритма који користи ОпенМП пакет у поређењу са брзином секвенцијалног алгоритма приказана је на слици 4. Употреба паралелне 2Д спектралне анализе алгоритам на вишејезгарним процесорима даје резултат оверклока који је близак броју језгара.

Слика 4. Резултати убрзања за 2Д паралелну спектралну анализу.