Mély neuronhálók alkalmazása és optimalizálása

Átírás

1 magyar nyelv beszédfelismerési feladatokhoz január 10. Konzulens: Dr. Mihajlik Péter

2 A megvalósítandó feladatok Irodalomkutatás Nyílt kutatási eszközök keresése, beszédfelismer rendszerek tervezése magyar nyelv beszédadatbázisokhoz A neurális hálózatos módszerek hagyományos eljárásokkal szembeni teljesítményének elemzése Paraméter-nomhangolás, optimalizálás Számítási er forrásigények meghatározása

3 Akusztikus bemenetb l szöveges kimenet el állítása: lényegkiemelés mintaillesztés

4 Mintaillesztési módok súlyozások ((w)) súlyozások ((w)) Statisztikai módszerek: cél a feldolgozott hangra legjobban illeszked fonémák, szavak, szósorozatok keresése Hagyományos módszerek: rejtett Markov-modellek Az újabb kelet neurális hálózatos megoldásokkal jobb pontosság érhet el bemeneti réteg (x) f (x T w) rejtett réteg(ek) kimeneti réteg (y)

5 Kaldi: nyílt forráskódú beszédfelismer keretrendszer támogatja a klasszikus és a neurális hálós modellek tanítását is szabadon módosítható, testreszabható kódok Beszédadatbázisok híradó-hanganyagok (64 óra; 16kHz) telefonos ügyfélszolgálati hanganyagok (54, 38 és 27 óra; 8kHz)

6 A f bb kísérleti paraméterek adatbázisméret akusztikus modell (HMM vs. DNN) bemeneti jellemz k (pl. normalizálás, dimenziócsökkentés, lényegkiemelés módja) neuronháló-architektúra és tanítási paraméterek (pl. dimenziók, tanulási sebesség) lehet ségek a beszél adaptációra

7 Eredmények a hír-hanganyagokon HMM DNN WERavg % a legjobb hagyományos és neuronhálós modellek teljesítménye legjobb konguráció méret neuronháló indokolt a dimenziócsökkentés, normalizálás óra 20 óra 64 óra

8 Eredmények a hír-hanganyagokon (folyt.) beszél adaptáció újrabeszél kre az adatbázis sok ismeretlen beszél t tartalmaz, a felvételek zajosak, gyakori az egyszerre beszélés stb. megoldás: újrabeszél k alkalmazása az hangjukra tesztelési id ben adaptálható a modell az adaptáció az adaptálatlan modellhez képest 17%-os relatív javulást hoz hagyományos HMM-módszereknél neurális hálókkal is érzékelhet javulás, bár kisebb (3%)

9 Eredmények az ügyfélszolgálati hanganyagokon HMM DNN WERavg % a hír-hanganyagoknál tapasztaltak itt is érvényesek a rosszabb akusztikai körülmények miatt magasabbak a szóhibaarányok 20 1/A 2/A 2/C

10 Tanítási er forrásigények, dekódolási id , 2GB GPU , 2GB GPU , 4GB GPU , 4GB GPU , CPU , CPU Tanítási idö (perc) 10,000 8,000 6,000 4,000 Real Time Factor: RTF = t(dekódolás) t(dekódalandó anyag) Átlagos RTF a híranyagon: 0,36 2, óra 64 óra

11 Összefoglalás és további irányok neurális hálózatokkal minden esetben javulás érhet el, ez átlagosan relatív 16% a hagyományos módszerekhez képest a dimenziócsökkentés javulást hoz, dimenziós rejtett réteg teljesít a legjobban további irányok új neuronháló-architektúrák automatikus beszél klaszterezés

12 Kérdések?

13 Bírálói kérdések Mi a különbség a DEV az EVAL teszthalmazok között? Miért kell külön DEV teszthalmaz, ha egyszer a felismerés ideje elhanyagolható a betanításhoz képest? A DEV halmaz hagyományosan a modellek nomítására, az EVAL pedig a végs tesztelésre szolgál, alapvet en nem különböznek (a tartalmukat leszámítva). Mi az oka, hogy a 3.6-os táblázatban feltüntetett eredmények jelent sen rosszabbak a referenciához képest (3.2 táblázat)? Vajon az újrabeszél k rosszabbul mondták fel az elhangzottakat, mint az eredeti beszél k? Az újrabeszél -teszthalmaz anyaga nem azonos az eredeti teszthalmazzal, sokkal kisebb annál (ilyen formában csak az adaptációs lehet ségek vizsgálatára szolgált), de a kérdésben felvetett eset is el fordulhat.

14 Bírálói kérdések (folyt.) A 10 és a 20 órás adatbázison betanított modellek ugyanazon a teszthalmazon lettek tesztelve (3.4 pont)? Igen.

15 Köszönöm a gyelmet!