Az ember-gép közötti párbeszéd megteremtésének egyik alapja a gépi beszéd felismerésének (Automatic Speech Recognition, ASR) megoldása.

Átírás

1 Az ember-gép közötti párbeszéd megteremtésének egyik alapja a gépi beszéd felismerésének (Automatic Speech Recognition, ASR) megoldása. A beszédfelismer rendszerek számos tudományterület eredményeit egyesítik magukban, ilyenek a statisztikus mintaillesztés, a kommunikációelmélet, a jelfeldolgozás, a kombinatorikus matematika, a nyelvészet és egyebek. Ennek megfelel en az egyes komponensek megismeréséhez széles kör ismeretek szükségesek. A mérés célja az, hogy betekintést nyújtson a beszédfelismerési alkalmazások tervezési folyamatába. A f feladat egy magyar számok felismerésére alkalmas folyamatos beszédfelismer rendszer tervezése, majd el re el készített elemek segítségével megvalósítása, végül pedig tesztelése és a kapott eredmények értékelése. A silabusz 2. fejezete tartalmazza a gyakorlat során használt beszédfelismer rendszer m ködésének rövid leírását, így ennek elolvasása kötelez, a gyakorlat elején ebb l az anyagból írásban kérdéseket teszünk fel ( beugró ). A 3. fejezet tartalmazza a feladatok leírását, a 4. rész pedig a beszédfelismerés elméletér l és gyakorlatáról szól, ennek elolvasása ajánlott. A gyakorlat során csoportonként egy jegyz könyv készül, melyben a gyakorlat során elvégzend feladatok eredményei és a hozzájuk f zött magyarázat kell, hogy szerepeljen. 2

2 A gyakorlat során a TMIT Beszédakusztikai Laboratóriumában fejlesztett Magyar Középszótáras Beszéd-Felismer rendszert fogjuk használni. A laborban az utóbbi években kifejlesztésre került MKBF egy fonéma alapú, Rejtett Markov Modell alapján m köd, statisztikai elvi alapokra épül, folyamatos beszédfelismer amely alkalmas különböz középszótáras ( különböz szóból álló) szövegek betanítására és felismerésére. A rendszer öt, jól elkülöníthet modulból áll (1. ábra): akusztikai el feldolgozás (lényegkiemelés) (a) akusztikai (statisztikai; HMM alapú) modellépítés (b) lexikon (c) nyelvtani (statisztikai; fonetikai, fonológiai és szószint ) modellépítés (d) dekóder (e) 1. ábra: az MKBF felépítése 3

3 2.1. Akusztikai el feldolgozás A beszédfeldolgozást gépi úton megvalósító eljárások közös tulajdonsága, hogy lényegkiemelést és osztályozást hajtanak végre. A felismerend szimbólumok például fonémák száma mindig véges, azonban azok végtelen sok alakzat (id függvény) formájában nyilvánulhatnak meg. A felismerés lényege az, hogy a végtelen változatosságú, folytonos beszédjel bizonyos mérhet jellemz i alapján becslést teszünk arra, hogy a közölhet diszkrét szimbólumok közül melyiknek megfelel információt hordozza a kérdéses beszédjelszakasz. Ennek megfelel en például a gépi felismerésben a felismerend alakzatot el ször mérhet paraméterekkel jellemezzük. Mivel ez az el feldolgozás törekszik arra, hogy a felismerés szempontjából minél hatékonyabb paramétereket eredményezzen, lényegkiemelésnek nevezzük. A lényegkiemelés akkor jó, ha a különböz szimbólumokhoz tartozó alakzatok mért paraméterei egymástól jól elkülöníthet k, azaz ha különböz osztályokba esnek. Alapvet lényegkiemelési eszközök a megfelel színképelemzés, a beszédjel/beszédszünet detektálása, a zöngés/zöngétlen detektálás, valamint az alapfrekvencia meghatározása. Az akusztikai el feldolgozásra különböz rendszerek különböz megközelítéseket használnak, de közös bennük, hogy a beszédjelb l a felismerés számára fontos, számítógéppel feldolgozható adatokat állítanak el. A beszédkutatók jelent s eredményeket értek el a beszédkelt és beszédfelfogó szervek m ködtetésének feltárásában, és elkészítették ezek matematikai modelljét. Ezeken a modelleken alapulnak a jelfeldolgozás alapvet lépései. Az MKBF el feldolgozó (lényegkiemel ) modulja egy zajcsökkent algoritmus után egy DBFFT (Derivated Bark Filterbank Frequency Transformation) transzformációt hajt végre: el ször 17 bark-frekvenciasávra bontja a bemeneti beszédjel diszkrét reprezentációjának a vizsgált id keretbe (jellemz en 10 ms) tartozó részét. A bark-sávok az emberi hallás m ködésére jellemz, adott frekvenciasávok. Az el feldolgozó egység ezt követ en kiszámítja ezen értékek átlagának frekvenciatérbeli deriváltját (tehát azt, hogy az egyes sávokban mért átlagintenzitás mennyit változik az el z bark-sávban mérthez képest). Végül képzi az egymás utáni kereteket figyelembe vége az így kapott 17 elem vektorok id beli, els és második deriváltját (delta és delta-delta paraméterek). Ezzel kaptunk egy keretenként 51 számból álló vektort, ami a kés bbiekben a statisztikai akusztikai modellépítés és a felismerés (dekódolás) alapja lesz; innent l kezdve így reprezentáljuk a beszédjel minden akusztikai el fordulását. 4

4 2.2. Akusztikai modellépítés Miután a lényegkiemeléssel megválasztottuk, hogy mi az er sen redundáns beszédjelb l a nekünk hasznos információ, a feladat az, hogy a kés bbiekben bejöv, felismerend beszédjel id kereteit osztályokba sorolhassuk, osztályozzuk. Az osztályok esetünkben nyilván a felismerend szimbólumoknak, például a fonémáknak felelhetnek meg. Az els modulban, a lényegkiemelésben felhasznált jellemz ket tapasztalat alapján választottuk ki (esetünkben ezek a derivált bark-sávos sz r sor kimenetén kapott jellemz k). Az emberi beszéd biológiai folyamat eredménye, és mint ilyen, jelent s nemdeterminisztikus összetev je van. A gyakorlatban emiatt sem sikerülhet olyan jellemz ket találni, amelyek alapján a felismerés teljes biztonsággal (100%) elvégezhet. A beszédfelismer, mint osztályozó algoritmus feladata ezért az, hogy a felismerést ezen (nem dönt erej ) paraméterek birtokában is minél megbízhatóbban hajtsa végre. Ezért kulcskérdés az osztályhatárok kijelölése, ezt nevezzük akusztikai modellépítésnek. Az akusztikai modellépítés tehát a statisztikai alapon m köd beszédefelismer rendszerek betanítása egy gondosan kiválasztott, szegmentált (ld.: 4.2. fejezet) és el feldolgozott beszédjellel. Az MKBF rendszer akusztikai-fonetikai modellje fonémamodellek készlete, amelyet nagymennyiség beszéd adattal tanítanak be. A felismer egy statisztikai alapon m köd, rejtett markov modell (Hidden Markov Model, HMM) alapú rendszer 2.3. Lexikon A felismer a hasonulást és egyéb fonológiai jelenségeket figyelembe véve fonetikusan, kiejtés szerinti alakban kezeli a nyelvtanában el forduló szavakat (például: leírva: azt, kiejtve: aszt, fonetikusan átírva: O s t), azonban a felismert, írott szövegkimeneten már a magyar helyesírás szabályai szerint, az írásban megengedett szimbólumokat szeretnénk látni. A lexikon a fonéma-láncok helyesen írott szavakká történ átalakításához szükséges, ezért tartalmazza a nyelvtani modell alapján megengedett összes szót (mivel a magyar ragozó nyelv, esetünkben szóalakot), és annak kiejtett és fonetikusan átírt változatát Nyelvtani modellépítés Egy kimondott szó önálló felismeréséhez (tehát csak az akusztikai-fonetikai szintet használva) egy nyelv szavainak körülbelül 70 %-a alkalmas. Miután az emberi beszédészlelés ennél lényegesen jobb eredménnyel m ködik, nyilvánvaló, hogy a beszéd több, mint elemek egymásutánisága. A jobb felismeréshez szükség van az illet nyelv fonetikai, fonológiai, szintaktikai, lexikai szabályaira, melyet a nyelvtani betanításkor, egy nagyméret szöveges betanítóanyag egítségével nyerünk ki. Ennek a 5

5 szabályrendszernek egy leegyszer sített változata az MKBF-ben is alkalmazott unigram és bigram modell. Leírt alak Kiejtett alak SAMPA jelöléssel ( zárójel z A: r o: j E l ) zárójelbezárva z A: r o: j E l b E z A: r v O / per p E r a a O A á A: abba abba O b: O abbahagyta abbahagyta O b: O h\ O t' t O abbahagytuk abbahagytuk O b: O h\ O t' t u k aborális aborális O b o r A: l i S aborálisan aborálisan O b o r A: l i S O n abszolút abszolút O p s o l u: t absztinencia absztinencia O p s t i n E n ts i j O absztinens absztinens O p s t i n E n S accessoricus accesszórikus O ts: E s: o: r i k u S 3. ábra: részlet egy MKBF lexikonból biopszia: nem volt. anamnesis: acut recidiváló pancreatitis miatt kezeljük. _ fels panendoscopia: az eszközt akadálytalanul vezetem 4. ábra: részlet egy MKBF betanítószövegb l 6

6 Az unigram modell egy N hosszú vektor, melynek i-dik eleme az N elem (az összes el forduló szavat tartalmazó) szótár i-dik elemének el fordulási gyakorisága a nyelvtani betanító szövegben. A bigram valószín ségi mez szintén az el forduló szóalakokból épül fel. A bigram egy N N-es mátrix, melynek (i,j) eleme annak a gyakoriságát (valószín ségét) adja meg, hogy a betanítóanyagban a szótár i-dik szavát a szótár j-dik szava követi. Az MKBF nyelvtani betanításához olyan formátumra kell hozni a szöveget, hogy minden sorban egy (nyelvtani) felismerési egység szerepeljen. Speciális szimbólumok az aláhúzásjel ( _ ), illetve a space szimbólum, melyet használhatunk akkor, ha a szövegben két egymás után következ szó közötti átmenethez nem akarunk valószín séget hozzárendelni. A szavak végén alkalmazott írásjeleket a program nyelvtani része úgy kezeli, mint ha a vessz vagy pont el tt lév szó az azt követ írásjellel együtt egy új szót képezne (ld. 3. ábra), így bizonyos mértékben a mondattagolás is betanítható. Természetesen figyelembe lehetne venni a beszéd szupraszegmentális jegyeit (pl. prozódia) is a felismerés során, és ez alapján képezni a felismert szövegben az írásjeleket, ez a funkció jelenleg fejlesztés alatt áll Dekóder Az MKBF dekóder az akusztikai-fonetikai és a nyelvtani modell valószín ségei alapján eldönti, hogy a beérkezett beszédjelb l keretenként képzett vektor milyen fonémaosztályba sorolható. A dekóder az akusztikai-fonetikai és nyelvtani döntéseket párhuzamosan hozza meg, és a programban paraméteresen állítható, hogy ezen döntések a végs döntést (tehát hogy mi legyen a kimenet) milyen súllyal befolyásolják. A dekóder tulajdonképen egy keres algoritmus a kimondott kifejezés és a szóba jöhet szóláncok legjobb illesztésére, tehát a felismerés során minden újabb beérkez keretr l eldöntend, hogy még az el z fonéma része, vagy egy új fonéma kezdete, és amennyiben az, az eddigi nagy valószín séggel felismert fonémákkal együtt milyen szavakat alkothat. Ez a folyamat egy gráfban (szó-fában) történ állandó keresést eredményez, ahol csomópontok a fonémák, az irányított élek pedig a nyelvtani betanítás (unigram és bigram) szerint súlyozott valószín ségek, melyekhez megfelel súllyal hozzá kell adni annak a valószín ségét, hogy az aktuális beszédjel-keret az adott akusztikai-fonetikai modellhez tartozik. Az MKBF egy valós idej beszédfelismer program, így a gyakorlat során megfigyelhet lesz a fent leírt keresési folyamat jellegzetes m ködése; az írott kimenet utolsó néhány szava ugyanis egy-egy újabb felismert szó függvényében visszamen leg is változik, tehát minden id pillanatban az éppen legvalószín bb szó-fa útvonalból képzett szóláncolatot láthatjuk. 7

7 A feladat az, hogy képessé tgyük az MKBF-et 0-tól 100-ig (-1000-ig, ig) az összes lehetséges magyar nyelven mondott egész szám felismerésére. A feladat ezen belül a felismer nyelvtani modelljének felépítése ehhez a speciális beszédfelismerési alkalmazáshoz. Az MKBF el feldolgozó és és dekódoló egysége tehát változatlan marad, a felismer akusztikai fonéma-modelljét pedig már korábban felépítettük a Magyar Referencia Beszéd-Adatbázis (MRBA) szegmentált hanganyagának segítségével, külön férfi és n i modellekkel (*.hmm kiterjesztés fájlok). A nyelvtani modellt egy betanító szövegb l nyerjük ki, a szöveget úgy kell megalkotni, hogy az ezzel betanított MKBF az adott feladatnál specifikált beszédfelismerési feladatot elláthassa. A program nyelvi modelljét a *.m_bgr kiterjesztés fájlok képviselik, ezeket a nyelvi modellépítést reprezentáló _TXT2BGR.exe program segítségével lehet el állítani a megfelel formátumú nyelvtani betanító szövegb l, egy üres kiinduló bigram-táblából (úgynevezett null-bigram, null.m_bgr), valamint egy liírt és kimondott szóalakokat tartalmazó szótárfájlból (jelenleg szimbólummal elválasztott *.csv kiterjesztés fájlokat használunk). A formátum-átalakítások és a nyelvtani betanítás sok id t is igénybe vehet, ezért a gyakorlat során el re elkészített nyelvtani modelleket is használunk (a nagyobb szövegekhez). A feladatok megoldásához rendelkezésre állnak a következ segédprogramok: szamgenerator.exe: képes a magyar nyelvben el forduló valamennyi számalak el állítására tetsz leges intervallumban és kombinációban. Lehet ség van különböz felismerési egységek (szót, szó, több szó egyben) megadására, valamint helyiérték-kötött vagy helyiértékekt l független számábrázolásra. Kijelzi a szótár és a betanítóanyag méretét, lehet vele bigram és unigram betanítóanyagokat is el állítani. Használata: GUI phonetisator.exe: SAMPA fonetikus átírást hoz létre a szöveges bemenetb l, figyelembe véve a magyar nyelv hasonulásainak teljes szabályrendszerét. Használata: GUI (ebben az esetben az [a] mappa tartalmába kell helyezni a szöveges bemenetet, és a program indítása után a make all nyomógombra kell kattintani), vagy: phonetisator.exe [bemenet.txt] [kimenet.dat] txt2csv.exe: a szamgenerátor által létrehozott szöveges fájlból és ennek SAMPA átiratából állít el egy *.csv kiterjesztés szótár-fájlt. Használata: txt2csv.exe [bemenet1.txt] [bemenet2.dat] [kimenet.csv] txt2bgr.exe: az el z programok kimeneteib l el állítja a bigram vagy unigram nyelvtani modellt. Használata: txt2bgr.exe null.m_bgr [bemenet1.txt] [kimenet.m_bgr] [bemenet2.csv] A beszédfelismer [BGR] mappábájába kell helyezni az el állított, egymáshoz tartozó (ugyanúgy elnevezett) *.m_bgr *.csv párokat. A felismer gyökérkönyvtárában található három users* elnevezés fájl közül az els ben soroljuk fel (ABC sorrendben!) 8

8 az egyes felhasznók megjelenített neveit, a másodikban (sorrendben) a felhasználókhoz tartozó nyelvtani modell-neveket (a [BGR] mappa tartalma, fájlkiterjesztés nélkül), a harmadikan pedig rendre a felhasználókhoz tartozó akusztikai fonémamodell-készletet (a [HMM] mappa tartalma). A beszédfelismer t a bszgy.exe-vel indíthatjuk el, majd a felhasználó (esetünkben a nyelvtani modell) kiválasztása és a mikrofon jelszintjének beállítása után a Felismerés nyomógomb hatására a program elkezdi megfigyelni a számítógép aktuálisan kijelölt hang-bemenetét. Amennyiben egy el re felvett anyaggal akarjuk lefuttatni az MKBF-et, a hangbemenetet (Hanger / Speciális / Felvételhez / ) Stereo Mix -re (egyes hangkártyákon What You hear ) kell állítani. Ha viszont él beszédet akarunk felismerni, válasszuk ki a mikrofon-bemenetet. Az utóbbi esetben célszer a gyakorlaton használt mikorofont még a Felismerés gombra való kattintás el tt bekapcsolni, hogy a bekapcsolással járó zörej ne befolyásolja a beszédfelismerés eredményét. A Lelet vége gomb megnyomása után a felismerés abbamarad, a Felismerés gomb ismételt megnyomásával pedig az eddig felismert szöveg törl dik, ezért ez el tt mindenképpen mentsük el az eddigi eredményt (pl a Vágólapra gomb segítségével). 5. ábra: Az MKBF program felülete 9

9 1. feladat: - Mi legyen a felismerés tárgya (pl. telefonszámokat, évszámokat stb.)? - Mi legyen a felismerés nyelvtani egysége (számok, szavak, szótövek stb.)? - Milyen szóelemekb l épüljön fel a számfelismer szótárkészlete? Készítsen listát a lehetséges szóelemekr l! 2. feladat: - Dolgozzon ki egy tesztet, amit a kés bbiekben elkészül beszédfelismer rendszerek min sítésére alkalmazhat! Rögzítse teszt-bemondás hanganyagát! A kiértékelés egysége legyen: {helyesen felismert egységek száma} / {összes felismerend egység száma}! A következ feladatoknál rendre számítsa ki ezt a paramétert! 3. feladat: - Tanítsa be a beszédfelismer t csak unigramot tartalmazó nyelvtani modellel! A betanítóanyagot megkaphatjuk az 1. feladatban elkészített lista alapján, a lexikonfájlt szükség esetén módosítsa! - Tesztelje az így kapott felismer rendszert! 4. feladat: - Tanítsa be beszédfelismer t az egymást követ szóátmenet-valószín ségekkel kib vített bigramot tartalmazó nyelvtani modellel (ehhez a betanítóanyagot a rendelkezésre bocsájtott programok segítségével állíthatjuk el )! - Tesztelje az így kapott felismer rendszert! 5. feladat: - Tanítsa be beszédfelismer t a helyiértékek szerinti sorba-rendezéssel kib vített bigramot tartalmazó nyelvtani modellel! - Tesztelje az így kapott felismer rendszert! 6. feladat: - Hasonlítsa össze a 3., 4. és 5. feladat teszteredményeit! - Ismételje meg a feladatokat más felismerési egységekkel! 7. feladat: - fakultatív: egy diplomázó diákunk által készített népdal-felismer rendszer kipróbálása, IKTA2004 orvosi leletez program kipróbálása 10

10 4.1. Az emberi beszéd A beszédfolyamat akusztikai jellemz i A beszéd variáltsága Beszél n belüli variálhatóság Beszél k közötti variáltság A beszédészlelési folyamat m ködése Akusztikai szint Fonetikai szint döntések Fonológiai szint döntések A gépi beszédfelismerés fejl dése A kezdet: az egyszer mintaillesztéses eljárások Betanított eljárások Adatbázisok jelent sége HMM ANN Összegzés Jelfeldolgozási módszerek a beszédfelismerésben Normálás Lényeges információ kisz rése Tulajdonságvektor el állítása Mintaillesztés Templétbázisú mintaillesztés Dinamikus Id vetemítés Statisztikus mintaillesztési módszerek Rejtett Markov-modell Szegmentálás Izoláltszavas beszédfelismerés HMM-alapú mintaillesztéssel Nyelvi modell integrálása Az emberi beszéd A beszédfolyamat akusztikai jellemz i A beszéd nyelvi jelentéssel bíró akusztikai produktum, számos nem nyelvi jelentést hordozó információval. Az érzelmek (harag, izgalom, öröm, panasz, csodálkozás, gyengédség, ijedtség, stb.) például jelent sen befolyásolják a hang fizikai paramétereit. A beszéd igen er sen redundáns, az információt több síkon hordozza: Beszédhang szint leírás szegmentális szerkezet Szó, mondat szint leirás szupraszegmentális szerkezet 11

11 A beszéd alapvet en mint minden biológiai folyamat rendelkezik egy jelent s nemdeterminisztikus, el re meg nem határozható módon változó összetev vel. Tudjuk azonban azt is, hogy valamilyen szinten mégis lehetséges a beszéd felismerése (akár emberi, akár gépi felismerésr l van szó), ami azt mutatja, hogy a beszédnek van egy el re meghatározható összetev je is. A beszédképzés során az artikuláció nagymértékben meghatározza a keletkezett színképet, vagyis egy konkrét hangképzési mód vagy hely meghatározott színképet eredményez A beszéd variáltsága A beszédet leíró paraméterek számos hatás következtében megváltozhatnak, variáltságuknak számos forrása van, amelyek a felismerést megnehezítik. Ezek a források lehetnek például a hangképz szervek biológiai tulajdonságai (személyenként változnak a hangképz szervek méretei, így azt általuk létrehozott fizikai produktum is változik). A hangképzés folyamatosan változó mozgások összessége, emiatt az egyik hang fizikai tulajdonságai befolyásolják az azt megel z és követ hangok fizikai tulajdonságait. Ezt nevezik koartikulációs hatásnak. A fizikai paraméterek variáltságát okozhatják a környezeti, akusztikai körülmények. Ilyenek például a zajos vagy zajtalan környezet, visszhangok, termek, telefonbeszéd stb. A variáltságot okozó tényez k számos módon csoportosíthatók, mégis talán a beszél kön belüli, és a beszél k közötti variáltság szerinti csoportosítás illik a legjobban a felismer k m ködési tulajdonságaihoz Beszél n belüli variálhatóság Az emberi beszéd beszél n belüli variáltságának okai a már említett koarticuláció, a ritmus, hanger, hangmagasság, hanglejtés, valamit a nyomatékbeli különbségek. A megfázás például igen nagymértékben megváltoztatja a hangok akusztikai paramétereit, környezeti hatások, izgalom, meglepetés stb. szintén er sen befolyásolják a létrehozott beszéd akusztikai tulajdonságait Beszél k közötti variáltság Az akusztikai paraméterek jelent s variáltságát okozzák a biológiai tényez k, így például a beszédképz szervek méretkülönbsége, ami n i, férfi, gyermekhangok esetében, de egy-egy csoporton belül is variáltságot hoz létrea beszél k között. A környezeti hatásokat két csoportra bonthatjuk: a statikus (teremakusztikai hatások, utózengési id, rögzít berendezések, stb.) és dinamikus (zaj, mikrofon pozíció stb.) hatások egyaránt er sen befolyásolják a beszéd akusztikai paramétereit. 12

12 Végül, de nem utolsó sorban a nyelvi különböz ségek is forrásai a beszéd variáltságának A beszédészlelési folyamat m ködése Az emberi beszédészlelési folyamat (Human Speech Perception, HSP) leírásakor sokszor használnak egy hierarchikus modellt, amely a következ szintekre bontja a beszédészlelés folyamatát: Akusztikai szint A beszédészlelés akusztikai szintjén a fizikai és a pszichikai (érzékelt) mennyiségek megfeleltetése történik, úgyis mint: energia hangosság, frekvencia hangmagasság színkép hangszín Ezek a megfeleltetések természetesen nem lineáris, még csak nem is függvénnyel explicit módon kifejezhet összefüggéseket takarnak, gondoljunk csak az egyenl hangosságszint-görbékre, vagy a különböz id - és frekvenciabeli elfedési jelenségekre Fonetikai szint döntések A fonetikai szinten az akusztikai szint kimenetének segítségével történik egy döntés, melynek végeredménye egy elemi beszédjel, vagyis fonéma. A színkép alapján például a következ paramétereket határozhatjuk meg: a magánhangzók hangmagasságérzetét az F 2 formáns határozza meg, a beszédhang típusáról az F 1 és F 2, formánsok alapján döntünk, az F 3 pedig inkább a beszél re jellemz. Az id tartam észlelése szintén fonetikai döntések alapja: a réshangok id tartam csökkentése (pl. CV kapcsolatban) azonos képzési helyen képzett affrikáták, majd zárhangok érzetét keltik (ld.: 6. ábra). 13

13 6. ábra A folyamatos beszédb l az egyes fonémák határainak kijelölését szegmentálásnak hívjuk. A szegmentálás nyelvspecifikus, m ködését befolyásolja a beszédészlelés és a beszéd megértésének funkciója is, készsége az anyanyelv elsajátítása során fejl dik ki Fonológiai szint döntések A fonológia a beszédhangokat funkciójuk (jelentésmegkülönböztet és érzelemkifejez szerepük) szempontjából vizsgálja. Például a következ mondat jelentését: Éva bátyja allergiás lett a [me:st2:l]. csak egy utólagos értelmezés határozza meg (gy.k. hogy mézr l vagy mészr l van-e szó) A gépi beszédfelismerés fejl dése A gépi beszédfelismerés feladata folyamatos változásból kvantált min ségi jellemz k elkülönítése és azonosítása. Amikor ezt a feladatot akarjuk megoldani, a következ problémákkal találkozunk: A beszédben nincsenek olyan határozottan szétválasztható jellegek, mint az írásban, a beszédjel a jelentést részben akusztikus, részben nyelvi szinten hordozza. 14

14 A már említett beszél n belüli és beszél k közötti variáltság miatt egy beszédfolyamat végtelenül sok akusztikai format ölthet, ez sem könnyíti meg a dolgunkat. De itt vannak még például a finom hangsúly, a dallam, a szünetek, a ritmus, a tempóváltások is, melyek szintén a felismerend üzenet lényegi elemei. Ezek is az értelmezést segítik, a közlend t árnyalják, a beszédet emberivé, széppé teszik, tehát ha a beszéd üzenetét kívánjuk felismerni ezek sem hagyhatók a folyamatból el. A problémák megoldására sokféle ötlet és érdekes megoldás született, különböz eredményekkel. A gépi beszéd és beszél felismerési eljárások lényegében két jól elkülöníthet elméleti alapra épülnek. Az egyik a szabálybázisú megközelítés (kognitív módszer), a másik a statisztikai elméleti alapú feldolgozás (információelméleti megközelítés). Szabálybázis alapon m ködnek a különböz szakért i rendszerek, statisztikai alapú feldolgozást használnak például a Rejtett Markov Modell ( Hidden Markov Modell: HMM ), vagy Neurális hálózatok (Neural Network NN) használatával megvalósuló felismer k. A mai beszédfeldolgozási tudásszinten a gyakorlatban megvalósuló sikeres beszél és beszédfelismer rendszerek statisztikai alapokon m ködnek, ezért a továbbiakban velük foglalkozunk: A kezdet: az egyszer mintaillesztéses eljárások A gépi beszédfelismerés látványos fejl désen ment keresztül az utóbbi évtizedekben. A 80-as évek elejéig túlnyomórészt csak néhány száz szavas személyfügg beszédfelismer k léteztek, melyeknek felismerési biztonsága is igen er sen ingadozott. A betanítási körülményekhez képest kis változás akár 20-30%-al is le tudta csökkenteni a felismerés biztonságát. Ezeknek a rendszereknek az alapja az úgynevezett mintaillesztési eljárás volt. Éppen ezért is reagáltak igen er sen az akusztikai körülmények kisebb változásaira is Betanított eljárások A beszéd természetére jellemz a fizikai paraméterek nagymérték variáltsága beszél k között, egy beszél n belül, továbbá az akusztikai környezet függvényében is. A beszéd statisztikai modelljének paraméterfelülete a beszéd nagyfokú variálhatóságát kell, hogy tükrözze, így sok dimenziójú kell legyen Adatbázisok jelent sége Egy pontos paraméterbecslési lépés végrehajtásához (betanítási lépés) nagyszámú minta alapján történ betanítás szükséges. E minták gy jteményei a szükséges jegyzetekkel, címkézésekkel és átírásokkal ellátva képezik az adatbázist. 15

15 Az adatbázisoknak tartalmazni kell azokat a megfigyeléseket, amelyek a paraméterbecsléshez szükségesek, tehát mindazokat a mintákat, amelyek egységesen lefedik a beszéd (és a környezeti zajok) variáltságát. Ha egy beszédhang nincs benne a betanításhoz használt adatbázisban, akkor azt a beszédhangot a gép értelemszer en soha nem fogja felismerni. Bár a számítástechnika fejl dése lehet vé tette a nagyobb komplexitású feladatok számítását is, a kapacitás korlátozottsága miatt a mai felismer ket csak egy meghatározott sz k felhasználási területre tudják tervezni. Ilyen például egy beszédfelismer, amely csak egy adott nyelven, telefonon keresztül bemondott számok, szavak felismerésére alkalmas, viszont nem ismer fel mondatokat. Egy másik példa a laborban fejlesztett orvosi (endoszkópos) leletez -beszédfelismer, melyet a labor során a hallgatók ki is próbálhatnak. Az un. diktáló rendszerek folyamatos beszédet képesek felismerni megadott nyelven, jól meghatározott témakörön belül, de kizárólag csak a felhasználó hangjára m ködnek elfogadható pontossággal. Ezek a felismer k csak csendes környezetben m ködnek jól. Azok a felismer k, amelyeket zajtalan környezetbe terveztek, nem m ködnek zajos körülmények között. Az utcazajban m köd felismer rosszul m ködik, ha személygépkocsiban kívánják használni. Vagyis csak azokat a mintákat képes felismerni, amelyeket el z leg már megtapasztalt, vagyis amelyre el z leg be lett tanítva. A betanítás adatbázisok segítségével hajtandó végre. Az utóbbi években ezért n tt meg az adatbázisok jelent sége, óriási pénzeket költ ma erre a világ. A soknyelv Európa igen nagy feladat el tt áll, hiszen minden nemzet a saját nyelvén akar bekapcsolódni a nemzetközi kommunikációba, tehát nyelvenként kell sokfajta feladatra alkalmas adatbázisokat létrehozni. A statisztikai felismer rendszerben egy véletlen folyamat (X) el állít egy diszkrét idej véletlen jelet (X n ), és meg kell becsülni azokat a paramétereket, amelyek a modellt jellemzik. A becslés pontossága arányos a rendelkezésre álló megvalósulások számával. Ha minden lehetséges realizáció rendelkezésünkre állna, akkor ismernénk az X véletlen folyamat együttes felületét. Ebben az esetben a modell teljesen pontos valódi paramétereit becsüljük meg. Megjegyzend azonban, hogy nincs értelme ugyanazon folyamat realizációit hosszú ideig gy jteni. Lényegében haszontalan ugyanazon beszél hangjának többszöri rögzítése, vagy több felvétel készítése, mint amennyi az együttes felület lefedéséhez szükséges. Ma már kísérleti tény, hogy 100 megfelel en kiválasztott beszél elégséges és hatékony egy beszél független betanításhoz. Tovább növelni számukat haszontalan, s t néha káros. A gyakorlatban az adatbázisok tervezésénél figyelembe kell venni, hogy az adatbázis létrehozása nem más, mint a véletlenszer folyamat egyes megvalósulásainak (realizációinak) összegy jtése. Bármelyik megvalósulás statisztikai tulajdonságai egybe esnek a folyamat sokfajta megvalósulásának együttes tulajdonságaival, egy adott id pillanatban (n). Jelöljük a beszédfolyamat együttes felületét {x(n, l)}-el! Itt n az id függést, l pedig a beszédfolyamat járulékos függéseit jelöli egyes speciális dimenzióktól,például amelyiket a beszél k kiejtésének azonosítására használunk. Az X beszédfolyamat együttes felületét befed adatbázis létrehozása megkívánja ezeknek a 16

16 különböz megvalósulásoknak az összegy jtését (x(n, l)), minden l járulékos függés esetében. Ez szükséges a megfelel en pontos becslés kialakításához. A fentiek alapján látható, hogy a paraméterbecslés pontossága, tehát a felismerés jósága lényegében a betanításhoz használt adatbázis jóságán múlik. Vagyis azon, hogy az adatbázis elemei helyesen legyenek kiválasztva, egy-egy elemb l megfelel darabszámú reprezentáns legyen, az elemek min sége megfeleljen az el írásoknak stb. Mind a HMM mind az NN alapú felismerés stacionárius folyamatok sorozataként tekinti a beszédet. Viszont a beszédképz szervünk folyamatosan állítja el a beszédet, a statisztikai tulajdonságok id függ k. A beszéd modellezhet, mint részeiben stacionárius folyamatok láncolata és HMM nagyon jól alkalmazható ilyen folyamatokra. Ez viszont megkívánja az adatbázis szegmentálását olyan hullámforma részekre, amelyeknek hasonlók a statisztikai tulajdonságaik. A HMM és NN felismerési algoritmusok egyaránt az adatbázis pontos fonetikai átírását igénylik HMM A statisztikai eljárások alkalmazása a beszédkutatásban robbanásszer fejl dést indított meg. A 70-es évek közepén az IBM-nél alkalmazták el ször sikerrel a rejtett Markov modell (HMM) elnevezés statisztikai eljárást, amely kisebb nagyobb változtatásokkal igen gyorsan elterjedt a beszédkutatók körében az egész világon. A 80-as évek végén már tömegesen mutatták be nagyobb kutatóhelyek, az angol, francia, olasz telefontársaságok a rejtett Markov modelleket használó, zajos körülmények között m köd, személyfüggetlen (el zetes betanítást nem igényl ), kisszótáras szavas beszédfelismer ket. Egy 1989-es konferencián állították ki el ször az IBM beszél adaptív (használat során a beszél höz illeszked ) nagyszótáras (1000-nél több szavas szótárkészlettel rendelkez ) diktáló rendszerét, melynél a szavak között szünetet kellett még tartani ANN A HMM módszer matematikai leírása korrekt, de nyilvánvalóak alkalmazásának korlátai is. Éppen ezért a kutatók figyelme a 80-as évek második felében a statisztikai eljárások egy másik csoportja, a neurális hálózatok (NN, ANN) alkalmazása felé fordult. A 90-es évek els felében azonban a neurális hálók betanítási nehézségei, a korrekt matematikai leírások hiánya a kutatók figyelmét újból a HMM módszer felé irányította, vagy a két statisztikai módszer hibridjét valósították meg Összegzés Az utóbbi évtizedek kutatásai és tapasztalatai alapján sokat tanultunk arról, hogy hogyan kell használható, praktikus felismer rendszereket írni, mégis messze vagyunk a 17

17 végs céltól, illetve folyamatosan tágul az elérend célok köre. Mindenesetre annak ellenére, hogy már kaphatóak az üzletekben beszédfelismerésen alapuló rendszerek, diktáló programok, még alapvet kérdésekben is sok feladat vár a kutatókra. A vezet kutatókat már rég nem a szépen kiejtett beszéd felismerése, hanem a természetes társalgási beszéd felismerése foglalkoztatja, amelynél el fordulnak különböz ejtési variációk, a szó, vagy mondat kétszeri indítása, fonémák elharapása stb. Sok megközelítés született a feladat különböz részeinek megoldására, melyek párhuzamosan fejl dnek, hisz egyel re nincs egyértelm en optimális megoldás. Bevált módszer a kutatásban, hogy vizsgáljuk az embernél az adott funkció m ködési mechanizmusát, és a kapott eredményeket felhasználjuk a technikai megoldásokban. Sajnos az emberi beszédfelismerés m ködési mechanizmusáról való ismereteink hézagosak: a periférikus hallásrendszer m ködésér l már elég sok információt gy jtöttünk össze, és ezt a tudást fel is használjuk az akusztikai el feldolgozásnál, de a további agyi feldolgozásról valójában még keveset tudunk Jelfeldolgozási módszerek a beszédfelismerésben Normálás A beszédfelismerés során nem a beszédhang abszolút tulajdonságai, mint magassága, ereje számítanak, hanem a hangok egymáshoz képesti relatív tulajdonságai. Izolált szavas felismerésnél például cél, hogy a szótárelemek és a felismerend szavak jobban összevethet k legyenek. Mi emberek megértjük, ha valaki lassabban vagy gyorsabban, hangosabban vagy halkabban beszél, s t még azt is, ha énekel. Ezen hatások némelyike jelfeldolgozási módszerekkel, a jelek normálásával kompenzálható Lényeges információ kisz rése A beszéd során egy véges értékkészlet jelsorozatot (pl. a bet k sorozatát) folyamatos id tartományi jellé alakítjuk, azonban ebben a jelben sok egyéb információ is kódolva van. Ilyenek a beszél személye, annak hangulata, s t a környez zajok is. A beszédfelismerés az inverz feladat, tehát ebb l a jelb l kinyerni a jelen feladat számára lényeges információt, azaz az elhangzott szöveget. Ennek alapjául szolgál a spektrumelemzés. További elemzések is végezhet ek a jelen, hogy értékes jellemz ket határozzunk meg, például az alapfrekvenciát vagy a formáns frekvenciákat. Jelenleg nem ismerünk olyan jellemz halmazt, ami egyértelm en jellemzi a beszédhangokat. S t, az egyes beszédhangok különböz reprezentációihoz tartozó tulajdonságvektorok által alkotott térrészek nem diszjunktak az eddig ismertetett paraméterek esetén. Az emberi fül sem tökéletes: rövid néhány hangból álló egységeket nehezen, néha hibásan értünk, mégsem jelent problémát a folyamatos szöveg megértése, mivel az agyban m köd komplex nyelvi feldolgozás korrigálja a hibákat. A cél tehát olyan jellemz k keresése, melyek minél hatékonyabb mintaillesztést tesznek 18

18 lehet vé. A korábban bemutatott spektrális jellemz k mellé a teljesség igénye nélkül felsorolunk még néhány jellemz t. Alapfrekvencia (pitch): formáns frekvenciák: a spektrumképen egyértelm en kiemelked frekvenciákat nevezzük formáns frekvenciáknak. A formánsstruktúra jellemz az egyes hangokra, azonban az értéke változik a beszél személye, a beszédtempó, és a környez hangok függvényében. Beszédjel beszédszünet: szavankénti felismerésnél a szóhatárok, folyamatos felismerésnél pedig a frázishatárok megállapítására szolgál. Legegyszer bben a jel energiájából határozható meg egy küszöbszint megadásával. A pontosságnak gátat szabnak a környezeti zajok, valamint a szavak elején és végén található szájzörejek. Zöngés zöngétlen részek elkülönítése is fontos jellemz lehet. Meghatározható a rövid idej energia függvényeként, ami kiemeli a nagy energiájú, többnyire zöngés részeket. Más módszer erre a nullátmenetek számolása, illetve az autókorrelációs függvény alkalmazása Tulajdonságvektor el állítása Miután a beszédjelet periodikusan felbontottuk egyenl méret (tipikusan ms), átlapolódó darabokra, majd minden ablakra kiszámítjuk a tulajdonságvektort, ami az el z fejezetben leírt tulajdonságok alapján jellemzi a beszédjel egy részét. A vektorban az egyes tulajdonságok adott id ablakra jellemz számértékei foglalnak helyet egymás alatt. Ez a vektorsorozat képezi a mintailleszt egység bemenetét. A paraméterek kiválasztása függ a feldolgozó rendszer képességeit l (sávszélesség, memória, sebesség), valamint a feladattól is. Minél komplexebb a feladat, annál pontosabb és komplexebb paraméterekre van szükség. Pl. beszéddetektor esetén akár egyetlen elem, az energia is elegend, de felismer kben tipikus a 20 elem kepsztrum, vagy Mel-kepsztrum vektor szükséges. Általában a parameter-vektorok mellett megadjuk azok változását (diszkrét deriváltját) is, ezek az úgynevezett delta (ritkábban: delta-delta) paraméterek. A mai hagyományos és célprocesszorokon sem jelent problémát a vektorok el állítása, a real-time jelfeldolgozás szempontjából a valós id töredéke, néhány százaléka szükséges csupán. A feldolgozási id nagyobb részét a következ szint, a mintaillesztés veszi el. Ezért is szükséges minél kompaktabb paraméterhalmaz el állítása. Amennyiben 20 ms-os ablakkal sé 22kHz-es mintavételi frekvenciával dolgozunk, akkor egyetlen keretben 440 beszédminta van, míg egy meghatározott frekvencia-sávonként számított spektrum-jellemz kb l (és ezek deriváltjaiból) álló tulajdonság-vektor a fentiek szerint kb. 60 elemet tartalmaz (MFCC-t, vagyis Mel-sz r bankos kepsztrális együtthatókat alkalmazva), ami jelent s adatmennyiség csökkenést is jelent. 19

19 Mintaillesztés A mintailleszt feladata a bemenetként kapott tulajdonságvektor-sorozat leképzése felismert szimbólumok nyelvi elemek sorozatává. A bementi jel tehát még akusztikus információkat tartalmazó folytonos jelfolyam, míg a kimenet a már sokkal absztraktabb nyelvi egységek diszkrét sorozata. Vagyis a kritikus lépés, az akusztikus/nyelvi konverzió azaz felismerés itt történik meg. A mintailleszt tehát a beszédfelismer k kulcsfontosságú része, ezért ez a témakör alaposabb tanulmányozást igényel. Történetileg az els módszer a templétbázisú mintaillesztés (pl. DTW Dynamic Time Warping, azaz dinamikus id vetemítés alapú eljárások). A korszer felismer k túlnyomó többsége azonban a másik, statisztikus (adatbázis alapú) típusú mintaillesztést (HMM és ANN) alkalmazza. A gyakorlatban a leghasználhatóbbnak a tisztán rejtett markovmodelles felismer k bizonyultak, a gyakorlat során is ilyen felismer vel kell majd megoldani a feladatokat Templétbázisú mintaillesztés A templét (vagy referencia) alapú mintaillesztés feladata, hogy el re tárolt mintákhoz hasonlítsa (illessze) a mért tulajdonság vektor-sorozat egyes elemeit. A beszédfelismer nek meg kell adni az összes felismerend szimbólumot, valamint az ezekhez tartozó jellemz vektorokat. A feladattól függ en egy vagy több embert l gy jtött minták átlagolásával áll el a referencia minta egy betanítási folyamat eredményeként. A szimbólumoktól és a felismer algoritmustól is függ, hogy egy referencia minta egy betanítási folyamat eredményeként. A szimbólumoktól és a felismer algoritmustól is függ, hogy egy referencia szimbólumhoz milyen hosszú vektorsorozat tartozik. Nyilván egy szóhoz tartozó referencia több vektort tartalmaz, mint egy hanghoz tartozó. Egy-egy szimbólumhoz akár több különböz referencia is megadható az esetleges nagy különbségek esetén, amennyiben a felismer algoritmus nem képes ezt kezelni. Például ugyanazt a hangot néha hosszabban máskor rövidebben ejtjük, ezt akár különböz referenciával is ábrázolhatjuk, ugyanígy kezelhet a tájszólás is. A mintailleszt a beérkez vektor-sorozat minden elemét sorban összehasonlítja az összes tárolt referenciával és meghatározza, hogy melyikt l milyen távol van. A vektoronkénti távolságszámításnak különböz módjai vannak. Alapvet és egyben a legelterjedtebb módszer a térben a legközelebbi elemre döntés. A távolságszámítást koordinátánkénti paramétersúlyozással lehet kombinálni, így optimális esetben jobb döntést kapunk, azonban nagyon nagy mennyiség mintára van szükség ennek a betanításához, így viszonylag ritkán alkalmazzák. Statisztikus módszerek esetén a jellemz vektoroknak statisztikus jellemz it (pl. átlagát, szórását) számítjuk ki, és ilyenkor valószín ségekkel dolgozunk, minden referencia teszt vektor összehasonlítás eredménye egy valószín ség, mely megadja, hogy az adott teszt vektor milyen valószín séggel tartozik az adott referenciához. 20

20 Mindkét esetben lehet ség van kiválasztani a legközelebbi, vagy legvalószín bb értéket, azonban tipikusan az els néhány legjobb jelöltet (hipotézist) is megadja a mintailleszt, hogy a következ szinten a nyelvi modul ezek közül válassza ki a megfelel t Dinamikus Id vetemítés A mintaillesztés egy klasszikus módszere a dinamikus id vetemítés. Ez a módszer kisszótáras, izolált szavas, beszél függ feladatoknál nyújt kézenfekv megoldást. Az els alapvet feladat két mintasorozat egymáshoz viszonyított távolságának meghatározása. Adott egy felismerend teszt mintasorozat és sok tárolt referencia sorozat. Meg kell mondani, hogy melyikhez illeszthet legjobban a teszt. Nagy valószín séggel a referenciák hossza különböz, és a teszt is különbözhet ezekt l, mivel ugyanazt a szót különböz sebességgel mondhatjuk ki. A teszt és a referencia mintákat azonban valahogy párba kell állítani a távolság méréséhez. Erre a legegyszer bb, bár önmagában nem használható módszer a lineáris id vetemítés. Egyszer en valamelyik id tengelyt a másikhoz nyújtjuk lineárisan. Az így párba állított minták távolságát összegezzük, és a legkisebb távolságra, azaz a leghasonlóbb referenciára döntünk. Ezen algoritmus alkalmazhatóságának az szab határt, hogy a szavakat nem arányosan mondjuk gyorsabban, vagy lassabban, hanem a szavakon belül is lehetnek sebességkülönbségek. Erre használható a dinamikus id vetemítés (DTW). Ez egy nemlineáris transzformációt hajt végre az id tengelyeken, és ezek mentén hasonlítja össze a mintasorozatokat (ld.: 7. ábra). 7. ábra: LTW DTW 21

21 A referencia mintasorozat: a = a[0] a[r], a teszt mintasorozat: b = b[0] b[t], és a vetemít függvények az F a (i), és F b (i) függvények; ezek közül keressük az optimálist. A vetemít út az (a[0],b[0]) pontból indul ki, és (a[r],b[t]) pontba érkezik; monoton n (hisz nem beszélünk visszafelé) és nem lehet akármekkorát ugrani (hisz nem beszélhetünk tetsz legesen lassan vagy gyorsan). A konkrét implementációban lokális feltételeket lehet megadni a továbblépésre, így az F függvény által megadott út nem lehet tetsz leges. Nagy el nye ennek a rendszernek, hogy igen gyorsan akár egyetlen mintával is hatékonyan tanítható. Robosztusabbá tehet a felismer több tanító minta alkalmazásával., ezek a vetemít út mentén átlagolhatóak. Amennyiben elegend mennyiség tanító minta áll rendelkezésre, akkor már általában statisztikus módszereket alkalmaznak, pl. a rejtett Markov modelleken alapuló felismer t, mely gyakorlatilag magában foglalja a DTW algoritmust is Statisztikus mintaillesztési módszerek A statisztikus eljárások közös tulajdonsága, hogy valamilyen akusztikus modellt használnak, melyekben akusztikus információ tárolása és felhasználása hatékonyabban valósul meg, mint a templét alapú módszernél. Az ár a modellparaméterek becsléséhez szükséges nagyobb adatbázis és számítási id. Fontos megjegyezni, hogy statisztikus jelsz nem magára a mintaillesztési folyamatra vonatkozik, hanem a modell-paraméterek kiszámítására, becslési módjára. A következ kben megpróbálunk a templétbázisú (DTW) módszerb l kiindulva eljutni a rejtett Markov-modell (HMM) alapú mintaillesztésig. A templétt l a rejtett Markov-modellig Induljunk ki a legegyszer bb izoláltszavas felismerésb l. Ilyenkor minden szót, azaz felismerési szimbólumot egy referencia tulajdonságvektor-sorozat reprezentál ezt hívjuk templétnek-, ehhez hasonlítjuk az aktuális bemondás tulajdonságvektorait. Felfoghatjuk úgy is, hogy a lexikonban szerepl minden szónak van egy modellje, ami adott esetben úgy keletkezett, hogy a szó egyetlen realizációjának tulajdonságvektorsorozatát egyszer en eltároltuk. Ennek a modellezési eljárásnak azonban több gyengéje is van. El ször is, egyetlen beszél egyetlen bemondása nyilvánvalóan nem tudja visszaadni azt a nagymérv akusztikai változatosságot, ami a beszéd minden szavára jellemz. Másodszor, a templétmodell er sen redundáns. A vektorok általában 10 ms-onként érkeznek, a beszédben pedig egyes hangzók ms ideig is tarthatnak, következésképpen nagyon sok egymáshoz nagymértékben hasonló tulajdonságvektort kell eltárolnunk. Egy lehet ség a redundancia csökkentésére, hogy az egy hangrészlethez tartozó, hasonló vektorokat egybevonjuk, és egyetlen állapottal modellezzük a szórészletet. A szó egésze pedig nyilvánvalóan állapotsorozatként áll el. 22

22 Kérdés, hogy az egyetlen állapot hogyan adja vissza az elnyelt nagyobb számú tulajdonságvektort. A válaszhoz tisztáznunk kell, mit várunk a modellt l: képes legyen egy teszt tulajdonságvektorra minden állapotban egy hasonlósági mér számot adni, hasonlóan a DTW-hez, ahol azt minden keretben az euklideszi távolság adta meg. Járható út lenne, hogy az állapotot a középs vektorral, vagy egy átlagvektorral képviseljük és továbbra is euklideszi-távolságot számolunk. Több el nnyel jár viszont az a megközelítés, hogy minden állapothoz egy eloszlásfüggvényt rendelünk, melynek bemen mennyisége a tulajdonságvektor, a kimenete pedig a hasonlósági mér szám, mely megmutatja, mennyire illeszkedik az adott vektor a modellezett hangrészlethez. Így az els ként említett, a beszédhangok akusztikai változatosságából ered probléma kezeléséhez is közelebb kerültünk. Az adott állapotra jellemz eloszlásfüggvényt természetesen az állapotba elnyelt tulajdonságvektorok statisztikai feldolgozásával alakítjuk ki. Minél több vektor áll rendelkezésre egy állapothoz, minél több beszél minél többször mondta ki ugyanazt a szót vagy szórészletet, annál jobb lehet az eloszlásfüggvényünk és így a modellünk is. A gyakorlatban megkötéseket tesznek az eloszlásfüggvényre, pl. legyen Gauss függvények lineáris kombinációja így csak az átlagértékeket és szórásokat (kovarianciát) kell eltárolni. Egyetlen probléma van csak a modellünkkel: nincs semmilyen információnk arról, hogy az egyes állapotok milyen sokáig (hány keretnyi ideig) tartanak. Bár az egy állapothoz tartozó vektorok megszámlálása és az átlag eltárolása kézenfekv nek t nik, el nyösebb, ha az állapothossz-információt állapotátmeneti valószín ségek bevezetésével reprezentáljuk. Alapesetben csak a következ állapotba jutás, illetve helyben maradás valószín ségét érdemes 0-nál nagyobbra választani (minden ütemben lépni kell egyet, legfeljebb az addigi állapotba lépünk). Ekkor világos, hogy a hosszabb állapotoknál a saját állapotba való jutás (azaz helyben maradás) valószín sége nagy lesz, a következ be jutásé kisebb. Rövidebb állapotoknál a különbség kisebb lesz ezen valószín ségek között, tehát a két átmeneti valószín ség aránya jelzi az állapot hosszát. Itt megállhatunk, hiszen eljutottunk a beszédelismerésben oly sikerrel alkalmazott folytonos megfigyelési-s r ségfüggvény rejtett markov-modellig. A következ kben egy egzaktabb matematikai definíciót adunk meg, majd a mintaillesztési-felismerési folyamatot mutatjuk be Rejtett Markov-modell A Markov-modell (használatos a Markov-lánc elnevezés is) diszkrét állapottok és az állapotok közötti átmenetekre értelmezett valószín ségek összessége. Az állapotokat q- val jelöljük (az i-ik állapotot q i -val), az ún. állapotátmeneti valószín ségeket pedig a-val. A ij jelenti az i-edikb l a j-edik állapotba való kerülés valószín ségét, formálisan: a ij =P(q i q j ). Grafikus reprezentációnál az állapotokat ellipszisekkel jelöljük, a lehetséges állapotátmeneteket pedig (ahol a ij >0) nyillal. 23

23 A Markov láncokat gyakran használják valamilyen fizikai folyamat modellezésére, ahol különböz megfigyelések alapján kell szimulálni modellezni a folyamatot. Ha a megfigyelés egyértelm en azonosítja, hogy a folyamat milyen állapotban van, akkor a használt modellt megfigyelhet Markov-modellnek vagy egyszer en Markov-láncnak nevezzük. Ilyen eset pl. a kockadobálás, hiszen összesen 6 állapot lehetséges, a dobás végrehajtása után végzett megfigyelés pedig egyértelm en azonosítja az állapotot (tulajdonképpen az állapot - megfigyelés szétválasztására itt nincs is szükség). Számos folyamat létezik viszont, melyekre ugyan az állapotok jól definiálhatók, rájuk a megfigyelések alapján mégsem következtethetünk egyértelm en. Vegyük a következ egyszer példát: Van három dobozunk, mindegyikben 6db labda. Az els ben 3 fehér, 2 piros, 1 fekete, a másodikban 3 piros, 2 fehér, 1 fekete, a harmadikban 4 fekete, 1 piros, 1 fehér. Legyen a megfigyelésünk az, hogy egy dobozból kihúzunk egy labdát. A megfigyelés alapján el szeretnénk dönteni, melyik állapotban vagyunk, vagyis, hogy mi a sorszáma a doboznak, amelyikb l húztunk. Világos, hogy bár az els dobozban f leg pirosak vannak, a másodikban f leg fehérek, a harmadikban meg feketék, a megfigyelés nem determinálja az állapotot. Csak valószín ségeket tudunk mondani el zetes ismereteink birtokában. Legyen például a gondolatkísérletben a megfigyelésünk a piros labda. A következ megállapításokat tehetjük: feltéve, hogy az 1. dobozból húztuk, az eseményvalószín sége 1/3. Feltéve, hogy a 2. dobozból húztuk, a valószín ség 1/2, míg ha azt tesszük fel, hogy a 3. dobozból húztuk, akkor 1/6. Valószín síthetjük, hogy a 2. dobozból húztuk a piros labdát, de nem lehetünk biztosak benne. Az ilyen és ehhez hasonló folyamatok modellezésére alkalmasak a rejtett Markovmodellek. A rejtett szó arra utal, hogy a megfigyel nem látja az állapotokat, azok mintegy rejtve maradnak. Minden állapothoz tartozik egy diszkrét vagy folytonos eloszlásfüggvény, ami azt mutatja meg, hogy az állapotban értelmezett egyes (diszkrét vagy folytonos) megfigyeléseknek mi a valószín sége. A j-ik állapotban az o esemény (megfigyelés) valószín ségét b j (o)-al jelöljük. A fenti példán keresztül szemléltetve: Az els doboz (állapot) eseményeinek valószín ség-eloszlása: B l (piros)=1/3, B l (fehér)=1/2, B l (fekete)=1/6 Hasonlóan, a többi állapot eloszlása is könnyen számolható, ezt az olvasóra bízzuk. Természetesen a megfigyelésnek nem kell diszkrétnek lennie. Lehet például valós szám N-es azaz vektor-, ilyenkor bj(o) egy vektor-skalás függvény, egy N-dimenziós eloszlás s r ségfüggvénye. Lényegében ugyanarról van szó, mint korábban, a megfigyeléshez egy valószín ségi mértéket rendelünk. Az utóbbi típusú modelleket folytonos megfigyelésis r ségfüggvény rejtett Markov-modellekenek hívjuk, ilyeneket használnak a korszer beszédfelismer kben is. 24

24 Szegmentálás Beszédadatbázisoknak a beszéd digitális tárolása mellett annak nyelvi információ tartalmát is rögzíteniük kell. Ezért a hullámforma tárolása mellett a hozzátartozó ortografikus karaktereket is rögzítik. Különböz zajok, embert l származóak,- (ilyen a köhögés, nyelés, különböz szájmozgásból adódó zajok), vagy környezetiek (járm vek, motorok zaja, székcsikorgás stb.) bejelölésre kerülnek a legtöbb adatbázisban, vagy a szöveganyagban, vagy magában az id függvényben (és ekkor beszélhetünk szegmentálásról). Szegmentálás során a beszéd id függvényében bejelölik a beszédhangok, vagy egyéb fonetikai egységek határait, és beírják a megfelel fonetikai szimbólumokat. Kézi vagy automatikus szegmentálást szokás használni. A kézi szegmentálás pontos, de fárasztó és id igényes. Az automatikus, vagy félautomatikus szegmentálás gépi felismerésekkel (ld.: 8. ábra) hajtható végre, ez gyors eljárás, de mindenképpen pontatlanabb, mint ha kézzel csinálnánk, ezért ilyenkor mindig kézi korrekciót kell végezni. 8. ábra: egy ANN alapú automatikus szegmentáló blokkvázlata 25