book 2010/9/9 14:36 page v #5

Átírás

1 1 A MAGYAR BESZÉD beszédakusztika, beszédtechnológia, beszédinformációs rendszerek Szrkesztette: Németh Géza, Olaszy Gábor Áttekint! szerkeszt!: Gordos Géza Akadémiai Kiadó KIKNEK SZÓLNA A KÖNYV? A könyv a Budapesti M!szaki és Gazdaságtudományi Egyetem Távközlési és Médiainformatikai Tanszék Beszédtechnológig és akusztikai laboratóriumainak kutatásai és fejlesztései köré épül, egyúttal kitekint a nemzetközi beszédkutatásra is (170 számozott fejezetet tartalmaz). Felöleli a beszéd fiziológiai, fonetikai, akusztikai és jelfeldolgozás témaköreit és a magyar beszéd jellemz"it mutatja be. A beszédtechnológiával foglalkozórész bemutatja a beszéd számítógépes feldolgozásának minden területét (gépi felismerés és szintézis, tömörítés, beszédmódosítás, általános jelfeldolgozás. A beszédtechnológia gyakorlati alkalmazásaiból mindent bemutat, amit eddig elértek a kutatók, fejleszt"k a távközlési alkalmazásoktól az egészségügyi fejlesztéseken keresztül a vakokat kiszpolgáló rendszerekig. A Magyar beszédet ilyen aspektusból tárgyaló könyv még nem jelent meg, tehát hiányt pótol. Igénylik az egyetemek, f"iskolák, valamint minden olyan oktatási hely, ahol informatikusokat képeznek. Jó támogatást adhat távközlési fejleszt"knek és döntéshozóknak, a beszédtechnológiai fejlesztések szakembereinek, új, multimédiás távközlési szolgáltatások tervez"inek. Azonban ennél szélesebb rétegnek szeretnénk ajánlani. Segítheti a humán területek oktatását is (fonetika, beszédelemzés, nyelvészet és a beszéd kapcsolata, beszédpszichológia, egészségügyi betegségmegel"zés, tájékoztatás). Ajánljuk továbbá a középiskolások fels" tagozatának is, valamint mindenkinek, akit érdekel a témakör (pl. fizikusok, nyelvészek, rádiósok, televíziósok, filmesek, tudományos media szakemberei). Nem folyamatos olvasmánynak szánjuk, hanem lexikon szer! kézikönyvnek. Átfogó tartalma miatt hasznos információkat találhatnak a fenti szakmák m!vel"i, a mérnökökt"l a bölcsészekig. A könyv másik célja megmutatni és rögzíteni a magyar beszéd akusztikai szerkezeti képét a 21. század elején, ismertetni a beszédtechnológia, mint új, interdiszciplináris tudományág eddig elért eredményeit, problémaköreit és alkalmazásait, f"leg hazai vonatkozásban. Szakszójegyzék segíti az olvasót a köny végén. A könyvhöz rendelt honlap pedig sok olyan adatot tartalmaz, amit a könyvben a terjedelem korlátozottsága miatt nem lehet elhelyezni. A 21. század új iparága a beszédtechnológia. Ez a könyv az els" szisztematikus összefoglalás magyar nyelven a magyar beszédre vonatkozóan ebben az aspektusban. További felvilágosítás: Olaszy Gábor (olaszy@tmit.bme.hu),

2 book 2010/9/9 14:36 page v #5 Előszó Szerkesztők szerzők Rövidítések jegyzéke xv xix xxv EMBER, NYELV, BESZÉD 1. A beszéd és az információs társadalom A beszéd komplex szerkezete A beszéd körfolyamata, az emberi dialógus A nyelvi tudás szintjei Beszédformák Spontán beszéd Felolvasásos beszéd Fiziológiai, fizikai alapok A beszédképzés folyamata Gégeszintű hangképzés Az artikulációs csatorna A koartikuláció A gégeműködés és az artikulációs csatorna viszonya A hallási folyamat A fül szerkezete Jelfeldolgozás a hallórendszerben A beszéd fizikai jellemzése A rezgőmozgás, a hang keletkezése A hang terjedése a levegőben

3 book 2010/9/9 14:36 page vi #6 vi Kényszerrezgés, rezonancia Összetett rezgések A beszédjel elemzése Formáns, zörejgóc Pszichofizikai tényezők Hangosságérzékelés Tisztahangok hangosságérzékelése Összetett hangok hangosságérzékelése Hangosság és időtartam Hangmagasság-érzékelés Hangmagasságskálák Tisztahangok hangmagasságérzete Komplex hangok hangmagassága, virtuális hangmagasság Fizikai-nyelvi megfeleltetések A beszéd és az írás kapcsolata Írásrendszerek Hangjelölések Tagolási különbözőségek Az írott szöveg és a hangalak kapcsolata Hang- és szóhatárok kijelölése a beszéd hullámformáján Magyar hang-, betű- és szóstatisztika Betűstatisztika a hangalak figyelembevételével A magyar szavak eloszlásai A BESZÉD SZERKEZETI ELEMZÉSE 5. A beszéd szegmentális szerkezete A magyar beszédhangok A beszédhangok osztályozása A beszédhangok specifikus időtartamai A beszédhangok specifikus intenzitásai, hangzósság A magyar magánhangzók A magyar magánhangzók időtartamadatai A magyar mássalhangzók Zöngés zárhangok Zöngétlen zárhangok Zöngés réshangok Zöngétlen réshangok Zöngés zár-rés hangok Zöngétlen zár-rés hangok

4 book 2010/9/9 14:36 page vii #7 vii Közelítő hangok Pergőhang Nazális hangok A hangkapcsolódások típusai és szerkezeti sajátosságaik Magánhangzó-magánhangzó kapcsolódások A hiátustöltés jelensége Mássalhangzó-magánhangzó-mássalhangzó kapcsolódások Mássalhangzó-mássalhangzó kapcsolódások Kettős mássalhangzó-kapcsolódások Három elemű mássalhangzó-kapcsolatok Négyelemű mássalhangzó-kapcsolatok A koartikulációs néma fázis jelensége Szegmentális jelenségek a gége szintjén Mikrointonáció Irreguláris zöngeképzés, glottalizáció, rekedtség Suttogás A beszéd szupraszegmentális szerkezete A beszéddallam A mondatdallamok kapcsolódási rendszere A kijelentés dallamszerkezetei A kérdésformák dallamai A kiegészítendő kérdés Eldöntendő kérdések Ellenőrző kérdés Választó kérdések Befejezetlen kérdések Más modalitások dallamformái A felszólítás dallama A figyelmeztetés dallama Az óhajtás dallamformája A hangsúlyozás Hangintenzitás mondatkeretben Időszerkezeti tényezők Artikulációs sebesség Beszédtempó Szünetek Ritmus A hangszínezet BESZÉDTECHNOLÓGIA

5 book 2010/9/9 14:36 page viii #8 viii 7. A beszédtechnológia tudománya A beszéd számítógépes feldolgozása Mintavételezés, kvantálás, visszaállítás Mintavételezés Kvantálás Spektrális tulajdonságok meghatározása Fourier-sor Fourier-transzformáció Teljesítménysűrűség-függvény Ablakoló függvények Idő- és frekvenciabeli felbontás Zöngés-zöngétlen detekció Jelfeldolgozás prozódiai módosításokhoz Fonetikai alapú prozódiamódosítás Kepsztrum MFCC-paraméterek Rejtett Markov-modellek A beszéd tömörítése és átvitele Kódolási alapelvek A hullámforma kódolás Parametrikus kódolás Hibrid kódolás Adaptív differenciális, predikciós kódoló Nyílt hurkú predikciós kódoló Zárt hurkú predikciós kodoló Adatbázisok a beszédtechnológia szolgálatában Tanító adatbázisok gépi beszédfelismeréshez Tanító adatbázisok a nyelvi tartalom gépi felismeréséhez Beszédadatbázisok az akusztikai-fonetikai modell betanításához Szövegadatbázisok a nyelvi modell betanításához Beszédből készített elembázisok beszédszintézishez Hangelembázis számok felolvasásához Jó minőségű számfelolvasó hangelembázisának tervezése Logatom alapú, diád, triád hangelembázis szövegfelolvasáshoz Diád hangelembázis Triád a hangelembázisban Nagyméretű beszédadatbázisok szövegfelolvasókhoz A szintézis fő építőelemei A beszédadatbázis címkézése

6 book 2010/9/9 14:36 page ix #9 ix 8.3. Kiejtésikivétel-szótárak Oktatási, kutatási célú internetes adatbázisok A magyar hangkapcsolódások akusztikai bemutatása szavakban Mondatfajták beszédadatbázis Elektronikus kiejtési szótár IPA-jelekkel és hangidőtartamokkal A magyar formánsadatbázis Spontánbeszéd-adatbázisok A beszéd gépi észlelése és felismerése Gépi beszédészlelési feladatok A gépi beszédfelismerők osztályozása A beszéd gépi felismerésének alapjai Lényegkiemelési eljárások Normálás A tulajdonságvektorok előállítása Mintaillesztési eljárások Sablonbázisú mintaillesztés A dinamikus idővetemítés Statisztikai mintaillesztési módszerek A beszéd-szöveg átalakítás alapjai A beszédfelismerési feladat matematikai megfogalmazása Beszédfelismerés rejtett Markov-modellel Beszédhangalapú folyamatos beszédfelismerés Kontextusérzékeny beszédhangmodellek Mintaillesztési példa a Viterbi-algoritmus használatára A beszéd-szöveg átalakítás alapvető tudásforrásai Az akusztikai modellek betanítása A nyelvi modell készítése Statisztikai N-gram modellek Környezetfüggetlen nyelvtanok Zajtűrő beszédfelismerés Az átviteli csatorna hatását kompenzáló normalizációs eljárások Zajszűrő eljárások A beszélő személytől származó zajok kezelése Beszéd-nem beszéd detektálás Beszélőadaptáció Az artikulációs csatorna normalizálása Akusztikai adaptáció Akusztikai adaptáció lineáris transzformációval Maximum a posteriori adaptáció Nyelvi adaptáció

7 book 2010/9/9 14:36 page x #10 x 9.9. A prozódia szerepe a beszédfelismerésben Beszélőfelismerés Érzelemfelismerés Beszédfelismerés támogatása multimodális paraméterekkel A vizuális lényegkiemelés A vizuális és akusztikai modalitás integrálása Beszédfelismerők minősítése A beszéd gépi előállítása Kempelentől napjainkig Kötött szótáras beszédszintetizátorok Hangminőségi skála Tervezési tanácsok a jó hangminőség elérésére A kötött szótáras rendszerek tervezési folyamata Fonetikai elvű modell szám-, dátum-, időpont-, pénzösszegfelolvasáshoz Automatikus szövegfelolvasás A beszéd modellezése szintézishez Hangsúlymeghatározás a szöveg alapján Az alapfrekvencia-változásának szabály alapú modellezése A beszéddallam változatosságának statisztikai modellezése A beszéd időszerkezetének szabály alapú modellezése Komplex prozódiai modell Beszélő fej modellezése Érzelmi töltetű beszéd modellezése Az ortografikus magyar szöveg fonetikai átírásának gépi módszere A fonetikai átírás során kezelendő nyelvi jelenségek Eljárások a fonetikai átírás megállapítására Fonetikai átíró magyar nyelvre Ékezetek gépi helyreállítása Ékezetesítő eljárások A gépi szövegfelolvasók általános, elvi felépítése Formánsszintézis A MultiVox formánsszintetizátor szövegfelolvasáshoz Diád, triád hullámformák összefűzésén alapuló technológia A ProfiVox több hangú, szövegfelolvasó és fejlesztői rendszere Elemkiválasztás-alapú szövegfelolvasó A rejtett Markov-modell alapuló gépi szövegfelolvasás Érzelmes szövegfelolvasás Beszédszintetizátorok minősítése, szabványosítási javaslatok

8 book 2010/9/9 14:36 page xi #11 xi BESZÉDTECHNOLÓGIAI ALKALMAZÁSOK 11. Beszédinformációs rendszerek A beszédinformációs rendszerek fő építőelemei Emberi gépi dialógus A dialógus tervezése Az akusztikai arculat Az akusztikai arculat áttekintése Infokommunikációs szolgáltatások és az akusztikai arculat Az akusztikai arculat összetevői infokommunikációs szolgáltatásokban Az akusztikai arculatot meghatározó néhány szolgáltatás vizsgálata Példák a beszédtechnológia felhasználásának területeiről Beszédtömörítési megoldások a gyakorlatban Kódoló ajánlások A kódolók fejlődése Gépi beszédminősítés távközlési rendszerekben Hanganyag gyűjtése Szubjektív beszédminősítés Objektív beszédminősítő eljárások áttekintése Az objektív minősítő eljárás lépései Az objektív minősítő eljárások értékelése Telefonos és mobilos alkalmazások Telefonról elérhető e-levél felolvasó SMS-felolvasó vezetékes telefonra Mobiltelefonba épített SMS-felolvasó Automatikus szám szerinti tudakozó Gyógyszervonal, automatikus telefonos információs rendszer Automatikus, mobiltelefonos, helyfüggő kereső szolgáltatás Automatikus áru- és árlista-felolvasó Beszéddel vezérelt automatikus telefonközpontok Internetes alkalmazások Időjárás-előrejelzés írott szöveges és hangos modalitással Híradókereső internetes hang-videókeresés kulcsszavak alapján Szövegfelolvasás a webfordítás szinesítésére Közlekedési alkalmazások Vasútállomási utastájékoztató Diktálórendszerek

9 book 2010/9/9 14:36 page xii #12 xii Leletező beszédfelismerő Beszédtechnológia a vakok és gyengénlátók szolgálatában Képernyőolvasás Dramatizáló Hangoskönyvek Beszélő bankautomaták Navi-Speech beszélő navigátor látássérült gyalogosoknak Hallássérültek segítése beszédtechnológiával Beszédtanítás és beszédtechnológia Beszédoktató varázsdoboz Adatbázisok és modellezés Beszédoktatási módszertan a használathoz Beszédkommunikátor beszédsérültek segítésére Hallásmérés szintetikus beszéddel A Mondom-2000 beszédhallást ellenőrző eljárás Interfészek, szabványok, honlapok, programok VXML VoiceXML alkalmazásfejlesztés VoiceXML alapú alkalmazások Programozói interfész beszédtechnológiai alkalmazásokhoz (SAPI) Microsoft Speech API Java Speech API MRCP Intelligens beszédhang-időtartam mérő Glottalizáló program A könyvben szereplő honlapok beszédkutatáshoz, oktatáshoz, fejlesztésekhez, döntéshozatalhoz A beszédtechnológia jövője FÜGGELÉK A. Hangkapcsolatok A.1. CC hangkapcsolatok A.2. CCC hangkapcsolatok A.3. CCCC hangkapcsolatok A.4. CVC hangkapcsolatok spektrogramjai Hivatkozások

10 book 2010/9/9 14:36 page xiii #13 xiii Tárgymutató