A hanghullám heurisztikus megközelítése, különös tekintettel a német nyelv pszeudó-szegmentális hangszerkezetére. Problémák, módszer és adatok

Átírás

1 Pannon Egyetem Nyelvtudományi Doktori Iskola Interkulturális Nyelvészet: Kultúra Kommunikáció Nyelv Szöveg alprogram A doktori (Ph.D.) értekezés tézisei A hanghullám heurisztikus megközelítése, különös tekintettel a német nyelv pszeudó-szegmentális hangszerkezetére. Problémák, módszer és adatok Huszka Balázs Témavezető: Prof. Dr. Földes Csaba Veszprém 2010

2 1. A probléma háttere mint a téma raison d'être-je és a vizsgálat célkitűzése Ha fellapozzuk a kortikális álszegmentum-leképezések (n e u r é m á k ) aktuális beszédhangként (és általánosságban, beszédhangként), azaz a hangképző szervek közel azonos összformában végbemenő és ismétlődő kinetikus komplexumai (k i m é m á k ) akusztikai/részben null-akusztikai vetületébe (vö. BOLLA 1981: 17 k.; ld. az 1.1-es alfejezetet is) kódolt nyelvi információs struktúrák német vonatkozású szakirodalmát (ld. WÄNGLER , BOLLA/VALACZKAI és VALACZKAI 1998; hogy csak monográfiákat említsünk), a következő alapvető problémákkal találjuk szemben magunkat: 1. A beszédszervek specifikus beállításainak és együttmozgásának elsősorban röntgenképeken, palato-, linguo-, labiogramokon és sematikus ábrákon történő részletes bemutatása mellett a rendkívül összetett akusztikai folyamatokat kevésbé és 2. mindössze három paraméter, (i) a specifikus/relatív képzési idő, (ii) a frekvencia és (iii) az intenzitás mentén definiálták a kutatók. Olyan, a végleges hang-/zajkép szempontjából fontos összetevőknek mint elongáció, energia vagy harmonicitás (többek között) kevés figyelmet szenteltek. (Ezek többnyire csak képeken kerültek bemutatásra, mindenféle verbális kiértékelés nélkül.) (A fenti monográfiák közül az első kettő oktatási célokat is szolgált, ezért túlreprezentált az artikuláció bennük.) 3. Az e s e t l e g e s p e r c e p t u á l i s relevanciával bíró koartikulációs jelenségeknek (hangátmenetek, asszimilációk) (vö. WHALEN 1991 és GÓSY 1989, GÓSY 1995: 21 után) és 4. a hangtestben betöltött pozíciónak (szónyitó, szóközépi, szózáró, hangsúlyos/hangsúlytalan szótag [előtt és után]) és a kontextusnak (jelentőségükhöz mérten) eleddig szintén kevés figyelem jutott. 5. A pszeudó-szegmentumok akusztikai szerkezetének eddig publikált számszerű (és az azokból levezetett százalékos) értékei nem, vagy legalábbis nem eléggé dinamikusak, pedig a belső energetikai fluktuáció ezt mindenképpen megkívánná. Az eddigi közleményekben bemutatott dinamikus akusztikai regisztrátumok (oszcillogram, spektrogram stb.) nem tudnak m i n d e n, az idő függvényében történő lényeges szerkezeti változásról számot adni. A kvantumfizikából kölcsönzött HEISENBERGféle Határozatlansági reláció fonetikai interpretációja szerint ugyanis a frekvencia és az idő egyidejű jó felbontása nem lehetséges: 1 WÄNGLER, Hans-Heinrich (1976): Atlas deutscher Sprachlaute. 6. kiadás. Berlin. 2 BOLLA, Kálmán/VALACZKAI, László (1986): Német beszédhangok atlasza. A beszédhangok képzési és hangzási sajátságai. Budapest. (Magyar Fonetikai Füzetek/Hungarian Papers in Phonetics; 16). 1

3 h ΔΔ x p = h 1, illetve: ΔAΔB Aˆ, Bˆ. Az akusztikum nyelvi 4π 2 2 ψ információként való dekódolása során a recipiens agya azonban (vélhetőleg) a t e l j e s oszcillografikus rezgési statisztikát és a t e l j e s gördülő spektrogramot figyelembe veszi és transzformációk, valamint átlagok segítségével korrelációs függvényeket állít fel (vö. TARNÓCZY 1974: 181). Tehát mindenképpen fontos lenne, hogy manuálisan és minél pontosabban is beavatkozzunk az automatizált mérési folyamatokba, hogy a határozatlansági problémát legalábbis részben megoldjuk (és hogy képzés vetület érzékelés/dekódolás közötti korrelációhoz közelebb kerüljünk). 6. A jelenlegi mérési adatok birtokában a fiziológikum-akusztikum párnak csupán néhány korrelációs szabályát tudjuk felállítani. VALACZKAI (1993: 166) is hangot ad annak a véleményének, hogy [ ] eddig még nem sikerült az akusztikai regisztrátumok szegmentumait [ ] a beszédhanghullám-képzés fiziológiai oldala egyes fázisaihoz maradéktalanul hozzárendelni (saját fordításom [a német eredetiből], H.B.). A fentiek egyértelműen bizonyítják, hogy a pszeudószegmentumok képzésekor végbemenő rendkívül komplex folyamatok leírásának technológiája és a mérési adatok további pontosításra szorulnak. A jelen vizsgálat célja, hogy a fenti problémákra elméleti-metodológiai m e g o l d á s i j a v a s l a t o t kínáljon, a német nyelv beszédhanghulláma 23 magánhangzó-monoftongus pszeudó-szegmentum-típusának, azaz a [a, AÜ, å, E, EÜ, e, eü,, I, i, iü, O, o, oü, {, P, PÜ, U, u, uü, Y, y und yü] példáján szemléltetve. A 3. és 4. alapproblémával azonban a kézirat limitált terjedelme miatt sajnos itt sem tudunk foglalkozni. Magánhangzónak nevezzük azokat a pszeudószegmentumokat, amelyeket nyílt toldalékcsővel képzünk. A német nyelv magánhangzó-állományának vizsgálata mellett (és a mássalhangzók ellen) szolgál az az érv, hogy akusztikai regisztrátumaikon e g y é r t e l m ű en felismerhető g l o t t á l i s (a hangszalagok rezgése által előidézett) periódusok találhatók, amelyek a fiziológiai változások és akusztikai vetületük közötti ö s s z e f üggés ábrázolását lehetővé teszik (ld. a 6. alapproblémát). (Az olyan mássalhangzó-csoportok mint az explozívák, frikatívák és affrikáták akusztikai regisztrátumain a hangszalagrezgések e szabályossága, már ha zöngés pszeudó-szegmentumokról van szó, nem figyelhető meg.) Ebből kiindulva, a fenti magánhangzó-monoftongus pszeudó-szegmentumok akusztikai paramétereit, de leginkább azok időbeli, a glottális periódusok függvényében történő változásait mutatjuk be és mérjük. E képzésfiziológiai megközelítés lehetővé teszi a klasszikus (módszertanilag ma már idejétmúlt) eljárás 2

4 pontosítását is, amely a mérési pontok távolságát 10 milliszekundumban határozta meg (vö. VALACZKAI 1992 és OLASZY 1985, 1989) 3. Mindenképpen hangsúlyoznunk kell, hogy a dolgozatban bemutatott adatok nem a szerző elméletieskedését, öncélját szolgálják, hanem adalékok a fogyatékkal élők beszédnyelvi kommunikációjának megvalósításához (beszédszintetizátorok építése). 2. A kísérleti személy kiválasztása és a korpusz. Problémák és elvek Beszédnyelvi megnyilatkozások akusztikai szerkezetének pontos meghatározása zajszignálok kizárása mellett csupán egy ún. süketszobában (pl. egy rádió hangstúdiójában) lehetséges (vö. LINDNER 1969: 42). Egy ilyen térben a beszédfolyamatnak a beszélő részéről történő auditív kontrollja, azaz a visszacsatolás csak technikai eszközök közbecsatolásával lehetséges. Ez azonban nem természetes beszédszituáció és így a beszédprodukció természetességére is negatívan hathat. Ezektől a tényezőktől, legfőképpen a hanghullám-visszaverődés hiányától és annak technikai pótlásától azonban a képzett r á d i ó s b e s z é l ő k képesek függetleníteni magukat, hiszen ők ex offo hozzászoktak ahhoz, hogy a hangjukat fülhallgatón keresztül hallják. Továbbá, ők nem a Siebs-féle, színháztermek által igényelt erőteljesebb ejtést és túlfeszített artikulációt vagy dialektális hypertrópiákat követnek. A vizsgálat áttekinthetősége miatt, illetve az ehhez szükséges dinamikus akusztikai regisztrátumok közlése miatt csupán egy személytől származó adatok bemutatására van lehetőség; az ő kiválasztásánál fontos szempont volt, hogy a kiejtése (előzetes vizsgálatok alapján) alkalmas volt arra, hogy egy nagyobb tömegen, azaz a német beszédközösségen belül t e n d e n c i á k a t képviseljen. Leginkább a beszélő nemét és életkorát kellett figyelembe vennünk: (i) a női beszélők akusztikailag nehezen elemezhető hanggal rendelkeznek, legfőképpen a nagyfokú intonációs variabilitás miatt; (ii) az életkor a hangminőségért felelős, gondoljunk csak a tompa vagy rekedt időskori hangra. Ebből adódóan egy középkorú férfi beszélőt választottunk, akinek a kiejtését a GWddA-ban kodifikált variánssal folyamatosan egybevetettük. A kísérleti személy gondos megválasztásával garantáltuk a nyelvi típusalkotás érvényének lehetőségét (vö. HUSZKA 2006a). (i) A fentiekből adódóan a korpuszt (legalábbis először) érdemes volt egy terjedelmesebb rádiós anyagon definiálni. (ii) A szerző korábbi, eddig nem publikált vizsgálatai bizonyítják, hogy az emocionális színezetű beszéd (pl. vitaműsorok és riportok) akusztikailag különbözik a normál beszédtől. Így egy emocionálisan semleges hanganyagot választottunk: a Die Zeit nevű heti megjelenésű újság audio-kiadásának hírfelolvasásait. A 13 órás eredeti korpuszt a következő szavakra szűkítettük le: [a]: also, [AÜ]: aber, [å]: kühner, [E]: Ägypten, [EÜ]: geprägt, [e]: Evangelisten, [eü]: jeder, [ ]: eine, [I]: sich, 3 Miért 10 ms? Miért nem 5 vagy 15 ms? A mérési pontok távolságának e megválasztása szerintünk önkényes és minden ellenérv ellenére (10 ms-on belül nincsenek nagy energetikai változások) módszertanilag sem elégségesen indokolt. 3

5 [i]: imitiert, [iü]: sie, [O]: begonnen, [o]: voraus, [oü]: wo, [{]: köstlichsten, [P]: föderale, [PÜ]: Könige, [U]: Ulrich, [u]: zuerst, [uü]: Schule, [Y]: mündliche, [y]: embryonalen und [yü]: Überlieferung. A technikai paraméterek a következők: a letapogatási frekvencia Hz, a bitráta 16 Bit, egycsatornás (mono) felvétel a Sound Forge Pro 10.0a szoftverrel. A korpuszelemek szegmentálása ugyanezzel a programmal történt. A számítógép technikai paraméterei, amellyel a felvétel készült és amelyen a vizsgálatokat lefolytattuk: Acer Aspire 3050, AMD Mobile Sempron GHz, 512 MB ram, integrált hangkártyával. 3. A mérési eszköz Mérési eszközként az ingyenesen hozzáférhető Praat. Doing phonetics by computer (hollandul beszéd) programcsomag szolgált, amelyet nagyfokú megbízhatósága miatt számos kutatóintézet használ. A Praattal akusztikai szignálokat analizálhatunk, szintetizálhatunk és manipulálhatunk stb., illetve nagyfelbontású ábrákat készíthetünk szövegszerkesztőnk számára. A bonyolultabb műveletek manuális segítségre szorulnak; néhány esetben az előreprogramozott algoritmusok egyértelműen hibás eredményekkel szolgálnak ezekben az esetben az adatok útját lépésről-lépésre ellenőrizni kell. 4. A vizsgálati faktorok katalógusa (i) A relatív/specifikus képzési idő nemcsak hangkontextus-függő, de a(z elsősorban lelkiállapottól függő) beszédtempó is befolyásolja. A es alfejezetben bemutatott akkurátus korpusz-összeállítás segítségével azonban megállapítható egy elfogadható középérték. 4 A faktor jelölése (FZ): BD rs. Mérési egység (ME): ms (milliszekundum). A BD rs meghatározásakor az asszimilációkat nem vesszük figyelembe; a pszeudó-szegmentum határait ott helyezzük el, ahol az még önmagára jellemző hanghullámformát mutat. (ii) Az e l o n g á c i ó (kilengési amplitúdó az oszcillogramon, ld. az 1.1. alfejezetet) egy rezgés nullpontból történő maximális pozitív/negatív kilengése egy adott időpillanatban. FZ: A - /A +. Megvizsgáljuk ez utóbbi (ii/a) temporális elrendeződését (FZ: Lokang) a BD rs síkján; (ii/b) a számszerű értékeket pedig a könnyebb általánosíthatóság végett százalékoljuk. (iii) Az RMS 5 -amplitúdó az amplitúdó négyzetgyöke (azaz geometriai középértéke), amelyet a 4 Az erre a célra leginkább alkalmas statisztikai eljárások használata jóval túlmutatna e disszertáció keretein. 5 root mean square 4

6 következő formula segítségével számítunk ki: Csúcsérték. FZ: A rms. Az 2 ME minden amplitúdóra Pa (Pascal). A l e v e g ő ben mért hangenergiát, FZ: E idl, mint a potenciális és a mozgási energia összegét (azaz a rendszerben tárolt munkapotenciált) J/m²-ben (Joule per négyzetméter) adjuk meg. (v) A h a n g i n t e n z i t á s (másként hangerő), FZ: I, [ ] az az energiatömeg, amely egy 1 m 2 nagyságú, függőleges terjedési irányban található felületre szekundumonként érkezik (NEPPERT 1999: 57; saját fordításom [a német eredetiből], H.B.). Ennek megfelelően W/m²-ben (Watt per négyzetméter) mérjük. (vi) Az a b s z o l ú t h a n g t e l j e s í t m é n y s z i n t (a szakirodalomban sokszor tévesen hangnyomásszint) a(z időegységenként) leadott hangenergia logaritmikus nagysága; e vizsgálatban a null-/vonatkozási pontot N/m² (Newton per négyzetméter) változó nyomásnál, azaz alsó hallásküszöbnél 6 definiáljuk. (Mindazonáltal rá kell mutatnunk arra, hogy a decibel ahogy az a fenti vonatkozási pont meghatározásából is kiderül egy r e l a t í v egység: egy [tetszőleges] vonatkozási ponthoz képest mozgunk egy skálán, amelyet a vonatkozási pont többszöröseire osztunk fel. Elméletileg így lehetségesek negatív decibel-értékek is.) FZ: SLP. ME: db (SPL) 7 (decibel [SPL]). 2. Jitter alatt a hangszalagrezgések periodicitásának és annak akusztikai manifesztációja, az alapfrekvencia (ld. a 2.1-es alfejezetet) mikrovariációit értjük. Shimmer alatt az amplitúdó mikrovariációit értjük. TITZÉRE (1988, 1994, 1995) való hivatkozással FREIENSTEIN (2000: 8) a mikrovariációk jelenségét a következőképpen magyarázza: Hogy az áramlás mozgási energiájából a nettó energia átkerüljön a rezgésre, a két zár közötti intraglottális nyomás az idő függvényében aszimmetriát kell, hogy mutasson. Ezt az aszimmetriát két különböző mechanizmus idézheti elő: a megmozgatott légoszlop tehetetlensége és a nem azonos rezgési módok. A nem azonos rezgési mód úgy jön létre, hogy a hangszalagtest (body) rezgését felülírja egy, a nyálkahártyában futó hullám, amely a hangszalagot összerántja (cover) (saját fordításom [a német eredetiből], H.B.). A vizsgálandó pszeudó-szegmentumok (relatíve) rövid BD rs -éből adódóan a méréseket rövid idejű frekvencia- és amplitúdó-perturbációkkal végeztük. A százalékos értékek az alapfrekvencia középértékével elosztott alapfrekvencia standard eltéréseit (j i t t e r ), illetve az amplitúdó középértékével elosztott amplitúdó standard eltéréseit (s h i m m e r ) jelölik. (i) J i t t e r ( l o c a l ) konszekutív periódusidők abszolút 6 ~ Pa-t (referencianyomás) jelent, ami egy 1000 Hz-es színuszhullám normatív hallásküszöbe. Normatív abban az értelemben, hogy empirikus-statisztikai vizsgálatokkal, nagyszámú és egészséges hallószervvel rendelkező fiatal kísérleti személyen határozták meg. 7 sound pressure level 5

7 különbségének középértéke elosztva a periódusidők középértékével. FZ: Jitt. ME: %. (ii) Jitter (local, absolute) a konszekutív periódusidők abszolút különbségének középértéke. FZ: Jita. ME: s. (iii) Jitter (rap) 8 : Jitt három periódusra. FZ: J rap. ME: %. (iv) Jitter (ppq5) 9 : Jitt öt periódusra. FZ: J ppq5. ME: %. (v) Shimmer ( l o c a l ) konszekutív periódus-amplitúdók abszolút különbségének középértéke elosztva a periódus-amplitúdók középértékével. FZ: Shim. ME: %. (vi) S h i m m e r ( l o c a l, d B ) konszekutív periódusamplitúdók abszolút különbségének középértéke. FZ: ShdB. ME: db. (vii) Shimmer (apq3): Shim három periódusra. FZ: S ppq3. ME: %. (viii) ppq5 Shimmer (apq5): Shim öt periódusra. FZ: S. ME: %. Ezeket az értékeket a szoftver számolja! 3. Harmonicitás alatt per definitonem az akusztikai periodicitás mértékét, azaz a harmonikus és zörejkomponensek közötti energia-eloszlást értjük nullpontként 0 db szolgál, amely egyenlő energia-eloszlást jelent és minél nagyobb ez az érték, annál harmonikusabb a pszeudó-szegmentum és a képzése. Itt a statisztikai középértéket annál zörejszegényebb (HGR MW, db) adjuk meg. 4. Az egyes pszeudó-szegmentumokhoz köthető alapfrekvencia (F 0 ) specifikuma a laryngális (gégefő-) izomzatban létrejövő, különböző nyelvállások által előidézett feszültségváltozásoknak, illetve a pszeudószegmentumokként különböző légáramnak köszönhető. Mivel mind F 0, mind amplitúdója is változhat interszegmentálisan (azaz egy pszeudószegmentumon belül), (i) a minimumot (F min 0 ) és (ii) a maximumot (F max 0 ) is megadjuk, illetve (iii) temporális elrendeződésüket (ms-ban) és (iv) százalékos értéküket a BD rs -vel való egybevetésben. Kiszámítjuk továbbá min max F0min (v) + (vi) a F -hoz és az F 0 -hoz tartozó amplitúdókat (A 0 és 0 A 0 F0max ) is. 5. A formánsok (F) adatait (ld. a 2.1-es alfejezetet) spektrogramokkal (ZVS) és az erre a célra integrált szoftverfunkcióval, illetve manuálisan, spektrális szekciók (ss) segítségével nyerjük. A ZVS egy kvázi-térbeli hangábrázolási mód: az ordináta a frekvenciát, a szekundumonkénti rezgésszámot, ME Hz, az abszcissza az időtengelyt, ME ms, az aplikáta (mint a feketeség mértéke a regisztrátumokon) az amplitúdót képezi le, ME db. A ZVS segítségével megállapítható az egyes frekvenciaterületekhez tartozó amplitúdó-viszonyok alakulása az idő függvényében. A (horizontálisan fekvő) sötét csíkok az F-ek. Az ss a ZVS egy metszete (angolul cross section); az ordináta az amplitúdót, ME db, az abszcissza a frekvenciát, ME Hz, képezi le. (Az idősík itt természetesen eltűnik!) Az ss-ek segítségével meghatározható az egyes F-ekhez tartozó pontos 8 relative average perturbation 9 period perturbation quotient 6

8 amplitúdó-érték. Az első két F nem beszélőfüggő (vö.. KASSAI 1998: 72) és őket ismerve a pszeudó-szegmentum már identifikálható (azaz általános nyelvi információt hordoznak); a harmadik F már csupán a hangképen kerekít. (i) A formánsok FZ-i: F 1, 2, 3, ME Hz; (ii) a hozzájuk tartozó amplitúdók FZ-i: A 1, 2, 3, ME db. Mind F 1, 2, 3 -at, mind A 1, 2, 3 -at megmérjük minden glottális periódusban. Az összefoglaló táblázatokban terjedelmi okok miatt csupán A 1, 2, 3 legintenzívebb értékeit vonultatjuk fel a hozzájuk tartozó F 1, 2, 3 -mal; a részletes adatokat függvényeken mutatjuk be és a függelékben, az egyes glottális periódusokról készült regisztrátumok alatt számszerűen közöljük. E tézisfüzet mellékletében található egy analízisminta; a csatolt regisztrátumok és mérési tablók a következők: 1. Az e l s ő oldal összesített regisztrátumán a szó dinamikus akusztikai regisztrátumai tekinthetők meg, amelyből a pszeudó-szegmentumot kimetszettük e regisztrátumok a hangkörnyezet bemutatása/a megelőző és a követő konstituensekkel való egybevetés miatt fontos. Az első regisztrátum az oszcillogramot és az SPL-menetet ábrázolja; a második a HGR-menetet; a harmadik az F 0 - menetet, a negyedik a ZVS-t. Hogy az analízisablak elején/végén is v a l ó s értékeket kapjunk, egy 50 ms hosszúságú üres ablakot adunk hozzá az ablakszélekhez. 2. Az második oldal összesített regisztrátumán a pszeudó-szegmentum dinamikus akusztikai regisztrátumait lehet megtekinteni. Az ábrázolási mód ugyanaz, mint fentebb, avval a különbséggel, hogy az üres ablak hossza itt csupán 25 ms. 3. A h a r m a d i k o l d a l o n ismét a pszeudó-szegmentum regisztrátumait lehet megtekinteni; ezek F 1, 2, 3 -at és A 1, 2, 3 -at stilizált (azonos hosszúságú) glottális periódusok függvényében mutatják be, egymás alatti elrendezésben. 4. A n e g y e d i k o l d a l o n a mérési tablók találhatók; vizsgálati faktorok katalógusában elfoglalt helyre utalnak. az indexek a 5. Az ö t ö d i k o l d a l t ó l minden glottális periódus oszcillogramja és egy olyan oszcillogram ( pszeudó-glottogram ) kerül bemutatásra, amely csupán a 75 és 150 Hz közötti frekvenciatartományt, azaz a glottis síkján képzett hang (zönge) rezgésformáját modellálja. A pszeudóglottogramot a regisztrátumokon szaggatott vonallal jelenítjük meg. Minden glottális periódus ss-eit (0 50 db/ Hz), F 1, 2, 3 és A 1, 2, 3 értékeit is ugyanitt mutatjuk be. 7

9 5. Összefoglalás és eredmények Jelen dolgozat t á r g y a, a pszeudó-szegmentum (PS) (régebbi terminológia szerint: beszédhang) olyan nem-szubszisztens (azaz nem önmagában, csupán mások által definiáltan létező) entitás, amely nyelvi információtartalmát a hangszövedék (ném. Schallgeflecht) őt megelőző ill. követő (és szerkezetileg diverz) entitásaival történő egybevetésből nyeri. A PS fiziológiailag a beszédszervek kimémáival, azaz approximatíve azonos összformában végbemenő kommunikációs célzatú izommozgásaival, akusztikailag ez utóbbiak hangi/nullhangi vetületeivel azonos. A mérések t á r g y a l e s z ű kítve a német nyelv magánhangzó -rendszerének 23 monoftongusa. A dolgozat c é l j a, (i) hogy a korábbi a fiziológiai báziskomponenst (a glottális [= hangrési] periódusidőket) dinamikájában figyelmen kívül hagyó ill. tetszőleges (és nem indokolt nagyságú) hangszeleteket alkalmazó módszereket (pl. VALACZKAI 1998) pontosítsa ill. (ii) azok faktorait bővítse (elongáció, glottális periódusidők/- amplitúdók perturbációi, egzakt formánsmag-mozgások [és nem középfrekvenciák], temporális lokalizációk etc.). A m ó d s z e r szigorúan természettudományos: az adatokat egybevető regisztrátumokon és mérési tablókon tesszük közzé, majd verbalizáljuk őket. A dolgozat e r e d m é n y e a német nyelv magánhangzó -rendszerének 23 monoftongusa akusztikai szerkezetének minden eddiginél részletesebb, fiziológiai-akusztikai korrelációhálóban történő leírása, amely lehetővé teszi (i) a fonológiai rendszer oppozícióinak (a beszédpercepció szempontjából releváns elemekkel [azaz akusztikai folyamattényezőkkel] történő) újragondolását ill. (ii) a beszédszintetizálási eljárások finomítását. 8

10 University of Pannonia PhD-School of Linguistics Intercultural Linguistics: Culture Communication Language Text Thesis booklet in addition to the doctoral thesis A Heuristic Approach to Dynamics of the Sound Structure, Especially of the German Pseudosegmentalia. Problems, Method and Data submitted by Balázs Huszka Supervisor: Prof. Dr. Csaba Földes Veszprém

11 1 Problem background as raison d être of the subject and aims of the investigation If one leafs through the G e r m a n - r e l a t e d specialist literature on the realization of cortical pseudo-segment (PS) representations (n e u r e m e s ) as actual speech sounds (or as speech sounds in genere), i.e. as information structures coded in acoustic/partially non-acoustic correlates (a k u s e m e s ) of quasistereotypical (in form of rough similarity) assembled, executed and repeated kinetic complexes (k i m e m e s ) of the speech organs (cf. BOLLA 1981: 17 f.; s. also chapter 1.1 in the thesis) (s. WÄNGLER , BOLLA/VALACZKAI and VALACZKAI 1998; only monographs being mentioned), one may see himself being confronted with the following basic problems: 1. Beside the detailed representation of specific calibrations and constellations of the speech organs (primarily) in X-ray images, palato-, linguo-, labiograms and schematized pictures, the highly complex acoustic processes are lesser or 2. on the basis of only 3 parameters, (i) specific/relative duration, (ii) frequency and (iii) intensity defined. Such, for forming the definitive (noise) sound significant components like elongation, energy or harmonicity etc. are less (i.e. partly in diagrams, not verbalized) or for the most part no at all represented. (The first 2 of the monographs mentioned above should have served [also] teaching purposes, hence the very representation of the articulation.) 3. To coarticulatory phenomena (sound transitions, assimilations), having a p o s s i b l e perceptual (cf. WHALEN 1991 and GÓSY 1989, after GÓSY 1995: 21) relevance, and 4. to the position (initial, medial, final, [before/after] the stresses/unstressed syllable etc.) and to the context in the sound body, likewise, only a little attention is paid (compared to their weightiness). 5. Numerical (and derived percentage) values of the pseudo-segments acoustic structure, being published until now, are not or at least not enough dynamic; however, the internal energetic fluctuation would require it. The dynamic acoustic diagrams presented (oscillogram, spectrogram etc.) are not able to show e v e r y considerable structural changes as time function according to the phonetic interpretation of HEISENBERG s Uncertainty Principle (as borrowed from the quantum physics), a simultaneous good resolution of frequency and time is 10 WÄNGLER, Hans-Heinrich (1976): Atlas deutscher Sprachlaute. 6. Auflage. Berlin. 11 BOLLA, Kálmán/VALACZKAI, László (1986): Német beszédhangok atlasza. A beszédhangok képzési és hangzási sajátságai. Budapest. (Magyar Fonetikai Füzetek/Hungarian Papers in Phonetics; 16). 10

12 h impossible: ΔxΔp = h 1, furthermore ΔAΔB Aˆ, Bˆ. 4π 2 2 ψ However, while decoding the acoustic structure as linguistic information, the recipient s brain (probably) considers the e n t i r e oscillographic vibration statistics and the e n t i r e rolling spectrogram, and, by means of transformations and means, it devises correlation functions (cf. TARNÓCZY 1974: 181). Anyway, a manual and highly precise intervention in automated measurement processes is/would be appropriate to solve the resolution problem, at least partly (and, therefore, to come nearer to the correlation of production emission detection/decoding). 6. Knowing the previous measurement data, the drafting of only certain correlation rules of physiology acoustics is possible. Even VALACZKAI (1993: 166) is in the opinion, that the completely reliable assignation of particular phases of the sound s physiological production to the segments on the acoustic diagrams has not succeeded yet (my translation [from the German original], B.H.). This is a further evidence of the necessary development of highly complex pseudo-segment production processes analyzing technology and of measurement data. The analysis submitted here aims to give a proposed theoretical-method(olog)ical solution to the problems raised above, on the example of the 23 single vowel pseudo-segments as German speech sounds, i.e. of [a, AÜ, å, E, EÜ, e, eü,, I, i, iü, O, o, oü, {, P, PÜ, U, u, uü, Y, y and yü], d y n a m i c acoustic analysis, with the reservation that basic problems 3 and 4 here due to the manuscript s limited scope are also not to be treated. Vowels are pseudo-segments that are produced with open speech tract. For analyse of the German vowel monophtongs, but not of consonants, speaks the argument that on their acoustic diagrams, c l e a r l y recognizable glottal (by the vibration of the vocal folds caused) p e r i o d s are to be found that make the presentation of the connection between physiological changes and their acoustic projection possible (s. basic problem 6). (On the acoustic diagrams of consonantal groups like explosives, fricatives and affricates, this regularity in vocal fold vibrations, if any [i.e. in case of they are voiced], is not to be observed!) Accordingly, the acoustic parameters of the vocalic-monophtongic PS above and their temporal changes will be presented and measured in dependence on glottal periods. This production physiology-based account enables also the replacement of the classical (methodologically today rather antiquated 12 ) account of 10 milliseconds (cf. VALACZKAI 1992 und OLASZY 1985, 1989). Certainly, it should be emphasized that the measurement data to be published in spe here does not end in itself as a theoretical purpose of the author, 12 Why 10 ms? Why not 5 or 15 ms? The selection of the measurement points is arbitrary and despite all counter-arguments (i.e. in 10 ms, there are no m a j o r energetic fluctuations it is methodologically only weak-founded. 11

13 but it should contribute (also) to enable the linguistic communication of the handicapped (construction of speech synthesizers). 2 Choosing the experimental subject and corpus. Considerations and principles To investigate the acoustic character of linguistic utterances without being disturbed by other signals is only possible in a reflection-free and sound-absorbing room (e.g. like in a radio studio) (cf. LINDNER 1969: 42). In such a room, the auditory control of speech processes, i.e. the feedback by the speaker could only take place by inserting technical appliances. However, this is not usual in ordinary speech situations and it could have a negative effect on the naturalness of speech production. Skilled r a d i o s p e a k e r s could ex offo be unaffected by these circumstances, mainly by the absence of reflexion sound, as they are accustomed to listening to their own voice via headphones. Furthermore, they do not make use of a stronger pronunciation as required by large theatre halls or of the exaggerated articulation of SIEBS or of dialectal hypertrophies. Because of the transparency of the analysis and the for it necessary publication of dynamic acoustic diagrams, respectively, only one experimental subject s data can be presented here; to its selection, it could be applied that after previous examinations, it was capable of representing t e n d e n c i e s within a bigger population, i.e. the German language community. (i) Female speakers voice is hard to analyse, primarily due to the extreme variability in intonation; (ii) factor age is for the sound quality responsible, one should think about the rough or hoarse voices of the old. Accordingly, a middle-aged male speaker had been chosen whose pronunciation had continuously been compared to the codified one in GwddA 13. By this careful selection of the experiment subject, the possibility of a linguistically valid type formation is guaranteed (cf. HUSZKA 2006). (i) Because of the backgrounds discussed above, it was recommendable to define the corpus on an (at least for the first time) extensive radio material. (ii) Previous (until now not yet published) investigations of mine showed that emotional speeches (e.g. debates and reports) show acoustic peculiarities. As a result of this, an emotional neutral sound material was chosen: the news read in the audio edition of the weekly newspaper Die Zeit. The original corpus was of 13 hours and it was narrowed down to the following words: [a]: also, [AÜ]: aber, [å]: kühner, [E]: Ägypten, [EÜ]: geprägt, [e]: Evangelisten, [eü]: jeder, [ ]: eine, [I]: sich, [i]: imitiert, [iü]: sie, [O]: begonnen, [o]: voraus, [oü]: wo, [{]: köstlichsten, [P]: föderale, [PÜ]: Könige, [U]: Ulrich, [u]: zuerst, [uü]: Schule, [Y]: mündliche, [y]: embryonalen und [yü]: Überlieferung. 13 KRECH, Eva-Maria/KURKA, Eduard/STELZIG, Helmut et al. (Hrsg.) (1982): Großes Wörterbuch der deutschen Aussprache. Leipzig. 12

14 The technical parameters are as follows: sampling rate Hz, bit rate 16 bit, mono recording done with the software Sound Forge Pro 10.0a. The segmenting of the corpus elements was done also with the software mentioned. Technical parameters of the recording and analysing computer: Acer Aspire 3050, AMD Mobile Sempron GHz, 512 MB ram with an integrated sound card. 3 The measuring instrument As measuring instrument served the freeware software package Praat. Doing phonetics by computer (Dutch. speech), that is, because of its high reliability, being used by many research institutions. With Praat, one can analyse, synthesise and manipulate etc. acoustic signals and make diagrams of high resolution for text processing softwares. More complex operations require manual assistance; in some cases, the pre-programmed algorithms provide clearly false results in these cases, the way of data results should be checked step by step. If the calibration deviates from the original, modifications are always noted. 4 Factor catalogue of the investigation 1. (i) The relative/specific duration is pending not only on the sound context, but it is also affected by the tempo of the speech (that is pending primarily on the state of feeling). However (with reservations), by the accurate corpus choosing, an acceptable mean value can be calculated. 14 Factor sign (FS): BD rs. Unit of measurement (UM): ms (millisecond). While measuring BD rs, assimilations are not to be taken into account; dividing lines of the PS are to be set there, where it already shows the characteristic wave form! (ii) The elongation (i.e. amplitude of the oscillations on the oscillogram, s. chapter 1.1 in the thesis) is the positive/negative maximal swing from the neutral position at a moment. FS: A - /A +. To be examined are (ii/a) also their temporal positions (FS: Lokang) compared to BD rs (FS: im Verh. zur BD rs ); (ii/b) for generalization, the numerical values were converted into percentages. (iii) The RMS amplitude is the square root (i.e. the geometrical mean) peak of the amplitude, which is defined as. FS: A rms. The UM of all 2 amplitudes is Pa (Pascal). (iv) The s o u n d e n e r g y as the sum of potential and kinetic energy (i.e. work potential stored in the system) i n the air, FS: E idl, will be reported in J/m² (joule per square metre). (v) The sound intensity, FZ: I, is [ ] the amount of energy that per 14 Statistical methods, being excellently suitable for this purpose, would go beyond the scope of this thesis. 13

15 second, vertically spreading arrives to an area of 1 m 2 (NEPPERT 1999: 57; my translation [from the German original], B.H.). Accordingly, it will be measured in W/m² (watt per square metre). (vi) The a b s o l u t e sound power (in the technical literature, often mistakenly sound pressure) is the logarithmic quantity of the sound energy (submitted per time unit); in this investigation, the zero/reference point had been fixed at a pressure of N/m² (Newton per square metre), i.e. at the lower auditory threshold level 15. (It should be pointed out, that decibel as it emerges from setting a reference point as well is a r e l a t i v e unit: against a/any reference point, we move on a scale, of which dividing corresponds to the multiplied reference point. Theoretically, that is why negative decibel values are also possible.) FS: SLP. MU: db (SPL) 16 (decibel [SPL]). 2. By jitter, we understand micro variations in the periodicity of the vocal folds vibrations and in their acoustic manifestation, the pitch (s. chapter 2.1 in the thesis). By shimmer, we understand micro variations in the amplitude. Supporting TITZE (1988, 1994, 1995), FREIENSTEIN (2000: 8) discusses the phenomenon of the micro variations as follows: To ensure a net energy carry-over from the kinetic energy of the stream to the swinging, the temporal intraglottal pressure course should show an asymmetry between 2 closing phases. This asymmetry can be caused by 2 different mechanisms: inertia of the air column moved or by not regular vibration modi. Not regular vibration modi result from the superposition of the vibration of the vocal fold s body by an impulse in the mucous membrane that covers the vocal fold (my translation [from the German original], B.H.). Because of the (relatively) short nature of the PS BD rs to be examined, the measurements will be taken on s h o r t - p e r i o d f r e q u e n c y and short-period amplitude perturbations. The percent values represent the standard deviation of pitch divided by the mean pitch (jitter) and the standard deviation of amplitude divided by the mean amplitude (s h i m m e r ). (i) J i t t e r ( l o c a l ) is the average absolute difference between consecutive periods, divided by the average period. FS: Jitt. MU: %. (ii) Jitter (local, absolute) is the average absolute difference between consecutive periods. FS: Jita. MU: s. (iii) Jitter (rap) 17 : Jitt subsided on 3 periods. FS: J rap. MU: %. (iv) Jitter (ppq5) 18 : Jitt subsided on 5 periods. FS: J ppq5. MU: %. (v) S h i m m e r ( l o c a l ) is the average absolute difference between the 15 ~ complies with Pa (reference pressure), the normative lower auditory threshold level for a sine wave of 1000 Hz. Normative as it had been determined and was laid down through empirical-statistical investigations on a bigger number of normal young hearers. 16 sound pressure level 17 relative average perturbation 18 period perturbation quotient 14

16 amplitudes of consecutive periods, divided by the average amplitude. FS: Shim. MU: %. (vi) S h i m m e r ( l o c a l, d B ) is the average absolute difference of consecutive amplitudes. FS: ShdB. MU: db. (vii) Shimmer (apq3): Shim subsided on 3 periods. FS: S ppq3. MU: %. (viii) S h i m m e r ( a pq5): Shim subsided on 5 periods. FS: S ppq5. MU: %. These values will be measured mechanically! 3. Harmonicity represents per definitionem the degree of acoustic periodicity, i.e. the energy distribution between harmonic and noise components 0 db is be considered to be the zero point, the bigger is this value the more harmonic is the pseudo-segment and the lower noise level has its production. The statistic mean will be given (HGR MW, in db). 4. The specific characteristic of the speech segments pitch (F 0 ) is due tension changes in the laryngeal musculature caused by diverse tongue positions and to for every PS diverse air stream while being produced. As F 0 and its amplitude as well can vary also intersegmental (PS-intern), (i) the minimum (F min 0 ) and (ii) the maximum (F max 0 ) and (iii) their temporal positions/(iv) compared to BD rs will also be given. (v) + (vi) The amplitudes (A F0min 0 and A F0max 0 ) belonging to F min 0 and F max 0 will also be measured. 5. Formants (F) (s. chapter 2.1 in the thesis) will be measured with the help of spectrograms (ZVS) und of a software function integrated for this purpose and manually, with the help of stationary spectra (ss) as well. ZVS is a quasi-three-dimensional sound representation: the ordinate shows the frequency, the number of vibrations per second, MU is Hz; the abscissa is the time axis, MU is Hz; the aplicate (as the grade of blackening on the diagrams) shows the amplitude, MU is db. With the help of ZVS, the amplitude ratios belonging to the frequency areas can be measured as a function of time. The (horizontally laying) black strokes are the Fs. ss is a cross-section of ZVS; the ordinate shows the amplitude, MU is db; the abscissa is the frequency, the MU is Hz. (Of course, the time axis will be omitted here!) With the help of sss, one can measure the amplitudes belonging to the Fs. The first 2 Fs are not speaker specific (cf. KASSAI 1998: 72) and one their base, one can identify the PS (i.e. they deposit the general linguistic information); the third F round only the sound off. (i) Their FSs are F 1, 2, 3 and MU is Hz; FSs of (ii) the amplitudes belonging to them are A 1, 2, 3 and die MU is db. Both F 1, 2, 3 and A 1, 2, 3 as well will be measured in every glottal period in the summarizing tableaus, due to limitations of space, only the most intensive value of A 1, 2, 3 and F 1, 2, 3 belonging to them will be presented; the detailed data will be showed in functions and numerically in the appendix of the thesis, under the diagrams of the glottal periods. 15

17 In the appendix of this thesis booklet, one measurement example is to be found; the produced diagrams and measurement tableaus are as follows: 1. On the group diagram on the first page, the dynamic acoustic diagram of the w o r d, of that the PS was cut off, will be shown they are important because of the representation of the sound surroundings/comparison to the preceding/following constituents. The first diagram is the oscillogram with the SLP-time-function, the second the HGR-time-function, the third the F 0 -time-function, the fourth the ZVS. To get real values also at he end of the analyse frames, an empty frame of 50 ms had been added to the borders. 2. On the group diagram on the second page, the dynamic acoustic diagram of the PS will be shown. The way of presentation is like above, with the reservation that the duration of the empty frame is only 25 ms. 3. O n t h e t h i r d p a g e, dynamic acoustic diagrams of the PS will be presented again; they show F 1, 2, 3 and A 1, 2, 3 as functions of stylized glottal periods (i.e. of the same duration), one below the other. 4. O n t h e f o u r t h p a g e, the measurement tableaus are to be found; the indexes refer to the corresponding points in the factor catalogue of the investigation. 5. F r o m t h e f i f t h p a g e, the oscillogram of every glottal period, the pseudo-glottogram (that represents only the frequency area Hz), i.e. the model of the sound produced on the level of glottis (in the diagrams marked as dotted lines!), the sss (0 50 db/ Hz) and the numerical values of F 1, 2, 3 and A 1, 2, 3 in every glottal period. 5 Summary and results The s u b j e c t of this thesis submitted is the pseudo-segment (PS) (or speech sound, as referred in a terminology of old) is a non-subsistent (i.e. not self-existent, but only by others defined) entity that gains its linguistic information content by the confrontation with preceding/subsequent (structural diverse) entities in the sound tangle (Germ. Schallgeflecht) Physiologically, PS is identical with the kimemes of the speech organs, i.e. with muscular movements in the approximately same total form for the purposes of communication; acoustically, with the sound/zero-sound projection of the above. The restricted s u b j e c t of the measurements is the 23 monophtongs of the German vowel system. The a i m of this thesis is (i) to refine the earlier methods (e.g. VALACZKAI 1998) which, in their dynamics, did not consider the physiological base component (glottal period durations) and that were using arbitrary (and unfounded) segments and (ii) to enlarge the number of the factors to be examined (elongation, perturbations in glottal period durations/amplitudes, exact formant core motions [but not central frequencies], temporal localizations etc.). The m e t h o d is strictly of scientific nature: the data will be shown in contrastive diagrams and measuring tableaus which are 16

18 followed by their interpretation. The r e s u l t of this thesis is the most detailed description of the acoustic structure of the 23 monophtongs of the German vowel system ever, in a net of physiological-acoustical correlations, that will enable (i) the rethinking of phonological oppositions (regarding to their perceptual relevance [i.e. based on acoustic processes factors) and (ii) the improvements of speech synthesis processes. Irodalomjegyzék/Literature BOLLA, Kálmán (1981): Az amerikai angol beszédhangok atlasza. Budapest. (Magyar Fonetikai Füzetek/Hungarian Papers in Phonetics; 9). FREIENSTEIN, Heiko (2000): Vokaltraktmodellbasierte Schätzung von Steuerparametern eines Moduls zur Sprechernormalisierung. Göttingen. (Unveröffentlichte Doktorarbeit/Unpublished doctoral thesis). GÓSY, Mária (1995): Szükséges és szükségtelen hangátmenetek. In: GÓSY, Mária (Hrsg./ed.): Beszédkutatás. A Beszédkutatás 95 konferencia válogatott tanulmányai. Budapest. S./Pp HUSZKA, Balázs (2006): Heuristischer Zugriff auf die Dynamik des Sprechschalls [...]. In: GÁRGYÁN,Gabriella/HUM, Rozália/MOLNÁR, Petra (Hrsg./eds.): Linguistische Beiträge ungarischer Nachwuchsgermanisten. Referate der II. linguistischen Tagung ungarischer Nachwuchsgermanisten an der Universität Szeged am November 2005 [sic!]. Szeged. (Acta Germanica; 11). S./Pp OLASZY, Gábor (1985): A magyar beszéd leggyakoribb hangsorépítő elemeinek szerkezete és szintézise. A számítógépes beszédelőállítás néhány kérdése. Budapest. (Nyelvtudományi értekezések; 121). OLASZY, Gábor (1989): Elektronikus beszédelőállítás. A magyar beszéd akusztikája és formánsszintézise. Budapest. TARNÓCZY, Tamás (1974): A magánhangzók akusztikai vizsgálatának problémái. In: Általános nyelvészeti tanulmányok 10. A nyelv hangdomíniuma. S./Pp VALACZKAI, László (1992): Theoretische Probleme und praktische Darstellung der akustischen Projektion der Artikulation. In: Jahrbuch der ungarischen Germanistik. Budapest/Bonn. S./Pp VALACZKAI, László (1993): Zur komplexen physiologischen und akustischen Typologie der deutschen Verschlußlaute. In: FÖLDES, Csaba (Hrsg./ed.): Germanistik und Deutschlehrerausbildung. Festschrift zum hundertsten Jahrestag der Gründung des Lehrstuhls für deutsche Sprache und Literatur an der Pädagogischen Hochschule Szeged. Szeged/Wien. S./Pp VALACZKAI, László (1998): Atlas deutscher Sprachlaute. Instrumentalphonetische Untersuchung der Realisierung deutscher Phoneme als Sprechlaute. Wien. 17

19 18

20 19