Beszédészlelés 1: Beszédpercepció. A beszédpercepció helye a beszédmegértési folyamatban

Átírás

1 Beszédészlelés 1: Beszédpercepció A beszédpercepció helye a beszédmegértési folyamatban

2 A beszéd reprezentációja Akusztikus (obj) a frekvencia és intenzitás (változása) az időben Artikulációs (obj) artikulációs mozgások az időben (észlelési szempontból indirekt --?) Auditív/érzeti/észleleti (szubj) alaphang (pitch), hangszín, spektrális és temporális (spektro-temporális) jegyek észlelete Fonetikai jegyek artikulációs vagy absztrakt (nyelvi) jellemzők Fonémák szegmentumok, a beszédhangok nyelvspecifikus reprezentációi (mi fonéma? zöngés - zöngétlen ); nyelvi funkció (jelentésmegkülönböztető szerep) Morfémák önálló jelentéssel bíró egységek Szótag 1 fonéma vagy fonémák sorozata Szó fonémák vagy szótagok sorozata

3 A beszédpercepció helye a beszédmegértési folyamatban A hangingerek átalakítása nyelvi információvá -- nyelvi jelek elérése, azaz nyelvi észlelés. Artikulációs fonetika Pszicholingvisztika Akusztikus fonetika Percepciós fonetika Pszicholingvisztika

4 A beszédészlelés vagy beszédpercepció A nyelvi tudás hatása és a nyelvi megértés folyamatai KIMENET: A nyelvi egységek (legmagasabb: szavak) aktiválása/ előhívása Top-down: A nyelvi ismeretek hatása HALLÁSI és ÉSZLELÉS LÁTÁSI BEMENET: Artikulációs és akusztikai információ, azaz fonetikai információ Bottom-up: A bemeneti ingerek

5 Szükséges háttérismeretek Hallási észlelés: A percepció megértéséhez szükséges ismernünk a hallórendszert és a hallási folyamatok működését Kognitív működések: A beszédpercepció specifikus folyamat és/vagy(?) alapvető kognitív folyamat (memória, figyelem, kategorizáció)

6 Szükséges háttérismeretek Beszédprodukció Mi és hogyan hat a beszéd megvalósulására? szükséges ismernünk az artikulációs működéseket szükséges ismernünk a beszéd akusztikai szerkezetét Miért? ezeket manipuláljuk ill. korreláltatjuk az észleléssel az észlelés kutatásában (keressük az észlelés akusztikus és artikulációs kulcsait ) + ezek alapos ismerete betekintést ad a percepcióba is. Miért és hogyan?

7 Hogyan segíti a produkció ismerete a percepciós működések megértését és leírását? Testméretek eltérései F-értékek eltérései nem tételezzük fel azt, hogy a formánsok abszolút értéke számítana a V minőségek észlelésben Egyéni (eltérő) beszédtempók nem tételezzük fel, hogy a beszédhangok abszolút időtartama számít a V hosszúság észlelésében Ha feltesszük, hogy beszédhangméretű és egymást lineárisan követő fonémák vannak a produkcióban, ezeknek az észlelését és a lineáris észlelésüket vizsgáljuk (lsd majd pl COHORT modell!) ha úgy látjuk, hogy van koartikuláció, ill. a fonémának (sőt a szegmentumoknak!) nincs egyértelmű bizonyítéka a produkcióban, más lehet a helyzet

8 Miért vizsgáljuk a beszédpercepciót? A percepciós vizsgálatok kezdete és fellendülése Eleinte (az elméleti nyelvészetben) a szegmentumok léte és a lineáris szerveződés tényként kezelt a percepció egyszerű remapping: fonéma fonémának megfelelő egység a beszédben Bell Laboratories, 1945 (Ralph Potter, Kersta): spektrográfia feltalálása a fonéma, valamint biz. értelemben a lineáris szerveződés bizonyítékának hiányát látják, azaz a koartikulációt a percepció kérdése már nem trivialitás vizsgálatok fellendülése Milyen kérdések következnek a felismerésekből?

9 A beszédpercepció nagy kérdései Egységek és reprezentáció Mik az észlelés alapegységei? Szegmentálás A beszéd folyamatos jel ( beszédfolyam ), mégis a hallgatók diszkrét egységekként (beszédhangok/szótagok/szavak sorozataként) észlelik mi segíti őket ebben? Variabilitás A beszédjel nagyon változékony! Beszélő: fiziológia (nem, életkor, stb), beszédtempó, idiolektus Kontextus: koartikuláció, érzelem, pragmatika Regiszterek, produkciós módok: beszéd, suttogás, éneklés, stb. Környezet: zaj, további beszélők

10 A beszédpercepció és a beszédprodukció kapcsolata Spoiler: erről meglehetősen keveset tudunk, mert a tudomány már viszonylag e két irányra szakadva, egymástól függetlenül kezdte vizsgálni a beszédet, amiben a találkozás viszonylag ritka (nagy vállalkozás). Sőt, olyannyira elkülönülten kezelt területek ezek, hogy már önmagában az is kérdés(es), hogy egyáltalán összekapcsolódnak-e egy személyben, és nem csak az, hogy hogyan!

11 A beszédpercepció és a beszédprodukció kapcsolata Korai felismerés: audiovizuális (multimodális) percepció (McGurk) a vizuális input javít a beszédészlelésen (hozzáad) a motoros létrehozás és az észlelés között inherens kapcsolat az észlelés nem lehet csak auditív! Ez a felismerés az alapja a produkció és percepció közti feltételezett összefüggéseknek, azaz annak, hogy azt gondolhatjuk, hogy a percepcióban szerepet játszanak motoros működések, és a produkcióban szerepe van az észlelésnek.

12 A beszédpercepció és a beszédprodukció kapcsolata Fonetikai konvergencia (Gregory Webster 1996): egyes eredmények szerint a beszélők konvergálnak az intonációs, sőt a szegmentális fonetikai jegyekben (Pardo, map task feladatok) ez lehetetlen lenne, ha az észlelés és a produkció nem lennének inherensen összetartozó dolgok. Érdekes módon ez a konvergencia ráadásul annak ellenére működik, hogy a kategoriális percepciót vizsgáló kísérletek szerint ezekre a kategórián belüli (szubfonémikus) különbségekre elvileg érzéketlenek vagyunk (lásd Liberman, következő óra). Kérdés: ez hogyan lehetséges? Talán félreértjük a kategorikus percepció természetét (vagy a kísérleti eredményeket)?

13 A beszédpercepció és a beszédprodukció kapcsolata Percepció-alapú adaptáció a beszédprodukcióban (Lombard 1911 kísérletei, majd Lindblom H & H elmélete 1990): Lindblom elmélete szerint a beszédprodukciót a gazdaságosság és a maximális kommunikatív kontraszt elveinek egyensúlya vezérli (részletesebben lásd a későbbiekben). Utóbbi a hallgató felől értelmezhető ha pl. a beszélő zajt hall (Lombard), automatikusan hangosabban (és megváltozott artikulációval) kezd beszélni szoros kapcsolat a produkció és a percpeció között. Houde & Jordan (1998): ha a feedbackben megváltoztatjuk a beszédjelet, a beszélő kompenzációképpen változtatni fog a beszédén (pl. feedback: /ɛ/ helyett egyre nyíltabb V, beszédjel: egyre inkább /i/-szerű V).

14 A beszédpercepció és a beszédprodukció kapcsolata Parallel? Nem parallel? Ugyanazon egységeket ismerjük fel, mint amiket produkálunk? Újabb eredmények szerint a legtöbb agyi terület, ami a percepcióban aktív, befolyással van a produkcióra is pl. Wernicke-afázia produkciós deficit is! Mi a helyzet pl. a fonémával?

15 A beszédpercepció és a beszédprodukció kapcsolata A fonémát érintő nyelvbotlások a fonéma produkciós realitására utalnak (Fromkin), pl. Pécsi Szál de ezek valójában nem biztos, hogy fonémákat érintenek, sőt: Mowrey & MacKay (1990): eletromiográfia ezek a nyelvbotlások a motoros parancsok összeütközései, köztes megvalósulások, nem fonéma vagy jegycserék, hanem csak félig meddig megvalósult artikulációs gesztusok (erre jut később Pouplier, Goldstein, és mtsaik is). Utóbbiak nyomán a produkció szerveződésének elméletében van egy erős motoros-alapú irány (artikulációs fonológia) míg az észlelésben az akusztikai alapú elméletek elterjedtebbek (Stevens LAFF). ezeket elég nehéz összekapcsolni (bár létezik az észlelés motoros elmélete, és Stevens is elképzelhetőnek tartja).

16 A beszédpercepció és a beszédprodukció kapcsolata és még azt is tudjuk, hogy a percepció mindig előrébb jár, mint a produkció (lásd fis-jelenség) ez is nehézség a kérdések szintézisében.

17 Ajánlott kísérleti témák 1. Magánhangzók azonosítása mássalhangzó-környezetben és izolált ejtésben. (Strange et al. 1976) 2. Magánhangzók azonosítása: mássalhangzó-környezet/izolált ejtés vs. gated vowels. (Jenkins et al. 1983) 3. Suttogott mássalhangzók zöngésségének azonosítása (zöngésségi oppozíció suttogásban). (Gráczi 2005) 4. Kérdések és kijelentések elkülönítése suttogásban. (Markó 2008) 5. Izolált ejtésű értelmes és értelmetlen szavak azonosítása zajban (Miller et al. 1971) 6. Értelmes szavak azonosítása izolációban és mondatkontextusban zajban (Miller et al. 1971) 7. Énekelve és beszélve ejtett magánhangzók azonosítása. (Deme 2016) 8. Énekelve és beszélve ejtett mássalhangzók azonosítása. 9. Különböző produkciós módokban (pl. pop ének, opera vs suttogás) ejtett magánhangzók azonosításának összevetése.