A mondjuk szóalak nem konceptuális használatának multimodális vizsgálata

Átírás

1 A mondjuk szóalak nem konceptuális használatának multimodális vizsgálata Abuczki Ágnes Debreceni Egyetem Alkalmazott Nyelvészeti Doktorandusz Konferencia február 1.

2 Problémafelvetés: beszélt nyelvben gyakran használt szóalak azonosítatlan funkciókkal. Kérdés: töltelékszó, hezitációs elem vagy pragmatikai szereppel bíró diskurzusjelölő? Figyelemfelkeltő példák 1. Gyorsan megy a motorom, mondjuk nel. Saccolás (mondandó kiegészítése és vélemény támogatása, alátámasztása) Rossz tulajdonságok? Nehéz megmondani, de mondjuk a késés sajnos. Példaadás bevezetése (saját vélemény kifejezése) Szeretek a belvárosban élni, mondjuk elég nagy a szmog. Ellentétezés (mondjuk nélkül más lenne a megnyilatkozás jelentése) Ez egy éve lehetett, vagy mondjuk, mondjuk 10 hónapja Újrafogalmazás, önjavítás, lexikai előhívás (?) (nehezen különválasztható funkciók, kiemelkedőan multifunkciós természetű szóalak)

3 Problémafelvetés Bevezető példák agent tudna-e valamit agent vagy <vagy> olyan tulajdonságot, agent amiket ilyen pozitívnak gondol? agent meg amiket kevésbé pozitívnak? speaker hát %o kevésbé pozitív, speaker hogy szétszórt vagyok nagyon agent uhum speaker ellustulom a dolgokat speaker meg %o speaker mondjuk ez egy állásinterjú hirtelen ráébredés valamire (?) címkézés nehézségei, annotációs séma hiánya és szükségessége a szisztematikus vizsgálatokhoz

4 A kutatás célkitűzései A mondjuk szóalak mint diskurzusjelölő (DJ) formai és funkcionális jellemzőinek és nem verbális kísérőjegyeinek feltárása beszélt nyelvi, multimodális korpusz (HuComTech-korpusz) alapján Kvantitatív vizsgálatok: - mondjuk diskurzusjelölő (DJ) bejelölése (szegmentálása) és funkcionális annotációja példányok időtartamának mérése; használat gyakoriságának összehasonlítása (férfi-nő, formális-informális) - D-érték kiszámítása: diskurzusjelölői/pragmatikai szerep aránya a grammatikai (igei) szerephez viszonyítva (Stenström 1990) - I-érték kiszámítása: szomszédsági párok 2. tagját indító mondjuk DJ példányok aránya a mondjuk DJ összes előfordulásához képest (Furkó 2007) - a diskurzusjelölő megnyilatkozásbeli pozíciójának (elején, belsejében vagy végén) és a témairányításban betöltött szerepének (témakezdeményezés, témakifejtés vagy témaváltás jelölésének) feltérképezése (megoszlás és gyakoriság tekintetében); illetve ezek összefüggése az alapfrekvencia automatikusan annotált trendszerű progressziójával Kvalitatív elemzések: - a szóalak és az őt kísérő kommunikatív szándékú, hasonló funkciót betöltő gesztus időbeli rendezésének vizsgálata

5 A diskurzusjelölők (DJ-k) definíciója Procedurális jelentéssel bíró, multifunkciós, kontextusfüggő, morfológiailag heterogén összetételű funkcionális szóosztály, melynek elemei nem rendelkeznek propozícionális tartalommal, hanem inkább bizonyos funkciókat töltenek be (Fraser 1999): - diskurzusszegmensek összekötése (ezzel segítve a megnyilatkozás feldolgozását és értelmezését), - textuális, tematikai és interakciós/pragmatikai viszonyok és attitűdök jelölése (ezzel megkönnyítve az interakció lebonyolítását). Szekvenciális jellemzőik: gyakran diskurzusszegmensek határánál fordulnak elő és szünet előzi meg és/vagy követi őket (Redeker 2006). A diskurzusjelölők kiemelkedő szerepet játszanak a diskurzusszerkezet és koherencia fenntartásában és kifejezésében, így azok felismerése a diskurzus automatikus szegmentálását elősegítheti (Petukhova-Bunt 2009). Fonológiai jellemzőjük: redukció Leggyakoribb DJ-k a HuComTech-korpuszban: hát, meg, tehát, úgyhogy, mondjuk, szerintem, ugye, tényleg, egyébként (mondjuk összesen: 1677 példány a 222 felvételben)

6 A kutatás hipotézisei - különbözik a homofónok (grammatikai vs. pragmatikai szereppel bíró mondjuk példányok) időtartama - nincs statisztikailag szignifikáns különbség a használat gyakoriságát illetően a társadalmi nem függvényében - nincs statisztikailag szignifikáns különbség a mondjuk informális és formális szituációkban való használatának gyakorisága között - többségében nem beszédlépés-indító pozícióban helyezkednek el - többségében nem határolja szünet - van statisztikailag kimutatható kapcsolat a DJ pozíciója és az F0- változás iránya között - van statisztikailag kimutatható kapcsolat a DJ tematikus funkciója és az F0-változás iránya között

7 A mondjuk vizsgálatának anyaga és módszerei Vizsgálati anyag: 208 mondjuk példány (mind nem-konceptuális használatban > D-érték: 100%) 10 beszélőtől 20, random módon kiválasztott HuComTechinterjúban (kb. 6 óra): 10 informális és 10 formális interjú 10 beszélővel (5 férfi és 5 nő): példány: egyetlen állandó interjúztatótól (nő) példány: 10 különböző interjúalanytól (5+5) Feldolgozási módszerek: annotáció az ELAN programban (hierarchikus séma, beépített lekérdezőrendszerrel) eredmények exportálása Praat TextGridekbe fonetikai elemzés céljából. Feldolgozás a HuComTech-korpusz alapján készült adatbázisból. Elemzéshez felhasznált annotációs szintek: (1) mondjuk példányok indexálása: konceptuális vagy nem konceptuális (procedurális) használat (2) mondjuk mint DJ funkcionális indexálása: különböző textuális és interakciós funkciók (l. később a taxonómiát) (4) pozíció audióannotáció alapján: megnyilatkozás eleje, belseje vagy vége (5) multimodális pragmatikai annotáció tematikus kontroll (témairányítás) szintjén: témakezdeményezés, -kifejtés, vagy -váltás jelölése (bevezetése) (6) videóannotáció: kézi gesztusok, tekintet, testtartás, fejtartás, szemöldök (7) automatikus prozódiai annotáció: frekvenciaváltozás iránya (Szekrényes- Oravecz-Csipkés 2011; Hunyadi-Szekrényes-Borbély-Kiss 2012) Statisztikai elemzés SPSS 13.0 szoftverrel: leíró statisztiai próbák, khi-négyzet próba, kereszttábla (kontingenciatáblázat) elemzés, párosított t-próba

8 A DJ-k pragmatikai funkcióinak annotálására tervezett séma Szakirodalom: Németh T. 1998, Fraser 1999, Furkó 2007, Markó-Dér 2008, Shirm 2011 Korábbi sémák: DiAMSL DIT ++, Pragmatext A társalgás annotálásra kerülő dimenziói, amelyekben a DJ-k szerepet játszhatnak: 1. Saját beszéd/mondandó irányítása: lexikai előhívás, önjavítás, példaadás 2. Koherenciaviszonyok jelölése: ellentétesség, következtetés, stb. 3. Attitűdjelölés: pragmatikai erő módosító (tompító), saccolás, nyomatékosítás (saját vélemény kihangsúlyozása) kifejezése 4. Társalgás strukturálása/beszédjog szabályozása: szomszédsági pár várt második tagja, szomszédsági pár nem várt második tagja 5. Tematikus kontroll: témaindítás, témakifejtés, témaváltás 6. Interakciós/személyközi funkciók: egyetértés, egyet nem értés (másik véleményével való szembenállás vagy ellenvetés kifejezése), udvariasság/homlokzatvédelem 7. Illokúciós funkciók

9 Annotációs felület az ELAN programban

10 Diskurzusirányító és attitűdjelölő funkció: szomszédsági pár 2. tagja, ahol a gesztus (eyebrows scowl) 1,3 s-mal megelőzi a szóátvételt

11 Mondjuk példányok gyakorisága és időtartama (interjúalanyonként)

12 Eloszlásvizsgálat: nemi különbségek a mondjuk használatának gyakoriságában (az interjúalanyok között) Gyakorisági eloszlás elemzése: Egymintás Kétértékű nominális változó Várt érték: 50,5 és 50,5 (½, ½) Tapasztalt érték: 65 és 36

13 Beszélőadaptáció a használat gyakoriságában? - hipotézis: az állandó interjúztató alkalmazkodik a változó, újabb és újabb interjúalanyokhoz a mondjuk használat gyakoriságában - módszer: interjú-párok (interjúztató és interjúalany) mondjukhasználatának (darabszámának) összepárosítása párosított t-próba segítségével - eredmény: ugyan szuggesztív az eredmény, de statisztikailag nem szignifikáns (p>0,05), így a hipotézist el kell vetnünk

14 Mondjuk példányok időtartama Időtartam: - Min: 0,134 s - Max: 0,447 s - Medián: 0,243 s D-érték: 100% (minden példány pragmatikai funkcióval bír, azaz DJ szerepben van) sajnos nincs lehetőség a homofónok időtartamainak összehasonlítására a 10 beszélő megnyilatkozásaiban

15 # mondjuk szekvenciák, DJ-kollokációk "Annotáció" "Százalék" "Darabszám" hát mondjuk de mondjuk hogy mondjuk hogyha mondjuk %o mondjuk az mondjuk bár mondjuk meg mondjuk mint mondjuk ez mondjuk tehát mondjuk *há mondjuk ha mondjuk jó mondjuk vagy mondjuk Gyakran kötőszavakat vagy kötőszói eredetű DJ-ket követ a mondjuk. Felmerülő kérdés: a mondjuk vagy az azt megelőző DJ vagy kötőszó fejezi ki/jelöli a funkciót? Mit tesz hozzá maga a mondjuk a megnyilatkozás jelentéséhez, a beszélői szándék kifejezéséhez? Megoldás: nyelvhasználati kérdőív (Schirm 2011)

16 Beszéddallam az alapfrekvencia progressziójának automatikus annotációja alapján Cél: dallammenet alakulásának címkézése Elméleti útmutató: Piet Mertens (2004): a vokális szótagmag alapfrekvenciájának stilizált kontúrját felhasználva rendelnek prozódiai annotációt a fonetikai transzkripcióhoz. Eljárás: - A beszédfolyamban mért alapfrekvencia értékek progressziója mentén a dallammenet stilizált formára hozása. - A stilizáció az intenzitáscsúcsok alapján detektált szótagmagok mentén történik holisztikusabb trendvonal - A beszédfolyam meghatározott szegmentumaihoz beszélőnként (F0 értékek szórása alapján, a kiugróan magas és alacsony értékek kihagyásával) meghatározott küszöbértékek használatával tonális karaktert jelölő annotációs címke hozzárendelése. - A módszer algoritmizálása a Praat beszédfeldolgozó program beépített szkriptnyelvén történt. Eredmény: - Az F0 értékek szórása alapján meghatározott küszöbérték szerint a dallammenet osztályozása és címkézése, korábban 3, jelenleg már 5 típusba: szintentartó, ereszkedő, eső, emelkedő, szökő. - Az osztályozás eredményei Praat TextGrid fájlokban kerülnek további elemzésre és lekérdezésre. (Hunyadi-Szekrényes-Borbély-Kiss 2012, Szekrényes-Csipkés-Oravecz 2011)

17 Újrafogalmazás funkciója eső dallammal mv19_F_a_s_p_v_up Pitch (Hz) 75 rise stagnant fall stagnant uhum. mondjuk {b} mondjuk a szellemi monoton munka is m?s az?rt szerintem, de-- K_B Time (s)

18 A mondjuk pozíciója a megnyilatkozásban: gyakorisági eloszlások elemzése (egymintás khi-négyzet) p < 0,001

19 Összefüggésvizsgálat kereszttábla elemzéssel: Két változó: mondjuk pozíciója és dallam BESZÉDDALLAM lebegő emelkedő ereszkedő MONDJUK POZÍCIÓJA megnyilatkozás belsejében megnyilatkozás legelején vagy legvégén Kontingenciatáblázat

20 Összefüggésvizsgálat kereszttábla elemzéssel: Két változó: mondjuk pozíciója és dallam chi-square (2)=27,649 p=,001

21 Összefüggésvizsgálat kereszttábla elemzéssel: Két változó: tematikus kontroll és dallam Kontingenciatáblázat

22 Összefüggésvizsgálat kereszttábla elemzéssel: Két változó: tematikus kontroll és dallam chi-square (2)=11,562 p=,003

23 Tervek: további fonetikai paraméterek vizsgálata: összetett prozódiai lekérdezések (l. példa: 20-as beszélő) értelmezése és kiegészítése a funkciók annotációjával

24 További példák speaker hát de annak elég széles kereke van szerintem agent {b} hát széles, agent de %a nem olyan a rugózása, agent mint <mint> egy [English: cross] motornak mondjuk PÉLDAADÁS, (beszédlépés-záró, tagmondat-záró pozíció) speaker {b} bár mondjuk [ilyenekből] is tanul az ember ELLENVETÉS ('meg kell hagyni', 'ugyanakkor') 006mc agent d%e szerintem jól reagáltál teljesen mc agent ((tök jól)) tudtál beszélni, mc speaker oké mc speaker {l} mc agent nem mindenki tud mc agent mondjuk persze mondom az is a célunk, mc agent hogy meglepetést okozzunk, VÉLEMÉNY NYOMATÉKOSÍTÁSA ('meg kell hagyni') 006mc speaker *hú nagyon meglepődtem! mc speaker úgyhogy próbáltam visszafogni magam mc agent mondjuk nem látszott annyira ELLENTÉTEZÉS, UDVARIASSÁG (?)

25 Témakifejtés, ellentétezés kifejezése: Gesztus (eyebrows up, headshift raise) korábban kezdődik

26 Ellentétezés nyomatékosítása Igazad van, de mondjuk mostanába nagyjából kezd kiderülni ezeknek ezeknek a dolgoknak az alapja.

27 Tekintetirányok eloszlása 1. mondjuk ejtése közben 2. szűkítő feltételek nélkül Tekintetirány arányok (%) #1 mondjuk #2 előre 43,06 #1 mondjuk #2 lefelé 15,28 #1 mondjuk #2 pislogás 8,33 #1 mondjuk #2 balra 6,94 #1 mondjuk #2 jobbra-lefelé 6,94 #1 mondjuk #2 jobbra 5,56 #1 mondjuk #2 balra-felfelé 2,78 #1 mondjuk #2 jobbra-felfelé 2,78 #1 mondjuk #2 felfelé 2,78 #1 mondjuk #2 balra-lefelé 1,39

28 Vizuális címkék eloszlása a korpuszban: testtartás Szűkítő feltételek nélkül Testtartás mondjuk ejtése közben (%) 76,27 1,69 1,69 1,69 3,39 11,86 #1 mondjuk #2 egyenes testtartás #1 mondjuk #2 előrehajol #1 mondjuk #2 összefűzi a karját #1 mondjuk #2 felsőtest jobbr dől #1 mondjuk #2 jobbra fordul #1 mondjuk #2 vállát megvonja

29 Vizuális címkék eloszlása: fejtartás mondjuk ejtése közben szűkítő feltételek nélkül 21,74 21,74 4,35 17,39 4,35 4,35 4,35 8,7 4,35 4,35 4,35 #1 mondjuk #2 lower #1 mondjuk #2 raise #1 mondjuk #2 sideways+right #1 mondjuk #2 turn+left #1 mondjuk #2 raiseturn+left #1 mondjuk #2 lower+right #1 mondjuk #2 raise+left #1 mondjuk #2 raiseturn+right #1 mondjuk #2 sideways+left #1 mondjuk #2 sideways

30 Kvalitatív eredmények: megfigyelt együttjárások (amikor gesztus is kíséri a DJ-t) Pragmatikai funkció + vizuális marker Saccolás funkciója + fej oldalra mozgatása ( Gyorsan megy a motorom, mondjuk olyan nel. ; Mondjuk, mondjuk olyan nettó százezer forintot szeretnék. ) Példaadás funkciója + a tenyér nyitott kézzel felfelé néz ( Rossz tulajdonságok? Nehéz megmondani, de mondjuk a késés sajnos. ) Ellentétezés funkciója + szemöldök felhúzása + félrenézés ( Szeretek a belvárosban élni, mondjuk elég nagy a szmog. ) Újrafogalmazás vagy önjavítás funkciója, lexikai előhívás + fej oldalra döntése, felfelé vagy félrenézés ( Ez egy éve lehetett, vagy mondjuk, mondjuk 10 hónapja ) A verbális DJ-t gyakran megelőzi az őt kísérő kommunikatív szándékú, hasonló funkciót betöltő gesztus.

31 Eredmények összefoglalása Szekvenciális elemzés eredménye: - D-érték: 100% - I-érték: 15% - Pozíció: legtöbbször a megnyilatkozás belsejében Használatának gyakorisága: - Különbség a társadalmi nem függvényében: férfi > nő (gyakoriság) - Műfaj, szituáció, adattípus mentén: informális > formális (p=0,002) Státusa: - Nem csak töltelékszó, pragmatikai szereppel bír, széles a pragmatikai funkcióspektruma (különböző textuális, tematikus és interakciós funkciók, legkézenfekvőbb funkciói: példaadás, saccolás, ellentétezés, témakifejtés bevezetése) Prozódiai jellemzők: - Prozódiailag nem független elem, ritkán határolja szünet a DJ-t (akár előtte, akár utána). - Statisztikailag kimutatható a kapcsolat a pozíció és a beszéddallam, valamint a témairányítást jelző szerep és a beszéddallam között.

32 Kitekintés DJ-indexálás rövidtávú célja: több felvételben, pragmatikai kategorizálást követően - megmérni az egyes beszélőknél egyes funkciókhoz tartozó DJ min, max és medián alapfrekvenciáját és intenzitás értékeit a szóalak (és gazda beszédlépése) ejtése közben, - megmérni a szóelem ejtésének időtartamát különböző funkciókban együttjárást, korrelációt találni bizonyos pragmatikai funkciók, pozíció, bizonyos gesztusok között (tekintetirány, kéztartás, fejartás, testtartás), és bizonyos fonetikai paraméterek (F0 progresszió, intenzitás értékek) között DJ-indexálás hosszútávú célja: multifunkciós DJ-k funkcióinak osztályozása multimodális jegyek alapján Következő lépések: - a mondjuk DJ diakrón vizsgálata a MTK, etimológiai szótárak és értelmező szótárak alapján - nyelvhasználati kérdőív - a mondjuk DJ-t határoló szünetek időtartamának mérése - a mondjuk DJ tagmondatbeli pozíciójának vizsgálata

33 Szakirodalom: Boersma P. & Weenink, D. (2007): Praat: doing phonetics by computer University of Amsterdam: Institute of Phonetic Sciences. Bunt, H. & Black, W. (2000): The ABC of Computational Pragmatics. In: Abduction, Belief and Context in Dialogue: Studies in Computational Pragmatics. Amsterdam: John Benjamins. Fraser, B. (1990): An approach to discourse markers. Journal of Pragmatics 14, Furkó, P. B. (2007): The pragmatic marker discourse marker dichotomy reconsidered the case of well and of course. Debrecen: Kossuth Egyetemi Kiadó. Hunyadi L. - Szekrényes I. - Borbély A. - Kiss H. (2012): Annotation of spoken syntax in relation to prosody and multimodal pragmatics. Proceedings of 3rd Cognitive Infocommunications Conference. Kosice. Markó, A. - Dér, Cs. I. (2008) Magyar diskurzusjelölõk korpuszalapú vizsgálata. In: Bereczki András Csepregi Márta Klima László (szerk.) Urálisztikai Tanulmányok 18. Ünnepi írások Havas Ferenc tiszteletére. Budapest: ELTE BTK Finnugor Tanszék - Numi-Tórem Finnugor Alapítvány Mertens, P Le prosogramme: une transcription semi-automatique de la prosodie Cahiers de l'institut de Linguistique de Louvain 30, 1-3, 7-25 Östman, Jan-Ola. (2006) Constructions in cross-language research: Verbs as pragmatic particles in Solv. In Fischer (ed.), pp Redeker, G. (1990) Ideational and pragmatic markers of discourse structure. Journal of Pragmatics 14: Schiffrin, D. (1987) Discourse markers. Cambridge: Cambridge University Press. 62 Schirm, A. (2011) A diskurzusjelölők funkciói: a hát, az -e és a vajon elemek története és jelenkori szinkrón státusa alapján. Szeged (doktori disszertáció) Schourup, L. C. (1985) Common discourse particles in English conversation. New York: Garland. Szekrényes I. - Csipkés L. - Oravecz Cs. (2011): A HuComTech-korpusz és -adatbázis számítógépes feldolgozási lehetƅségei. Automatikus prozódiai annotáció. In: VIII. Magyar Számítógépes Nyelvészeti Konferencia. Szeged: JATEPress, ISBN ; Stenström, A-B. (1990): Lexical items peculiar to spoken discourse. In: J. Svartvik (ed.) The London-Lund Corpus of Spoken English: description and research. Lund, Lund UP: A munkát a TÁMOP-4.2.2/B-10/ számú A tudományos képzés műhelyei támogatására elnyert pályázat (Debreceni Egyetem) támogatta.

34 Köszönöm a figyelmet. Elérhetőség: abuczki.agnes@gmail.com A munkát a TÁMOP-4.2.2/B-10/ számú A tudományos képzés műhelyei támogatására elnyert pályázat (Debreceni Egyetem) támogatta.