A mondjuk szóalak nem konceptuális használatának multimodális vizsgálata Abuczki Ágnes Debreceni Egyetem abuczki.agnes@gmail.com Alkalmazott Nyelvészeti Doktorandusz Konferencia 2013. február 1.
Problémafelvetés: beszélt nyelvben gyakran használt szóalak azonosítatlan funkciókkal. Kérdés: töltelékszó, hezitációs elem vagy pragmatikai szereppel bíró diskurzusjelölő? Figyelemfelkeltő példák 1. Gyorsan megy a motorom, mondjuk 120-140-nel. Saccolás (mondandó kiegészítése és vélemény támogatása, alátámasztása) Rossz tulajdonságok? Nehéz megmondani, de mondjuk a késés sajnos. Példaadás bevezetése (saját vélemény kifejezése) Szeretek a belvárosban élni, mondjuk elég nagy a szmog. Ellentétezés (mondjuk nélkül más lenne a megnyilatkozás jelentése) Ez egy éve lehetett, vagy mondjuk, mondjuk 10 hónapja Újrafogalmazás, önjavítás, lexikai előhívás (?) (nehezen különválasztható funkciók, kiemelkedőan multifunkciós természetű szóalak)
Problémafelvetés Bevezető példák 2. 263.51 agent tudna-e valamit-- 264.53 268.14 agent vagy <vagy> olyan tulajdonságot, 269.24 269.24 agent amiket ilyen pozitívnak gondol?270.90 271.92 agent meg amiket kevésbé pozitívnak? 273.63 272.97 speaker hát %o kevésbé pozitív, 275.17 275.17 speaker hogy szétszórt vagyok nagyon 276.86 276.86 agent uhum. 277.27 277.27 speaker ellustulom a dolgokat. 278.90 279.31 speaker meg %o 280.22 280.61 speaker mondjuk ez egy állásinterjú 282.31 hirtelen ráébredés valamire (?) címkézés nehézségei, annotációs séma hiánya és szükségessége a szisztematikus vizsgálatokhoz
A kutatás célkitűzései A mondjuk szóalak mint diskurzusjelölő (DJ) formai és funkcionális jellemzőinek és nem verbális kísérőjegyeinek feltárása beszélt nyelvi, multimodális korpusz (HuComTech-korpusz) alapján Kvantitatív vizsgálatok: - mondjuk diskurzusjelölő (DJ) bejelölése (szegmentálása) és funkcionális annotációja példányok időtartamának mérése; használat gyakoriságának összehasonlítása (férfi-nő, formális-informális) - D-érték kiszámítása: diskurzusjelölői/pragmatikai szerep aránya a grammatikai (igei) szerephez viszonyítva (Stenström 1990) - I-érték kiszámítása: szomszédsági párok 2. tagját indító mondjuk DJ példányok aránya a mondjuk DJ összes előfordulásához képest (Furkó 2007) - a diskurzusjelölő megnyilatkozásbeli pozíciójának (elején, belsejében vagy végén) és a témairányításban betöltött szerepének (témakezdeményezés, témakifejtés vagy témaváltás jelölésének) feltérképezése (megoszlás és gyakoriság tekintetében); illetve ezek összefüggése az alapfrekvencia automatikusan annotált trendszerű progressziójával Kvalitatív elemzések: - a szóalak és az őt kísérő kommunikatív szándékú, hasonló funkciót betöltő gesztus időbeli rendezésének vizsgálata
A diskurzusjelölők (DJ-k) definíciója Procedurális jelentéssel bíró, multifunkciós, kontextusfüggő, morfológiailag heterogén összetételű funkcionális szóosztály, melynek elemei nem rendelkeznek propozícionális tartalommal, hanem inkább bizonyos funkciókat töltenek be (Fraser 1999): - diskurzusszegmensek összekötése (ezzel segítve a megnyilatkozás feldolgozását és értelmezését), - textuális, tematikai és interakciós/pragmatikai viszonyok és attitűdök jelölése (ezzel megkönnyítve az interakció lebonyolítását). Szekvenciális jellemzőik: gyakran diskurzusszegmensek határánál fordulnak elő és szünet előzi meg és/vagy követi őket (Redeker 2006). A diskurzusjelölők kiemelkedő szerepet játszanak a diskurzusszerkezet és koherencia fenntartásában és kifejezésében, így azok felismerése a diskurzus automatikus szegmentálását elősegítheti (Petukhova-Bunt 2009). Fonológiai jellemzőjük: redukció Leggyakoribb DJ-k a HuComTech-korpuszban: hát, meg, tehát, úgyhogy, mondjuk, szerintem, ugye, tényleg, egyébként (mondjuk összesen: 1677 példány a 222 felvételben)
A kutatás hipotézisei - különbözik a homofónok (grammatikai vs. pragmatikai szereppel bíró mondjuk példányok) időtartama - nincs statisztikailag szignifikáns különbség a használat gyakoriságát illetően a társadalmi nem függvényében - nincs statisztikailag szignifikáns különbség a mondjuk informális és formális szituációkban való használatának gyakorisága között - többségében nem beszédlépés-indító pozícióban helyezkednek el - többségében nem határolja szünet - van statisztikailag kimutatható kapcsolat a DJ pozíciója és az F0- változás iránya között - van statisztikailag kimutatható kapcsolat a DJ tematikus funkciója és az F0-változás iránya között
A mondjuk vizsgálatának anyaga és módszerei Vizsgálati anyag: 208 mondjuk példány (mind nem-konceptuális használatban > D-érték: 100%) 10 beszélőtől 20, random módon kiválasztott HuComTechinterjúban (kb. 6 óra): 10 informális és 10 formális interjú 10 beszélővel (5 férfi és 5 nő): - 107 példány: egyetlen állandó interjúztatótól (nő) - 101 példány: 10 különböző interjúalanytól (5+5) Feldolgozási módszerek: annotáció az ELAN 4.5.1. programban (hierarchikus séma, beépített lekérdezőrendszerrel) eredmények exportálása Praat TextGridekbe fonetikai elemzés céljából. Feldolgozás a HuComTech-korpusz alapján készült adatbázisból. Elemzéshez felhasznált annotációs szintek: (1) mondjuk példányok indexálása: konceptuális vagy nem konceptuális (procedurális) használat (2) mondjuk mint DJ funkcionális indexálása: különböző textuális és interakciós funkciók (l. később a taxonómiát) (4) pozíció audióannotáció alapján: megnyilatkozás eleje, belseje vagy vége (5) multimodális pragmatikai annotáció tematikus kontroll (témairányítás) szintjén: témakezdeményezés, -kifejtés, vagy -váltás jelölése (bevezetése) (6) videóannotáció: kézi gesztusok, tekintet, testtartás, fejtartás, szemöldök (7) automatikus prozódiai annotáció: frekvenciaváltozás iránya (Szekrényes- Oravecz-Csipkés 2011; Hunyadi-Szekrényes-Borbély-Kiss 2012) Statisztikai elemzés SPSS 13.0 szoftverrel: leíró statisztiai próbák, khi-négyzet próba, kereszttábla (kontingenciatáblázat) elemzés, párosított t-próba
A DJ-k pragmatikai funkcióinak annotálására tervezett séma Szakirodalom: Németh T. 1998, Fraser 1999, Furkó 2007, Markó-Dér 2008, Shirm 2011 Korábbi sémák: DiAMSL DIT ++, Pragmatext A társalgás annotálásra kerülő dimenziói, amelyekben a DJ-k szerepet játszhatnak: 1. Saját beszéd/mondandó irányítása: lexikai előhívás, önjavítás, példaadás 2. Koherenciaviszonyok jelölése: ellentétesség, következtetés, stb. 3. Attitűdjelölés: pragmatikai erő módosító (tompító), saccolás, nyomatékosítás (saját vélemény kihangsúlyozása) kifejezése 4. Társalgás strukturálása/beszédjog szabályozása: szomszédsági pár várt második tagja, szomszédsági pár nem várt második tagja 5. Tematikus kontroll: témaindítás, témakifejtés, témaváltás 6. Interakciós/személyközi funkciók: egyetértés, egyet nem értés (másik véleményével való szembenállás vagy ellenvetés kifejezése), udvariasság/homlokzatvédelem 7. Illokúciós funkciók
Annotációs felület az ELAN programban
Diskurzusirányító és attitűdjelölő funkció: szomszédsági pár 2. tagja, ahol a gesztus (eyebrows scowl) 1,3 s-mal megelőzi a szóátvételt
Mondjuk példányok gyakorisága és időtartama (interjúalanyonként)
Eloszlásvizsgálat: nemi különbségek a mondjuk használatának gyakoriságában (az interjúalanyok között) Gyakorisági eloszlás elemzése: Egymintás Kétértékű nominális változó Várt érték: 50,5 és 50,5 (½, ½) Tapasztalt érték: 65 és 36
Beszélőadaptáció a használat gyakoriságában? - hipotézis: az állandó interjúztató alkalmazkodik a változó, újabb és újabb interjúalanyokhoz a mondjuk használat gyakoriságában - módszer: interjú-párok (interjúztató és interjúalany) mondjukhasználatának (darabszámának) összepárosítása párosított t-próba segítségével - eredmény: ugyan szuggesztív az eredmény, de statisztikailag nem szignifikáns (p>0,05), így a hipotézist el kell vetnünk
Mondjuk példányok időtartama Időtartam: - Min: 0,134 s - Max: 0,447 s - Medián: 0,243 s D-érték: 100% (minden példány pragmatikai funkcióval bír, azaz DJ szerepben van) sajnos nincs lehetőség a homofónok időtartamainak összehasonlítására a 10 beszélő megnyilatkozásaiban
# mondjuk szekvenciák, DJ-kollokációk "Annotáció" "Százalék" "Darabszám" hát mondjuk 9.47 50 de mondjuk 5.68 30 hogy mondjuk 3.79 20 hogyha mondjuk 2.84 15 %o mondjuk 2.65 14 az mondjuk 2.27 12 bár mondjuk 2.27 12 meg mondjuk 2.27 12 mint mondjuk 2.27 12 ez mondjuk 1.70 9 tehát mondjuk 1.52 8 *há mondjuk 1.14 6 ha mondjuk 1.14 6 jó mondjuk 1.14 6 vagy mondjuk 1.14 6 Gyakran kötőszavakat vagy kötőszói eredetű DJ-ket követ a mondjuk. Felmerülő kérdés: a mondjuk vagy az azt megelőző DJ vagy kötőszó fejezi ki/jelöli a funkciót? Mit tesz hozzá maga a mondjuk a megnyilatkozás jelentéséhez, a beszélői szándék kifejezéséhez? Megoldás: nyelvhasználati kérdőív (Schirm 2011)
Beszéddallam az alapfrekvencia progressziójának automatikus annotációja alapján Cél: dallammenet alakulásának címkézése Elméleti útmutató: Piet Mertens (2004): a vokális szótagmag alapfrekvenciájának stilizált kontúrját felhasználva rendelnek prozódiai annotációt a fonetikai transzkripcióhoz. Eljárás: - A beszédfolyamban mért alapfrekvencia értékek progressziója mentén a dallammenet stilizált formára hozása. - A stilizáció az intenzitáscsúcsok alapján detektált szótagmagok mentén történik holisztikusabb trendvonal - A beszédfolyam meghatározott szegmentumaihoz beszélőnként (F0 értékek szórása alapján, a kiugróan magas és alacsony értékek kihagyásával) meghatározott küszöbértékek használatával tonális karaktert jelölő annotációs címke hozzárendelése. - A módszer algoritmizálása a Praat beszédfeldolgozó program beépített szkriptnyelvén történt. Eredmény: - Az F0 értékek szórása alapján meghatározott küszöbérték szerint a dallammenet osztályozása és címkézése, korábban 3, jelenleg már 5 típusba: szintentartó, ereszkedő, eső, emelkedő, szökő. - Az osztályozás eredményei Praat TextGrid fájlokban kerülnek további elemzésre és lekérdezésre. (Hunyadi-Szekrényes-Borbély-Kiss 2012, Szekrényes-Csipkés-Oravecz 2011)
Újrafogalmazás funkciója eső dallammal 500 400 300 200 003mv19_F_a_s_p_v_up 119.723 119.968 Pitch (Hz) 75 rise stagnant fall stagnant uhum. mondjuk {b} mondjuk a szellemi monoton munka is m?s az?rt szerintem, de-- K_B 119.6 120.1 Time (s)
A mondjuk pozíciója a megnyilatkozásban: gyakorisági eloszlások elemzése (egymintás khi-négyzet) p < 0,001
Összefüggésvizsgálat kereszttábla elemzéssel: Két változó: mondjuk pozíciója és dallam BESZÉDDALLAM lebegő emelkedő ereszkedő MONDJUK POZÍCIÓJA megnyilatkozás belsejében megnyilatkozás legelején vagy legvégén 89 47 39 33 0 0 Kontingenciatáblázat
Összefüggésvizsgálat kereszttábla elemzéssel: Két változó: mondjuk pozíciója és dallam chi-square (2)=27,649 p=,001
Összefüggésvizsgálat kereszttábla elemzéssel: Két változó: tematikus kontroll és dallam Kontingenciatáblázat
Összefüggésvizsgálat kereszttábla elemzéssel: Két változó: tematikus kontroll és dallam chi-square (2)=11,562 p=,003
Tervek: további fonetikai paraméterek vizsgálata: összetett prozódiai lekérdezések (l. példa: 20-as beszélő) értelmezése és kiegészítése a funkciók annotációjával
További példák 889.57 speaker hát de annak elég széles kereke van szerintem. 891.71 890.84 agent {b} hát széles, 892.24 892.24 agent de %a nem olyan a rugózása, 894.53 894.53 agent mint <mint> egy [English: cross] motornak mondjuk. 896.76 PÉLDAADÁS, (beszédlépés-záró, tagmondat-záró pozíció) 671.72 speaker {b} bár mondjuk [ilyenekből] is tanul az ember. 673.54 ELLENVETÉS ('meg kell hagyni', 'ugyanakkor') 006mc22 50.06 agent d%e szerintem jól reagáltál teljesen. 52.67 006mc22 52.67 agent ((tök jól)) tudtál beszélni, 53.74 006mc22 52.73 speaker oké.53.16 006mc22 53.16 speaker {l} 53.64 006mc22 53.74 agent nem mindenki tud. 54.68 006mc22 54.68 agent mondjuk persze mondom az is a célunk, 56.82 006mc22 56.82 agent hogy meglepetést okozzunk, 58.46 VÉLEMÉNY NYOMATÉKOSÍTÁSA ('meg kell hagyni') 006mc22 17.85 speaker *hú nagyon meglepődtem! 19.65 006mc22 19.65 speaker úgyhogy próbáltam visszafogni magam. 21.26 006mc22 20.73 agent mondjuk nem látszott annyira.22.18 ELLENTÉTEZÉS, UDVARIASSÁG (?)
Témakifejtés, ellentétezés kifejezése: Gesztus (eyebrows up, headshift raise) korábban kezdődik
Ellentétezés nyomatékosítása Igazad van, de mondjuk mostanába nagyjából kezd kiderülni ezeknek ezeknek a dolgoknak az alapja.
Tekintetirányok eloszlása 1. mondjuk ejtése közben 2. szűkítő feltételek nélkül Tekintetirány arányok (%) #1 mondjuk #2 előre 43,06 #1 mondjuk #2 lefelé 15,28 #1 mondjuk #2 pislogás 8,33 #1 mondjuk #2 balra 6,94 #1 mondjuk #2 jobbra-lefelé 6,94 #1 mondjuk #2 jobbra 5,56 #1 mondjuk #2 balra-felfelé 2,78 #1 mondjuk #2 jobbra-felfelé 2,78 #1 mondjuk #2 felfelé 2,78 #1 mondjuk #2 balra-lefelé 1,39
Vizuális címkék eloszlása a korpuszban: testtartás Szűkítő feltételek nélkül Testtartás mondjuk ejtése közben (%) 76,27 1,69 1,69 1,69 3,39 11,86 #1 mondjuk #2 egyenes testtartás #1 mondjuk #2 előrehajol #1 mondjuk #2 összefűzi a karját #1 mondjuk #2 felsőtest jobbr dől #1 mondjuk #2 jobbra fordul #1 mondjuk #2 vállát megvonja
Vizuális címkék eloszlása: fejtartás mondjuk ejtése közben szűkítő feltételek nélkül 21,74 21,74 4,35 17,39 4,35 4,35 4,35 8,7 4,35 4,35 4,35 #1 mondjuk #2 lower #1 mondjuk #2 raise #1 mondjuk #2 sideways+right #1 mondjuk #2 turn+left #1 mondjuk #2 raiseturn+left #1 mondjuk #2 lower+right #1 mondjuk #2 raise+left #1 mondjuk #2 raiseturn+right #1 mondjuk #2 sideways+left #1 mondjuk #2 sideways
Kvalitatív eredmények: megfigyelt együttjárások (amikor gesztus is kíséri a DJ-t) Pragmatikai funkció + vizuális marker Saccolás funkciója + fej oldalra mozgatása ( Gyorsan megy a motorom, mondjuk olyan 120-140-nel. ; Mondjuk, mondjuk olyan nettó százezer forintot szeretnék. ) Példaadás funkciója + a tenyér nyitott kézzel felfelé néz ( Rossz tulajdonságok? Nehéz megmondani, de mondjuk a késés sajnos. ) Ellentétezés funkciója + szemöldök felhúzása + félrenézés ( Szeretek a belvárosban élni, mondjuk elég nagy a szmog. ) Újrafogalmazás vagy önjavítás funkciója, lexikai előhívás + fej oldalra döntése, felfelé vagy félrenézés ( Ez egy éve lehetett, vagy mondjuk, mondjuk 10 hónapja ) A verbális DJ-t gyakran megelőzi az őt kísérő kommunikatív szándékú, hasonló funkciót betöltő gesztus.
Eredmények összefoglalása Szekvenciális elemzés eredménye: - D-érték: 100% - I-érték: 15% - Pozíció: legtöbbször a megnyilatkozás belsejében Használatának gyakorisága: - Különbség a társadalmi nem függvényében: férfi > nő (gyakoriság) - Műfaj, szituáció, adattípus mentén: informális > formális (p=0,002) Státusa: - Nem csak töltelékszó, pragmatikai szereppel bír, széles a pragmatikai funkcióspektruma (különböző textuális, tematikus és interakciós funkciók, legkézenfekvőbb funkciói: példaadás, saccolás, ellentétezés, témakifejtés bevezetése) Prozódiai jellemzők: - Prozódiailag nem független elem, ritkán határolja szünet a DJ-t (akár előtte, akár utána). - Statisztikailag kimutatható a kapcsolat a pozíció és a beszéddallam, valamint a témairányítást jelző szerep és a beszéddallam között.
Kitekintés DJ-indexálás rövidtávú célja: több felvételben, pragmatikai kategorizálást követően - megmérni az egyes beszélőknél egyes funkciókhoz tartozó DJ min, max és medián alapfrekvenciáját és intenzitás értékeit a szóalak (és gazda beszédlépése) ejtése közben, - megmérni a szóelem ejtésének időtartamát különböző funkciókban együttjárást, korrelációt találni bizonyos pragmatikai funkciók, pozíció, bizonyos gesztusok között (tekintetirány, kéztartás, fejartás, testtartás), és bizonyos fonetikai paraméterek (F0 progresszió, intenzitás értékek) között DJ-indexálás hosszútávú célja: multifunkciós DJ-k funkcióinak osztályozása multimodális jegyek alapján Következő lépések: - a mondjuk DJ diakrón vizsgálata a MTK, etimológiai szótárak és értelmező szótárak alapján - nyelvhasználati kérdőív - a mondjuk DJ-t határoló szünetek időtartamának mérése - a mondjuk DJ tagmondatbeli pozíciójának vizsgálata
Szakirodalom: Boersma P. & Weenink, D. (2007): Praat: doing phonetics by computer 5.0.02. University of Amsterdam: Institute of Phonetic Sciences. http://www.praat.org Bunt, H. & Black, W. (2000): The ABC of Computational Pragmatics. In: Abduction, Belief and Context in Dialogue: Studies in Computational Pragmatics. Amsterdam: John Benjamins. Fraser, B. (1990): An approach to discourse markers. Journal of Pragmatics 14, 383 395. Furkó, P. B. (2007): The pragmatic marker discourse marker dichotomy reconsidered the case of well and of course. Debrecen: Kossuth Egyetemi Kiadó. Hunyadi L. - Szekrényes I. - Borbély A. - Kiss H. (2012): Annotation of spoken syntax in relation to prosody and multimodal pragmatics. Proceedings of 3rd Cognitive Infocommunications Conference. Kosice. Markó, A. - Dér, Cs. I. (2008) Magyar diskurzusjelölõk korpuszalapú vizsgálata. In: Bereczki András Csepregi Márta Klima László (szerk.) Urálisztikai Tanulmányok 18. Ünnepi írások Havas Ferenc tiszteletére. Budapest: ELTE BTK Finnugor Tanszék - Numi-Tórem Finnugor Alapítvány. 535 556. Mertens, P. 2004. Le prosogramme: une transcription semi-automatique de la prosodie Cahiers de l'institut de Linguistique de Louvain 30, 1-3, 7-25 Östman, Jan-Ola. (2006) Constructions in cross-language research: Verbs as pragmatic particles in Solv. In Fischer (ed.), pp. 237-257 Redeker, G. (1990) Ideational and pragmatic markers of discourse structure. Journal of Pragmatics 14: 367-381. Schiffrin, D. (1987) Discourse markers. Cambridge: Cambridge University Press. 62 Schirm, A. (2011) A diskurzusjelölők funkciói: a hát, az -e és a vajon elemek története és jelenkori szinkrón státusa alapján. Szeged (doktori disszertáció) Schourup, L. C. (1985) Common discourse particles in English conversation. New York: Garland. Szekrényes I. - Csipkés L. - Oravecz Cs. (2011): A HuComTech-korpusz és -adatbázis számítógépes feldolgozási lehetƅségei. Automatikus prozódiai annotáció. In: VIII. Magyar Számítógépes Nyelvészeti Konferencia. Szeged: JATEPress, 190-198. ISBN 978-963-306-121-3; www.inf.u-szeged.hu/mszny2011/.../mszny2011_press_nc_b5.pdf Stenström, A-B. (1990): Lexical items peculiar to spoken discourse. In: J. Svartvik (ed.) The London-Lund Corpus of Spoken English: description and research. Lund, Lund UP: 137-175. A munkát a TÁMOP-4.2.2/B-10/1-2010-0024 számú A tudományos képzés műhelyei támogatására elnyert pályázat (Debreceni Egyetem) támogatta.
Köszönöm a figyelmet. Elérhetőség: abuczki.agnes@gmail.com A munkát a TÁMOP-4.2.2/B-10/1-2010-0024 számú A tudományos képzés műhelyei támogatására elnyert pályázat (Debreceni Egyetem) támogatta.