JÓÍZŰ MAZSOLÁZÁS A KORPUSZBÓL

Átírás

1 JÓÍZŰ MAZSOLÁZÁS A KORPUSZBÓL Sass Bálint joker@nytud.hu MTA Nyelvtudományi Intézet, Nyelvtechnológiai Osztály PPKE ITK, MMT Doktori Iskola, Nyelvtechnológia Doktori Program XVII. MANYE kongresszus Siófok, április

2 1 KORPUSZNYELVÉSZET ÉS LEXIKOGRÁFIA 2 MODELL 3 LÉNYEGESSÉG 4 MAZSOLA 5 ALKALMAZÁSOK 6 ÍRJUNK SZÓCIKKET!

3 1 KORPUSZNYELVÉSZET ÉS LEXIKOGRÁFIA 2 MODELL 3 LÉNYEGESSÉG 4 MAZSOLA 5 ALKALMAZÁSOK 6 ÍRJUNK SZÓCIKKET!

4 ALAPÍTÓ ATYÁK John Rupert Firth You shall know a word by the company it keeps. John McHardy Sinclair ( ) Language cannot be invented; it can only be captured.

5 Corpus-based ÉS corpus-driven 1 (introspektív nyelvészet) 2 corpus-based módszer A korpusz segédeszköz, ami empirikus adataival támogatja az intuíciót, mérhetővé teszi a nyelvi jelenségeket, meglévő elméleteket bizonyít/cáfol. 3 corpus-driven módszer A korpusz maga szolgáltatja az elméletet, a nyelvész minden előzetes feltevés és elvárás nélkül fordul az adatokhoz. Minden következtetést kizárólag korpuszmegfigyelésekből von le. egyfajta corpus-driven szótárírási módszert fogok bemutatni serendipity principle: jelentős dolog véletlen felfedezése, tipikusan mikor valami egész másra figyelünk

6 KORPUSZOK A LEXIKOGRÁFIA SZOLGÁLATÁBAN COBUILD: a korpuszok nagy segítséget nyújtanak a lexikográfiai munkához valós nyelvhasználat objektív, idiolektustól független munka új jelentés, használat felfedezése teljesebb szótár nagy méretű korpuszok szükséges a leszűrhető tények összegzése első: Word Sketch Macmillan English Dictionary (2002) ehhez hasonló új eszközről lesz most szó, mellyel a magyar igék bővítményszerkezetét lehet kvantitatívan tanulmányozni

7

8 1 KORPUSZNYELVÉSZET ÉS LEXIKOGRÁFIA 2 MODELL 3 LÉNYEGESSÉG 4 MAZSOLA 5 ALKALMAZÁSOK 6 ÍRJUNK SZÓCIKKET!

9 BŐVÍTMÉNYSZERKEZET ÉS JELENTÉS B. Levin (1993): Hasonló jelentés hasonló bővítményszerkezettel jár. Az igék és bővítményeik alkotta jellemző kollokációk vizsgálatával az igék különféle jelentéseihez jutunk közelebb. Lehetőség nyílik: adott szó jelentéseit elkülöníteni ( igazat ad tippet ad hangot ad ) hasonló szavak jelentéskülönbségét meghatározni ( emelkedik nő )

10 A MAGYAR MONDAT MODELLJE PÉLDA bővítményszerkezet: milyen bővítményekkel szokott előfordulni az ige bővítménykeret modell: szabad szórend az egyszerű mondat (az egy igei keretet tartalmazó egység) egy ige és valahány főnévi csoport halmaza ige + NP(szótő + eset) lista pozíció: morfoszintaktikai pozíció összetett igék: önálló igék, önálló bővítményszerkezettel, önálló jelentéssel vesz vesz részt vesz górcső alá

11 FELDOLGOZÁSI LÉPÉSEK PÉLDA forrás: Magyar Nemzeti Szövegtár tagmondatra bontás részleges szintaktikai elemzés funkcionális szerkezet a mondat modellje opcionalizálás: minden bővítmény opcionális statisztika a lexikográfia szempontjából lényeges igei kereteket keressük vág hajat, fésül hajat, ad választ -re, ad hangot meggyőződésének/véleményének

12 1 KORPUSZNYELVÉSZET ÉS LEXIKOGRÁFIA 2 MODELL 3 LÉNYEGESSÉG 4 MAZSOLA 5 ALKALMAZÁSOK 6 ÍRJUNK SZÓCIKKET!

13 LÉNYEGESSÉG A lényeges keretek/kollokációk megragadására van jó eszközünk: az ún. salience mérték (Kilgarriff 2001) Adott pozíción álló bővítménynek a keret többi részéhez viszonyított salience-ét tudjuk kiszámolni. Ez az érték akkor sok, ha a bővítmény és a keret a vártnál gyakrabban fordul elő együtt, és a bővítmény gyakori. Mit tudunk vizsgálni? Adott ige melletti adott pozícióban mely szavak fordulnak elő legjellemzőbben.... beleértve az összetett igéket is.

14 LÉNYEGESSÉG PÉLDA ad -t tárgyi pozíciója salience szerint csökkenően: hang, lehetőség, válasz, otthon, tájékoztatás tényleg gyakori, lényeges szavak

15 1 KORPUSZNYELVÉSZET ÉS LEXIKOGRÁFIA 2 MODELL 3 LÉNYEGESSÉG 4 MAZSOLA 5 ALKALMAZÁSOK 6 ÍRJUNK SZÓCIKKET!

16 A FELÜLET HASZNÁLATA Közzétett korpuszok: 3-10 szavas mondatok (8mió szó) Magyar Nemzet (12mió szó) Index fórum (18mió szó)

17 A FELÜLET HASZNÁLATA Közzétett korpuszok: 3-10 szavas mondatok (8mió szó) Magyar Nemzet (12mió szó) Index fórum (18mió szó)

18 A FELÜLET HASZNÁLATA Közzétett korpuszok: 3-10 szavas mondatok (8mió szó) Magyar Nemzet (12mió szó) Index fórum (18mió szó)

19 A FELÜLET HASZNÁLATA Közzétett korpuszok: 3-10 szavas mondatok (8mió szó) Magyar Nemzet (12mió szó) Index fórum (18mió szó)

20 A FELÜLET HASZNÁLATA Közzétett korpuszok: 3-10 szavas mondatok (8mió szó) Magyar Nemzet (12mió szó) Index fórum (18mió szó)

21 A FELÜLET HASZNÁLATA Közzétett korpuszok: 3-10 szavas mondatok (8mió szó) Magyar Nemzet (12mió szó) Index fórum (18mió szó)

22

23 PÉLDA: STÍLUSRÉTEGEK ÖSSZEHASONLÍTÁSA PÉLDA ad -t keret a Magyar Nemzetben és az Index fórumban közös elemek

24 PÉLDA: STÍLUSRÉTEGEK ÖSSZEHASONLÍTÁSA PÉLDA ad -t keret a Magyar Nemzetben és az Index fórumban eltérések

25 PÉLDA: ÖSSZETETT IGÉK hány -t hány -ra kerül alá rejt alá hoz alá helyez alá vesz alá

26 PÉLDA: ÖSSZETETT IGÉK hány -t fitty hány -ra kerül alá rejt alá hoz alá helyez alá vesz alá

27 PÉLDA: ÖSSZETETT IGÉK hány -t fitty hány -ra szem kerül alá rejt alá hoz alá helyez alá vesz alá

28 PÉLDA: ÖSSZETETT IGÉK hány -t fitty hány -ra szem kerül alá víz, kalapács, fennhatóság rejt alá hoz alá helyez alá vesz alá

29 PÉLDA: ÖSSZETETT IGÉK hány -t fitty hány -ra szem kerül alá víz, kalapács, fennhatóság rejt alá véka hoz alá helyez alá vesz alá

30 PÉLDA: ÖSSZETETT IGÉK hány -t fitty hány -ra szem kerül alá víz, kalapács, fennhatóság rejt alá véka hoz alá tető helyez alá vesz alá

31 PÉLDA: ÖSSZETETT IGÉK hány -t fitty hány -ra szem kerül alá víz, kalapács, fennhatóság rejt alá véka hoz alá tető helyez alá vád vesz alá

32 PÉLDA: ÖSSZETETT IGÉK hány -t fitty hány -ra szem kerül alá víz, kalapács, fennhatóság rejt alá véka hoz alá tető helyez alá vád vesz alá górcső, kalap, tűz

33 1 KORPUSZNYELVÉSZET ÉS LEXIKOGRÁFIA 2 MODELL 3 LÉNYEGESSÉG 4 MAZSOLA 5 ALKALMAZÁSOK 6 ÍRJUNK SZÓCIKKET!

34 HOL HASZNÁLJUK? készülő magyar-angol gépi fordítóprogram vonzatkereteinek fix lemmákkal való lekötésekor magyar WordNet kialakításakor terv: német-magyar valenciaszótár munkálatainak támogatására igék szemantikai osztályozása szinonímaszótár

35 IGÉK SZEMANTIKAI OSZTÁLYOZÁSA nő alany: szám arány ár -ban: mérték év -ra: forint százalék dupla -val: százalék forint emelkedik alany: szám ár árfolyam -ban: mérték év -ra: forint jogerő százalék -val: százalék forint növekedik alany: szám arány érdeklődés -ban: mérték év -ra: év -val: százalék forint drágul alany: részvény TVK kenyér -ban: mérték forgalom -ra: forint -val: százalék forint nyújt, megad, kínál reagál, válaszol, felel

36 1 KORPUSZNYELVÉSZET ÉS LEXIKOGRÁFIA 2 MODELL 3 LÉNYEGESSÉG 4 MAZSOLA 5 ALKALMAZÁSOK 6 ÍRJUNK SZÓCIKKET!

37 MINIMUM 150 ELŐFORDULÁS Sinclair (1993): legalább 150 példa kell ahhoz, hogy megbízhatóan számolhassunk be egy szó jelentéseiről illusztrációképpen két ilyen ige: forog 255 találat fest 319 találat a Magyar Nemzet korpuszból nem dolgozunk ki teljes szócikket: induktív megállapításokat teszünk az eszköz segítségével, amik aztán egy szócikkbe épülhetnének be a tapasztalatokat helyenként összevetem az ÉKSz szócikkeivel Elv: az 5-nél kevesebbszer előforduló jelenségeket általában nem vesszük figyelembe statisztikai megállapítások megtételekor

38 MÓDSZER 1 jellemző mondatokat keresünk 2 feldolgozzuk őket 3 a feldolgozott mondatokat elhagyva, a maradékon folytatjuk a munkát

39

40

41

42 PÉLDA: forog (1/2) Első mondat: forog veszély-ban nézzük a -ban -t: veszély és sír ( kör, érték... ) Mi forog veszélyben: élet ( biztonság, diadal, konszenzus... ) mindenféle pozitív dolgok Valóban: betegség, veszteség nem szokott ez ennek az összetett igének a jelentéséhez tartozik! ÉKSz. kifejezései: szóban, szőnyegen, veszélyben Gyakoriság szerint ez adódik: veszélyben, sírjában 41 találatot (16%-ot) így feldolgoztunk

43 PÉLDA: forog (2/2) forog -n kockán Mi? Azt látjuk, hogy nincs jellegzetes alany. papír, részvény is lehet alany forog alatt/felett csak ilyen (ÉKSz-ben nincs!) forog között van egy élő alanyú másik jelentés Általában mi a jellegzetes alany? papír, részvény, élet, lét, világ forog világ körül forog világ -val forog papír/részvény -n forinton, áron tőzsdén 154 találatot (60%-ot) így feldolgoztunk

44 PÉLDA: fest (1/2) tárgyas ige: fest -t egyértelműen legjellegzetesebb tárgy: kép a tárgyak 42%-a kép az összes fest előfordulás 25%-a: fest képet! jellegzetes alanya nincs fest kép-t -ról helyzet, állapot Mindig tárgyas? fest NEM-t alany nem (22%), és jellemzőnek látszik az úgy szó jelenléte

45

46 PÉLDA: fest (2/2) Ha nem kötjük meg a tárgy hiányát, ugyanannyi találatot kapunk! a fest úgy keret szigorúan tárgyatlan (= ÉKSz.) fest -vel nincs jellegzetes fest -ra fal fest kép-t -ról (17%) főleg átvitt értelem fest kép-t NEM-ról (8%) főleg konkrét értelem

47 JAVASLAT gyakoriság fontos szerepe: bővítmény kötelezősége ritkasága mely jelentéseket vegyük fel a szótárba milyen sorrendben szerepeltessük a jelentéseket gyakoriság alapjelentés vö: vesz részt önmagában a vesz 20%-át adja összetett igék: önálló igék, önálló vonzatkerettel önálló lexémák?

48 BIBLIOGRÁFIA Firth, J.R A synopsis of linguistic theory Studies in linguistic analysis 1 32 Kilgarriff, A., Tugwell D Word Sketch: Extraction and display of significant collocations for lexicography. In: Proceedings of the 39th Meeting of the Association for Computational Linguistics, Workshop on Collocation: Computational Extraction, Analysis and Exploitation, Toulouse Levin, B English Verb Classes and Alternations. The University of Chicago Press Sass B Mazsola eszköz a magyar igék bővítményszerkezetének vizsgálatára. In: I. Alkalmazott Nyelvészeti Doktorandusz Konferencia kötete (megjelenés alatt)

49 HOZZÁFÉRÉS Tessék kipróbálni! felhasználói név: manye jelszó: xvii Személyes jelszó igénylése:

50 HOZZÁFÉRÉS Tessék kipróbálni! felhasználói név: manye jelszó: xvii Személyes jelszó igénylése: Köszönöm a figyelmet!