Korpuszlekérdezők evolúciója

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Korpuszlekérdezők evolúciója"

Ernő Deák
5 évvel ezelőtt
Látták:

Korpuszlekérdezők evolúciója Sass Bálint sass.balint@nytud.mta.

1 Korpuszlekérdezők evolúciója Sass Bálint MTA Nyelvtudományi Intézet Nyelvtechnológiai és Alkalmazott Nyelvészeti Osztály november 10.

2 korpusz? lekérdező? 2 / 19

3 korpusz = sok szöveg lekérdező? 2 / 19

4 korpusz = sok szöveg lekérdező? 2 / 19

5 korpusz = sok szöveg lekérdező = szavakat keresünk benne 2 / 19

6 korpusz = sok szöveg lekérdező = szavakat keresünk benne 2 / 19

7 korpusz = sok szöveg lekérdező = szavakat keresünk benne + nyelvészetileg releváns kérdéseket fogunk feltenni + számítógépes rendszerek 2 / 19

8 korpusz = sok szöveg lekérdező = szavakat keresünk benne + nyelvészetileg releváns kérdéseket fogunk feltenni + számítógépes rendszerek Nyelvészeti szövegkeresők fejlődése 2 / 19

9 1230: Biblia és konkordancia 3 / 19

10 1230: Biblia és konkordancia konkordancia: a Bibliához készült tárgymutató, hol szerepel az adott szó. az elsőt 1230-ban készítették domonkos szerzetesek tartalmi, fogalmi nem nyelvészeti 3 / 19

11 1998: 4 / 19

12 1998: Ugyanaz! :) Sok szövegben szavakat keresünk. 4 / 19

13 Korpuszlekérdező = nyelvészeti szövegkereső Nyelvi tudású keresőt szeretnénk, ami nyelvi adatot szolgáltat a nyelvészeti kutatás, a magyar nyelv vizsgálata számára. Mi benne a nyelvi tudás? Annotált. Mitől nyelvészeti? Nyelvészetileg releváns kérdésekre válaszol. Nem csak adott szavakat, hanem nyelvészeti szempontok szerint megadott szóosztályokat lehet keresni. körülültük, felszedegettük, elsimítottuk, végigcsináltuk forrásokban, fellegekben, falvakban, fejekben cél, csal, csaj, csel, dzsal + adott tulajdonságú szavak sorozatai mi? + milyen gyakran? milyen környezetben? 5 / 19

14 2005: MNSZ1 a Magyar Nemzeti Szövegtár első változata 187 millió szó szépirodalom, hivatalos, tudományos, sajtó, internetes fórumok hazai és határon túli anyag MNSZ1 100m 6 / 19

15 2005: MNSZ1 ember 6 / 19

16 2005: MNSZ1 fut után 6 / 19

17 2009: Mazsola az MNSZ1 anyaga más szempontból igék és bővítmények vizsgálata a szórend fölött általánosítunk 7 / 19

18 2009: Mazsola az MNSZ1 anyaga más szempontból igék és bővítmények vizsgálata a szórend fölött általánosítunk hagy? -t = mi a tárgy? 7 / 19

19 2009: Mazsola az MNSZ1 anyaga más szempontból igék és bővítmények vizsgálata a szórend fölött általánosítunk hagy? -t = mi a tárgy? kívánnivalót, nyomot, kétséget, üzenetet 7 / 19

20 2009: Mazsola az MNSZ1 anyaga más szempontból igék és bővítmények vizsgálata a szórend fölött általánosítunk hagy? -t = mi a tárgy? kívánnivalót, nyomot, kétséget, üzenetet? hideg hátán = mi az ige? 7 / 19

21 2009: Mazsola az MNSZ1 anyaga más szempontból igék és bővítmények vizsgálata a szórend fölött általánosítunk hagy? -t = mi a tárgy? kívánnivalót, nyomot, kétséget, üzenetet? hideg hátán = mi az ige? végigfut, futkos, futkározik 7 / 19

22 2012: BUSZI Budapesti Szociolingvisztikai Interjú szó részletesen lejegyzett beszélt nyelvi korpusz gazdag annotáció 8 / 19

23 2012: BUSZI Budapesti Szociolingvisztikai Interjú szó részletesen lejegyzett beszélt nyelvi korpusz gazdag annotáció... bizonyos dógokban mmm tát, hogy ööö lustább annál, mint amilyennek elkép*zel*tem,... 8 / 19

2012: BUSZI Budapesti Szociolingvisztikai Interjú 270000 szó részletesen lejegyzett beszélt nyelvi korpusz gazdag

24 2012: BUSZI Budapesti Szociolingvisztikai Interjú szó részletesen lejegyzett beszélt nyelvi korpusz gazdag annotáció... bizonyos dógokban mmm tát, hogy ööö lustább annál, mint amilyennek elkép*zel*tem,... Majnem mindig kiesik a d. 8 / 19

25 2013: Ómagyar Korpusz az összes ómagyar kódex szövege 2 millió szó egységes forma, kódolás, annotáció speciális karakterek: ý, ÿ... ómagyar morfológia 9 / 19

26 2013: Ómagyar Korpusz az összes ómagyar kódex szövege 2 millió szó egységes forma, kódolás, annotáció speciális karakterek: ý, ÿ... ómagyar morfológia szórendi vizsgálat: nem futott ki ki nem futott 9 / 19

27 2013: Ómagyar Korpusz az összes ómagyar kódex szövege 2 millió szó egységes forma, kódolás, annotáció speciális karakterek: ý, ÿ... ómagyar morfológia szórendi vizsgálat: nem futott ki ki nem futott Ver touaba kÿ nem futott egyenes szórend! 9 / 19

28 2014: MNSZ2 összetett szavak, fonológiai jegyek, képzők szűrés, gyakorisági listák, kollokációvizsgálat 10 / 19

29 2014: MNSZ2 összetett szavak, fonológiai jegyek, képzők szűrés, gyakorisági listák, kollokációvizsgálat megállapítás, fantazmagória, ötlet, marhaság, fantáziálás, dolog, érvelés, állítás, vád 10 / 19

30 2014: MNSZ2 összetett szavak, fonológiai jegyek, képzők szűrés, gyakorisági listák, kollokációvizsgálat megállapítás, fantazmagória, ötlet, marhaság, fantáziálás, dolog, érvelés, állítás, vád légbőlkapott 10 / 19

31 2014: MNSZ2 11 / 19

32 2014: MNSZ2: farmerban vagy farmerben (1/4) 11 / 19

33 2014: MNSZ2: farmerban vagy farmerben (1/4) magas hangrendű szóhoz magas hangrendű toldalék, mély és vegyes hangrendűhöz pedig mély hangrendű toldalék kapcsolódik. (Wikipedia) mély / hátulképzett: öőüű neutrális: eéií magas / elölképzett: aáoóuú bánatban örömben neutrális: átmegy rajta a harmónia : Sanyival Bözsivel kérdés: farmerban vagy farmerben? a neutrális e miatt farmerban-t várunk 12 / 19

34 2014: MNSZ2: farmerban vagy farmerben (2/4) lekérdezések: {con}{bck}{con}{con}{neu}{con}ban {con}{bck}{con}{con}{neu}{con}ben 13 / 19

35 2014: MNSZ2: farmerban vagy farmerben (2/4) lekérdezések: {con}{bck}{con}{con}{neu}{con}ban = db {con}{bck}{con}{con}{neu}{con}ben = db -ban 185 féle szó csak -ban: 163 féle szó mindkettő: 22 féle szó -ben 267 féle szó csak -ben: 245 féle szó 13 / 19

36 2014: MNSZ2: farmerban vagy farmerben (3/4) csak -ban: kastély, Madrid, szomszéd, pótlék, kasmír, szándék ezt vártuk csak -ben: két csoport látszik háttér, napfény, tárgyév, módszer, raktér, nagyrész, gyógyszer, csapvíz garden, tajpej, harlem, tandem... és mi van középen? 14 / 19

37 2014: MNSZ2: farmerban vagy farmerben (3/4) csak -ban: kastély, Madrid, szomszéd, pótlék, kasmír, szándék ezt vártuk csak -ben: két csoport látszik összetett szavak: háttér, napfény, tárgyév, módszer, raktér, nagyrész, gyógyszer, csapvíz (itt ezt vártuk) garden, tajpej, harlem, tandem... és mi van középen? 14 / 19

38 2014: MNSZ2: farmerban vagy farmerben (3/4) csak -ban: kastély, Madrid, szomszéd, pótlék, kasmír, szándék ezt vártuk csak -ben: két csoport látszik összetett szavak: háttér, napfény, tárgyév, módszer, raktér, nagyrész, gyógyszer, csapvíz (itt ezt vártuk) idegen szavak: garden, tajpej, harlem, tandem (!)... és mi van középen? 14 / 19

39 2014: MNSZ2: farmerban vagy farmerben (4/4) ban ben ban ben honvéd x farmer x 1x gundel x 1x koffer x (!) bunker x (!) gallen x (!) carmen x (!) hamlet x (!) dzsungel x (!) 15 / 19

40 2014: MNSZ2: farmerban vagy farmerben (4/4) ban ben ban ben honvéd x farmer x 1x gundel x 1x koffer x (!) bunker x (!) gallen x (!) carmen x (!) hamlet x (!) dzsungel x (!) esetleg: -ban/-ben arány idegenség? 15 / 19

41 2014: MNSZ2: éles lekérdezés kérdés: az öcsém öcsém [msd=".*ige.*" & msd!=".*_okep.*"] [msd="det"] [lemma="(öcs húg báty nővér)" & msd=".*pse1.*"] = 481 [msd=".*ige.*" & msd!=".*_okep.*"] [lemma="(öcs húg báty nővér)" & msd=".*pse1.*"] = 219 az esetek kb. negyede névelőtörléses 16 / 19

42 Összefoglalás A korpuszlekérdezők fejlődésének területei az elmúlt 15 évben: 1 egyre nagyobb teljesítményű számítógépek nagyobb korpuszok, gyorsabb lekérdezés 2 egyre jobb, fejlődő korpuszkezelő rendszerek ezért nem egységes a használt rendszer 3 egyre jobb, fejlődő elemzőeszközök ezeknek köszönhető az annotáció 17 / 19

43 Lehetséges jövő Nemzeti Korpuszportál minden meglévő korpusz együtt, egy helyen minden meglévő korpuszlekérdező funkció együtt, egy helyen minden funkció azokra a korpuszokra alkalmazva, amire lehetséges valamint: bárki hozzáadhassa a saját korpuszát, hozzárendelhessen funkciókat, és így közzétehesse 18 / 19

44 Elérhetőség MNSZ1 és MNSZ2: Mazsola: BUSZI: Ómagyar korpusz: / 19

45 Elérhetőség MNSZ1 és MNSZ2: Mazsola: BUSZI: Ómagyar korpusz: Köszönöm a figyelmet! Sass Bálint sass.balint@nytud.mta.hu 19 / 19

Hasonló dokumentumok

KORPUSZOK, LEKÉRDEZŐK, NEMZETI KORPUSZPORTÁL

KORPUSZOK, LEKÉRDEZŐK, NEMZETI KORPUSZPORTÁL Sass Bálint sass.balint@nytud.mta.hu MTA Nyelvtudományi Intézet Nyelvtechnológiai és Alkalmazott Nyelvészeti Osztály DHU2015 WS Számítógép az irodalomtudományban