A 4lang fogalmi szótár gráfelméleti vizsgálata

Átírás

1 MTA SZTAKI Nyelvtechnológiai Kutatócsoport témavezet Kornai András VII. Alkalmazott Nyelvészeti Doktoranduszkonferencia

2 Számítógépes szövegértés kérdésmegválaszolás emberi nyelv utasításokat végrehajtó gépek gépi fordítás tudásreprezentáció

3 Absztrakció (monoszémia) Áttekintés Absztrakció (monoszémia)

4 Absztrakció (monoszémia) Összehasonlítás: a WordNet stomach tétele

5 Absztrakció (monoszémia) A 4langben egyértelm sítés lehet leg csak tiszta homonímia esetén state: `állam' és `állapot' szófajmentes szemantika A 4lang stomach tétele: 939 gyomor N stomach venter z1ol1a1dek: organ, animal HAS, tubes, food TO

6 Absztrakció (monoszémia), folytatás fogalmak közötti kapcsolatokat, analitikus igazságokat rögzít többnyelv, lehet leg nyelvfüggetlen

7 Absztrakció (monoszémia) Méret 4lang: fogalom (magyar WordNet: synset) az angol tokenfedés kb. 3848% a WSJ Corpus illetve a British National Corpus alapján számolva

8 A tételek felépítése, több nyelv

9 A tételek felépítése, több nyelv 102 átenged V pass concedo przepu±ci : LET[DAT HAS ACC] id magyar POS angol latin lengyel deníció

10 A tételek felépítése, több nyelv 102 átenged V pass concedo przepu±ci : LET[DAT HAS ACC] id magyar POS angol latin lengyel deníció 40 nyelvre való kiterjesztés folyamatban van

11 Áttekintés Absztrakció (monoszémia)

12 egyváltozós predikátumok 1474 lány N girl puella dziewczyna: female, child 112 acél N steel chalybs stal: metal, hard, strong kétváltozós predikátumok 1656 mell N breast mamma pier±: two, organ, breast ON chest, woman HAS breast 1233 kard N sword gladius miecz: weapon, sword HAS blade[<long>,pointed], sword HAS edge mélyesetek 102 átenged V pass concedo przepu±ci : NOM LET[DAT HAS ACC] 2374 tesz V put pono kªa± : NOM CAUSE[ACC AT OBL], NOM MOVE ACC, ACC[object] többargumentumúak visszavezetése kétargumentumúakra (Kornai 2012)

13 alapértelmezett (default) 1614 medence N pool piscina basen: water IN, <swim> IN, <play> IN 1724 mos V wash lavo myc1: CAUSE[ACC[clean]], INSTRUMENT liquid, INSTRUMENT <soap>, INSTRUMENT rub eseményszerkezet: before[], after[] 715 fagy N freeze gelu mróz: cold CAUSE, before[liquid], after[solid,<ice>] 2616 vezet V guide rego prowadzi : CAUSE[ACC HAS information], information ABOUT place 1026, after[acc AT place 1026 ] tagadás az alapértelmezett l való eltérés 500 e1j N night nox noc: period, FOLLOW sunset, sunrise FOLLOW, dark, lack(sun), <sleep AT> 931 gyerek N child puer/puella dziecko: person, young, lack(responsible), parent MAKE

14 Áttekintés Absztrakció (monoszémia)

15 Az alapszókincs a lexikográa régi problémája a körkörösség, valódi létezik a szótáraknál szokásos megoldás: deniáló szókincs (DV) Longman: lang: uroborosz tulajdonságú szóhalmaz maradnak primitívek maradnak körök hivatkozunk érzékletekre (függ leges) és az enciklopédia elemeire (baseball) kötött morfémák (seventh)

16 A deníciós gráf

17 A deníciós gráf csúcsok: fogalmak, db irányított élek: `acél' `fém', 7816 db

18 a szókincs súlyozása a deníciókban való fontosság szerint véletlen séta határeloszlása a véletlen séta határeloszlása egyértelm a gráf er sen összefügg egy u és egy v csúcs er sen összefügg, ha van u v és v u út ekvivalenciareláció, komponensei az er sen összefügg komponensek

19 A 4lang gráf er sen összefügg komponensei méret db {yellow, four, sleep, under, lack, month... } 12 1 {január, február,..., december} 7 1 {hétf, kedd,..., vasárnap} 5 1 {furniture, chair, table, bed, cupboard} 4 3 {queen, royal, monarch, king}, {cereal, our,... } {male, sex, female}, {calm, disturb, upset}, {exist, real}, {reason, cause}, {child, parent}, {PART_OF}, {other}, {IS_A}, {number},...

20 Page Rank, csillapítás Page Rank: az átmenetmátrixot csillapítással (damping) er sen összefügg vé tesszük M d (i, j) = 1 d N + dm(i, j) ahol az M mátrix N N-es d 1 esetén a Page Rank közelíti az eredeti séta határeloszlását

21

22 terv: a Longman szótár szavának lefordítása a mi formalizmusunkba gépi tanulással Köszönöm a gyelmet!

23 A fogalmak Page Rankje hatványeloszlást követ? p(x) x α fennáll? Clauset és tsai 2009 α = x min = KolmogorovSmirnov-statisztika: > 0.1, nem rossz kellne még: likelihood-arány tesztek likelihood-ratio tests

24 Deníciók bonyolultsága az átmenetmátrix legnagyobb jobboldali sajátértékéhez tartozó sajátvektor koordinátái mind read autumn brain feel understand remember summer sensible spring 2318