Számítógépes Nyelvészet nyelvi adatbázisok és használatuk Mesterséges Intelligencia előadás http://www.inf.u-szeged.hu/hlt 5/3/2011 1
Tartalom A számítógépes szövegfeldolgozás célja Nyelvi adatbázisok szerepe Szófaji kódolás - MSD kódrendszer Korpuszok és a treebank Szófaji egyértelműsítés Főnévi csoportok (NP) felismerés 5/3/2011 2
A Szövegfeldolgozás célja Nagy mennyiségű elektronikusan tárolt, írott formátumú szöveg feldolgozása (fájlrendszer, adatbázis, web) Alapvetően információkezelési okokból: keresés, dokumentum visszakeresés, indexelés Fejlettebb módszereknél a tárolt információ tömör formában történő összegzése: csak a kívánt információ megjelenítése, kivonatolás, szövegbányászat 5/3/2011 3
Nyelvi adatbázisok I. A nyelvi adatbázisok létrehozásának lehetséges céljai: számítógépes algoritmusok fejlesztése a segítségükkel, tanuló adatbázis, teszt adatbázis, eddig fel nem ismert jelenségek kutatása, a nyelv változásának követése A nyelvi adatbázisok fajtái: gyűjtött szöveg adott forrásból (újság, hírügynökség), lejegyzett szöveg (rádió, parlament), weben halmozódó blog, (hír)portál, jogszabályok gyűjteménye, tematikusan gyűjtött szöveg (gazdasági, jogi, EU, orvosi, stb.) Annotálás: nyelvi jelenségek megjelölése a szövegben. Kiválóan alkalmasak erre a célra az ún. Mark-up (jelölő) nyelvek (HTML, SGML, XML) Annotált nyelvi adatbázisok: szófaji kódolás és egyértelműsítés bemutatására, mondatelemzés bemutatása, információkinyerés bemutatása 5/3/2011 4
Nyelvi adatbázisok II. Szakszóval korpusznak nevezik az adott célból gyűjtött elektronikus szövegtárakat. A korpusz adott nyelvi jelenségeket magába foglaló, tervezett elrendezésű, elegendően nagy méretű adattár. BNC (British National Corpus, http://www.natcorp.ox.ac.uk) OTA (Oxford Text Archive, http://ota.ahds.ac.uk) Gutenberg project, http://www.gutenberg.org) ETCSL (Electronic Text Corpus of Sumerian Literature, http://www-etcsl.orient.ox.ac.uk) PubMed (http://www.pubmed.gov)( JRC Acquis Corpus (http://langtech.jrc.it/jrc-( Acquis.html) 5/3/2011 5
Nyelvi adatbázisok III. Magyar szövegtárak MTSZ (Magyar Történelmi Szövegtár http://www.nytud.hu/hhc) DIA (Digitális Irodalmi Akadémia, http://www.pim.hu) MEK (Magyar Elektronikus Könyvtár, http://mek.oszk.hu) Szószablya (http://www.szoszablya.hu)( emagyarország (http://www.magyarorszag.hu)( Parlament (http://www.parlament.hu)( Újságok (http://www.hvg.hu,( http://www.nol.hu, http://www.mno.hu, http://www.magyarhirlap.hu) 5/3/2011 6
Nyelvi adatbázisok IV. Számítógépes nyelvészeti adatbázisok LDC (Linguistic Data Consortium, http://www.ldc. upenn.edu), ELRA (European Language Resources Association, http://www.elra.info), MNSZ (Magyar Nemzeti Szövegtár, http://www.nytud.hu/mnsz) Szeged Korpusz (http://www.inf.u-szeged.hu/hlt)( 5/3/2011 7
Nyelvi adatbázisok IV. A nyelvi adatbázisok létrehozásának lehetséges céljai: számítógépes algoritmusok fejlesztése a segítségükkel, tanuló adatbázis, teszt adatbázis, eddig fel nem ismert jelenségek kutatása, a nyelv változásának követése A nyelvi adatbázisok fajtái: gyűjtött szöveg adott forrásból (újság, hírügynökség), lejegyzett szöveg (rádió, parlament), weben halmozódó blog, (hír)portál, jogszabályok gyűjteménye, tematikusan gyűjtött szöveg (gazdasági, jogi, EU, orvosi, stb.) Annotálás: nyelvi jelenségek megjelölése a szövegben. Kiválóan alkalmasak erre a célra az ún. Mark-up (jelölő) nyelvek (HTML, SGML, XML) Annotált nyelvi adatbázisok: szófaji kódolás és egyértelműsítés bemutatására, mondatelemzés bemutatása, információkinyerés bemutatása 5/3/2011 8
Szófaji kódolás Multext-East EU projekt 1995-97. (http://nl.ijs.si/me/) A morfoszintaktikai leírás (MorphoSyntactic Description = MSD) magyar nyelvre alkalmazható változata Jellemzői: Az MSD-kódolásban a tulajdonságok kódolása egy adott pozíción történik Az értékek egyetlen karakterrel vannak kódolva 5/3/2011 9
MSD kódrendszer Példa: Főnevek (Noun) N asztalt: MSD=Nc-sa, Gábornak : MSD=Np-sg vagy MSD=Np-sd Pozíció 2 Típus Attribútum Lehetséges értékek köznév (common) tulajdonnév (proper) 3 Nem - - 4 Szám 5 Eset egyes (singular) többes (plural) alany (nominative) tárgy (accusative) birtokos (genitive) részes (dative) c p s p n a g d Kód Toldalékok (jelek, ragok) Ø -k; -i, -ai/-ei, - jai/-jei; -ék Ø -t Ø, -nak/-nek -nak/-nek Példa asztal(om) asztalok, asztalaim szomszédék asztal(om) asztal(oma)t asztalnak asztalnak 5/3/2011 10
foglalnának: Vmcp3p MSD kódrendszer Példa: Igék (Verb) V Pozí ció Attribútum Lehetséges értékek Kód Toldalékok (jelek, ragok) Példa 2 Típus fő (main) segéd (auxiliary) m a fog 3 Mód/forma kijelentő (indicative) felszólító (imperative) feltételes (conditional) főnévi igenév (infinitive) i m c n Ø -j, -jj, -gy, -ggy -(n)na/-(n)ne, -ana/-ene -ni 4 Idő jelen (present) múlt (past) 5 Személy első (1) második (2) harmadik (3) 5/3/2011 11 p s 1 2 3 Ø -t/-tt/-ott/-ett várok vársz vár
A Szintaxis modellezése Frázis struktúra (ágrajz) A kötetlen szórend miatt a magyar nyelvben ez nehézséget okoz. A mondatrészek nem minden esetben rendezhetők fába. Dependencia struktúra (függőségi fa) Minden szónak van egy hierarchiában felette álló őse. Az egész mondat felett áll egy virtuális ROOT (gyökér) csomópont, ami alá tartoznak a mondat szavai. Lazább szerkezet, 5/3/2011 12
Speciális (nyílt) tokenosztályok Megnevezés Alcsoportok Példák Szónál kisebb tokenek m morfémák Az -tól/-t ől tagos esetben... Idegen szavak, kifejezések f idegen (foreign) kifejezések Cogito ergo sum a latin közmondás szerint... Elektronikus címek (web, mail, útvonal,...) A www.huninet.hu... Az e-mail címe: bubo@doktor.hu Indexek ő (alsó- illetve fels index) Számot tartalmazó tokenek w www cím m e-mail cím p számítógépes útvonal (fájl) e számítógépes fájl kiterjesztés o egyéb cím l alsó (lower) index u ő ( fels upper) index r (sport) eredmények t őpontok id f tizedes törtes mennyiségek (vagy pontot tartalmazó számok) p százalék értékek g fok jelet tartalmaz s őjeles (egész számok) q arányokat tartalmazó tokenek m méretetek e kifejezések x egyéb tokenek Az értékelés.doc fájlban található... A.doc és a.rtf ű... kiterjesztés Az A mátrix a ij elemei... 2:0-ra verte a Fradi a... A vonat 16:30-kor indul. A pi ően értéke 3 közelít.14. A bevétel 300.000 Ft volt. A kamatláb 40.2%... A őmérséklet keddi h -3 volt. A 1, +2 intervallumban... A kenyér energiatartalma 450 kcal/100g. A szoba mérete 5x3m volt. A 2+2=4 összeadás eredménye... 5/3/2011 13
Tulajdonnevek Az alábbi fontosabb csoportok automatikus felismerésére készül egy szabályrendszer a CLaRK http://btb.math.bas.bg/clark/index.html (ingyenes) XML alapú korpusz fejlesztő eszközzel. A cél: automatikus tulajdonnév felismerő rendszer készítése. személynevek (a kereszt és vezetéknevek adatbázisát felhasználva, az id. ifj. özv. dr. prof. asszonynév (- né),... képzési formákat cégnevek (akroním, hosszú név, tevékenység, cégforma [rt. kft. bt.]). Intézmények (iskola, gimnázium, főiskola, egyetem, intézet, minisztérium, hivatal,...) földrajzi nevek (ismert nevek, továbbá az utca, út, dülő, patak, hegy, domb, falu, rét, ösvény, fasor,... egyéb tulajdonnevek
Annotáció Többszintű NP struktúrák jelölése <NP> és </NP> A tagmondatok jelölése <CP> tagekkel A nem egyértelmű annotáció jele <XP comment= > Részletes útmutató alapján dolgozó annotátorok Egy fájlt 2 személy egymástól függetlenül annotált
Az NP (névszói szerkezet) annotálásának fontosabb alapelvei Egy névszói szerkezet alapvetően egy (ragozott) főnévből és az előtte álló bővítményekből áll. A névszói szerkezetek lehetnek egymásba ágyazottak, de a belső névszói szerkezet teljes egészében benne van az őt tartalmazó névszói szerkezetben. A főnév bővítményei a névelő, számnevek és a jelzők. A főnév után álló névutó, határozószó már nem része a főnévhez tartozó névszói szerkezetnek.
Egy NP-szerkezet ágrajza NP NP NP NP Ritkán vette (tudomásul) {[(az ablak) előtt ülő asszony] jelenlétét} 5/3/2011 18
Az NP-annotált szövegrészlet vázlata 1 Ritkán 2 vette <NP> 3 tudomásul </NP> <NP> <NP> <NP> 4 az 5 ablak </NP> 6 előtt 7 ülő 8 asszony </NP> 9 jelenlétét </NP> 10. 5/3/2011 19
Az gazdagított szerkezet ágrajza ADVP V NP* NP** HEAD CHILDREN NP v NODE NODE ADJP NP* NP** PP NP Ritkán vette (tudomásul) {[(az ablak) előtt ülő asszony] jelen 5/3/2011 20
A gazdagított annotálás XML- struktúrája <ADVP> 1 Ritkán </ADVP> <V'> <HEAD VERB_INDEX="#8875"> <V> 2 vette </V> </HEAD> <CHILDREN> <NODE ARGS= 3" type="np"/> <NODE ARGS= 4 5 6 7 8 9" type="np"/> </CHILDREN> </V'> <NP> 3 tudomásul </NP> <NP> <NP> <ADJP> <PP> <NP> 4,5 az ablak </NP> 6 előtt </PP> 7 ülő </ADJP> 8 asszony </NP> 9 jelenlétét </NP> 10. 5/3/2011 21