Intelligens elektronikus szótár és lexikai adatbázis

HTML
DOWNLOAD

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Intelligens elektronikus szótár és lexikai adatbázis"

Erika Katona
9 évvel ezelőtt
Látták:

1 Intelligens elektronikus szótár és lexikai adatbázis IHM-ITEM 48/2002 Oravecz Csaba MTA Nyelvtudományi Intézet Korpusznyelvészeti osztály

2 Bevezetés a jelenlegi helyzet: nincs az informatikai rendszerekben alkalmazható, megfelelő kifejtettségű nyelvi információt tartalmazó elektronikus szótár, lexikai adatbázis cél: nagyméretű lexikai adatbázis (LAB) kifejlesztése kiindulópont: tartalmi: Magyar értelmező kéziszótár (ÉKsz.) átdolgozott változat; kb címszó technológiai: CONCEDE (Consortium for Central European Dictionary Encoding) COPERNICUS projekt eszköz: CONCEDE technológia + humán erőforrás

kiindulópont: tartalmi: Magyar értelmező kéziszótár (ÉKsz.) átdolgozott változat; kb. 70.

3 Szótárak és lexikai adatbázisok könyv alakú szótár a nyelvet értő emberi olvasásra készült egyedi szerkezeti felépítésű szerkezeti elemek jelölése tipográfiai jegyekkel erősen tömörített, nehezen formalizálható információ szerkezeti, tartalmi, tipográfiai hibákkal

elemek jelölése tipográfiai jegyekkel erősen tömörített, nehezen

4 Szótárak és lexikai adatbázisok géppel olvasható szótár lényegében papírszótár vmilyen elektronikus formátumban nagyszámú szerkezeti elem egyértelmű interpretáció nélkül lexikai adatbázis (LAB) sztenderdizált, jól definiált szerkezet elkülönített szerkezeti és tartalmi elemek nyelvtechnológiai szempontból releváns információ kevés elem, jól definiált interpretációval előállítás: tartalmi és szerkezeti explikációval (up-translation)

sztenderdizált, jól definiált szerkezet elkülönített szerkezeti és tartalmi elemek nyelvtechnológiai

5 Az ÉKsz könyvváltozata hegedül tn és ts ige 1. Hegedűn játszik (vmit). 2. vál <Tücsök> ciripel. felépítés: címszó szótári alak; bevezető rész; értelmező és szemléltető rész információ feldolgozása, "kinyerése": a nyelvet (és a használati útmutatót is) jól ismerő olvasó által a címszó lineáris feldolgozása során végzett számos implicit "nyelvfeldolgozó", értelmező művelet (pl. tömörítések feloldása)

feldolgozása, "kinyerése": a nyelvet (és a használati útmutatót is) jól ismerő olvasó által a címszó

6 Az ÉKsz könyvváltozata hegedül tn és ts ige 1. Hegedűn játszik (vmit). 2. vál <Tücsök> ciripel. felépítés: címszó szótári alak; bevezető rész; értelmező és szemléltető rész információ feldolgozása, "kinyerése": a nyelvet (és a használati útmutatót is) jól ismerő olvasó által a címszó lineáris feldolgozása során végzett számos implicit "nyelvfeldolgozó", értelmező művelet (pl. tömörítések feloldása)

7 Az ÉKsz könyvváltozata hegedül tn és ts ige 1. Hegedűn játszik (vmit). 2. vál <Tücsök> ciripel. felépítés: címszó szótári alak; bevezető rész; értelmező és szemléltető rész információ feldolgozása, "kinyerése": a nyelvet (és a használati útmutatót is) jól ismerő olvasó által a címszó lineáris feldolgozása során végzett számos implicit "nyelvfeldolgozó", értelmező művelet (pl. tömörítések feloldása)

8 Az ÉKsz könyvváltozata hegedül tn és ts ige 1. Hegedűn játszik (vmit). 2. vál <Tücsök> ciripel. felépítés: címszó szótári alak; bevezető rész; értelmező és szemléltető rész információ feldolgozása, "kinyerése": a nyelvet (és a használati útmutatót is) jól ismerő olvasó által a címszó lineáris feldolgozása során végzett számos implicit "nyelvfeldolgozó", értelmező művelet (pl. tömörítések feloldása)

9 Az első elektronikus változat Példa \entry{\lemma{hegedül\qlemma} \gramgrp{\subc{tn\qsubc} \pos{ige\qpos}\qgramgrp} \es{} \gramgrp{\subc{ts\qsubc} \pos{ige\qpos}\qgramgrp} \sense{\num{1.} \defi{hegedűn játszik \hint{vmit\qhint}.\qdefi} \qsense{1.}} \sense{\num{2.} \usg{vál\qusg} \defi{\gloss{tücsök\qgloss} ciripel.\qdefi} \qsense{2.}} \qentry}

$\pos{ige\qpos}\qgramgrp} \sense{\num{1.} \defi{hegedűn játszik \hint{vmit\qhint}.$

10 Az első elektronikus változat félúton a papírszótár és a géppel olvasható szótár között kísérlet a címszó elemeinek és a köztük lévő hierarchikus viszonyoknak a leképezésére következetlen kódolás, nehezen azonosítható hibák gépi ellenőrzés nem alkalmazható

lévő hierarchikus viszonyoknak a leképezésére következetlen

11 A géppel olvasható szótár az ÉKsz elektronikus változata, ezért ugyanabban a lineáris és tömörített formában hordozza az információt tipográfia még mindig elsődleges szabványos XML kódolású szócikkelemek elemszerkezet DTD által meghatározott "megengedő" DTD, nagyszámú elem, nem egyértelmű interpretáció

mindig elsődleges szabványos XML kódolású szócikkelemek elemszerkezet DTD

12 A kiinduló XML változat Példa <entry id="id "> <lemma>hegedül</lemma> <gramgrp> <subc>tn <logi type="es"/> ts</subc> <pos>ige</pos> </gramgrp> <sensevar> <def>hegedűn játszik <hint>vmit</hint>.</def> </sensevar> <sensevar> <usg>vál</usg> <def><gloss>tücsök</gloss> ciripel.</def> </sensevar> </entry>

<sensevar> <def>hegedűn játszik <hint>vmit</hint>.

13 Szócikkszerkezet DTD: kiterjesztett környezetfüggetlen nyelvtan (ECFG) leírt szerkezet egy fában ábrázolható lemma subc entry gramgrp sensevar sensevar pos def usg def 1. ábra. A példaszócikk elemágrajza.

14 Szócikkszerkezet a szócikk emberi feldolgozásának gépi modellje (információkinyerés): fabejárás problémák: milyen elemek vezetnek be új információs csomópontot? hogyan "áramlik" az információ egyik csomópontról a másikra? (szülő csomópontról öröklődik SUBC??) def: hegedűn játszik (vmit) lemma: hegedül pos: ige subc: tn,ts usg: vál def: <tücsök> ciripel

hogyan "áramlik" az információ egyik csomópontról a másikra?

15 Szócikkszerkezet a szócikk emberi feldolgozásának gépi modellje (információkinyerés): fabejárás problémák: milyen elemek vezetnek be új információs csomópontot? hogyan "áramlik" az információ egyik csomópontról a másikra? (szülő csomópontról öröklődik SUBC??) def: hegedűn játszik (vmit) subc: tn,ts?? lemma: hegedül pos: ige subc: tn,ts usg: vál def: <tücsök> ciripel subc: tn,ts??

hogyan "áramlik" az információ egyik csomópontról a másikra? (szülő csomópontról öröklődik SUBC?

16 A lexikai adatbázis szerkezeti elem: információs csomópontot reprezentál (STRUC) értelmezés: diszjunktív; az adott címszó egy-egy elemi használati módját reprezentálja tartalmi elemek: információt hordoznak (jegy-érték reprezentációban: jegy = elem neve; érték = elem tartalma) értelmezés: konjunktív; egy szerkezeti elem közvetlen leszármazott tartalmi elemei által hordozott információ mind érvényes az adott csomópontban

(jegy-érték reprezentációban: jegy = elem neve; érték = elem tartalma) értelmezés: konjunktív; egy

17 A lexikai adatbázis információáramlás: öröklődés a csomópontok között kumulatív: a csomópontok bejárása során az azonos jegyek értéke összeadódik (pl. USG?) felülíró: az azonos jegyek közül az adott csomópontban a legközelebbi értéke érvényes tartalmi elemek meghatározása: azon információtípusok, ahol a felülírás nem áll fenn, különböző elemekként jelennek meg (USG REG, GEO, DOMAIN stb.) egymást felülíró információtípusok: azonos elem különböző tartalom (POS, SUBC stb)

) felülíró: az azonos jegyek közül az adott csomópontban a legközelebbi értéke érvényes tartalmi elemek meghatározása:

18 Az adatbázis formátum Példa <entry id="hegedül.1"> <hw>hegedül</hw><orth>hegedül</orth><pos>ige</pos> <struc id="hegedül.1.1" type="sense"> <subc>tn</subc> <def>hegedűn játszik</def> </struc> <struc id="hegedül.1.2" type="sense"> <subc>ts</subc> <def>hegedűn játszik <obj/></def> </struc> <struc id="hegedül.1.3" type="sense"> <subc>tn</subc><reg>vál</reg><agent>tücsök</agent> <def>ciripel</def> </struc> </entry>

1.2" type="sense"> <subc>ts</subc> <def>hegedűn játszik <obj/></def> </struc> <struc id="hegedül.1.3"

19 Szócikkszerkezet a LAB-ban hw orth pos struc (1) entry struc (2) struc (3) subc (tn) def subc (ts) def subc (tn) reg agent def 2. ábra. A példaszócikk elemágrajza a LAB-ban.

20 Szócikkszerkezet a LAB-ban subc: tn def: hegedűn játszik hw: hegedül orth: hegedül pos: ige subc: ts def: hegedűn játszik OBJ subc: tn usg: vál agent: tücsök def: ciripel 3. ábra. A fabejárás során kiolvasható információ a LAB-ban.

játszik OBJ subc: tn usg: vál agent: tücsök def: ciripel

21 Információkinyerés a LAB-ból a szócikkszerkezet minden egyes csomópontjához egyértelmű és kimerítő információ tartozik

22 Információkinyerés a LAB-ból a szócikkszerkezet minden egyes csomópontjához egyértelmű és kimerítő információ tartozik 1. az adott csomópontnál van megadva

23 Információkinyerés a LAB-ból a szócikkszerkezet minden egyes csomópontjához egyértelmű és kimerítő információ tartozik 1. az adott csomópontnál van megadva 2. öröklődik magasabb csomópontból

24 Információkinyerés a LAB-ból a szócikkszerkezet minden egyes csomópontjához egyértelmű és kimerítő információ tartozik 1. az adott csomópontnál van megadva 2. öröklődik magasabb csomópontból minél alacsonyabb szintű csomópont a fában, annál specifikusabb információt tartalmaz az adott címszó egy elemi használatáról

25 Információkinyerés a LAB-ból hw: hegedül orth: hegedül pos: ige subc: tn def: hegedűn játszik subc: ts def: hegedűn játszik vmit subc: tn usg: vál agent: tücsök def: ciripel

26 Információkinyerés a LAB-ból subc: tn def: hegedűn játszik hw: hegedül orth: hegedül pos: ige subc: tn def: hegedűn játszik vmit ö hw: hegedül subc: tn usg: vál agent: tücsök def: ciripel

27 Információkinyerés a LAB-ból subc: tn def: hegedűn játszik hw: hegedül orth: hegedül pos: ige subc: tn def: hegedűn játszik vmit örö hw: hegedül orth: hegedül subc: tn usg: vál agent: tücsök def: ciripel

28 Információkinyerés a LAB-ból subc: tn def: hegedűn játszik hw: hegedül orth: hegedül pos: ige subc: tn def: hegedűn játszik vmit örököl hw: hegedül orth: hegedül pos: ige subc: tn usg: vál agent: tücsök def: ciripel

29 Feladatok a LAB kialakítása során tipográfiai szempontú kódolás átalakítása (különböző elemek azonos tipográfiával következetlen kódolás) szótári tömörítés feloldása szerkezeti (v.ö. "hegedül") tartalmi bronz Réznek és ónnak az ötvözete biz Ebből készült (mű)tárgy, kül. érem. ad... Vmire v. vminek adja magát v. a fejét: vmire szánja, ill. vminek átengedi magát.

30 Feladatok a LAB kialakítása során nem releváns információ törlése (központozás, nyelvhelyességi "útmutató"), hibajavítás validáció szerkezeti: XML validáló elemző tartalmi: manuális ellenőrzés kiválasztott elemeken

31 A projekt várható eredménye nagyméretű, szabványos formátumú lexikai adatbázis explicit, jól definiált, géppel értelmezhető reprezentáció számítógépes nyelvfeldolgozó alkalmazások alapja hálózati lekérdező felület strukturált formában kinyerhető információ többszempontú lekérdezési lehetőség

32 VÉGE Typeset by FoilTEX Powered by Linux

Hasonló dokumentumok

Az annotáció elvei. Oravecz Csaba MTA Nyelvtudományi Intézet {oravecz}@nytud.hu. MANYE vitaülés 2006. február 20.

Az annotáció elvei. Oravecz Csaba MTA Nyelvtudományi Intézet {oravecz}@nytud.hu. MANYE vitaülés 2006. február 20. Oravecz Csaba MTA Nyelvtudományi Intézet {oravecz}@nytud.hu MANYE vitaülés 2006. február 20. Bevezetés Nyelvi erőforrások, szöveges adatbázisok növekvő jelentősége. Bevezetés Nyelvi erőforrások, szöveges