Egy szónak is száz a vége
|
|
|
- Ödön Király
- 9 évvel ezelőtt
- Látták:
Átírás
1 Egy szónak is száz a vége Oravecz Csaba MTA Nyelvtudományi Intézet Korpusznyelvészeti osztály oravecz@nytud.hu
2 Bevezetés mit lát a számítógép a természetes nyelvi megnyilatkozásokból? karaktersorozatokat a z a v a r s í r : 11 azonos típusú elemi egység
3 Bevezetés mit lát a számítógép a természetes nyelvi megnyilatkozásokból? karaktersorozatokat a z a v a r s í r : 11 azonos típusú elemi egység a beszélők számára azonban számos fontos tulajdonsággal rendelkező nyelvi jelekké állnak össze
4 Bevezetés mit lát a számítógép a természetes nyelvi megnyilatkozásokból? karaktersorozatokat a z a v a r s í r : 11 azonos típusú elemi egység a beszélők számára azonban számos fontos tulajdonsággal rendelkező nyelvi jelekké állnak össze a környezetüktől függően alapvető tulajdonságaik változtathatnak
5 Bevezetés mit lát a számítógép a természetes nyelvi megnyilatkozásokból? karaktersorozatokat a z a v a r s í r : 11 azonos típusú elemi egység a beszélők számára azonban számos fontos tulajdonsággal rendelkező nyelvi jelekké állnak össze a környezetüktől függően alapvető tulajdonságaik változtathatnak Az őszi avar sír a lába alatt.
6 Bevezetés mit lát a számítógép a természetes nyelvi megnyilatkozásokból? karaktersorozatokat a z a v a r s í r : 11 azonos típusú elemi egység a beszélők számára azonban számos fontos tulajdonsággal rendelkező nyelvi jelekké állnak össze a környezetüktől függően alapvető tulajdonságaik változtathatnak Az őszi avar sír a lába alatt. Csak az veri fel az erdő csendjét, mivel az avar sír eddig feltáratlan maradt.
7 Számítógép és nyelvi elemzés csináljunk a számítógép számára a homogén karakterfüzérből nyelvi jelet: határozzuk meg a kiterjedését és adjuk meg a tulajdonságait első lépésben a szóalakok mint elemi egységek szintjén kézi adatbevitel?? 1 kódoló személy MNSZ: 150 millió szó; 2 sec/szó (napi 24 órában) 9 év, 187 nap (inkább) automatikus eljárás morfoszintaktikai annotáció morfológiai elemzés egyértelműsítés
8 Morfológiai elemzés miért?
9 Morfológiai elemzés miért? Szótő Fn Birtokos van nincs Szám Szem Szám "-é(i)" nincs Eset Nom(-) Acc(-t) Dat(-nAk) Sub(-rA)......
10 Morfológiai elemzés miért? Szótő Fn Birtokos van nincs Szám Szem Szám "-é(i)" nincs Eset Nom(-) Acc(-t) Dat(-nAk) Sub(-rA) lapjaitokéinak
11 Morfológiai elemzés miért? Szótő Fn Birtokos van nincs Szám Szem Szám "-é(i)" nincs Eset Nom(-) Acc(-t) Dat(-nAk) Sub(-rA) lapjaitokéinak lapokéit
12 Morfológiai elemzés miért? Szótő Fn Birtokos van nincs Szám Szem Szám "-é(i)" nincs Eset Nom(-) Acc(-t) Dat(-nAk) Sub(-rA) lapjaitokéinak lapokéit 681 lehetséges alak
13 A bemenő XML szöveg Példa <div type="test"> <head>mire jó a nyelvtechnológia?</head> <opener> <dateline>infotrend <date iso8601=" ">2003. november 27.</date> </dateline> </opener> <p> Az őszi avar sír a lába alatt. Csak az veri fel az erdő csendjét, mivel az avar sír eddig feltáratlan maradt. </p> </div>
14 Szegmentálás és morfológiai elemzés bemenő folyó szöveg mondatokra tagolása és a mondatok szavakra bontása morfológiai elemző: karakterfüzérekhez mint szóalakokhoz hozzárendeli minden lehetséges morfológiai elemzésüket
15 Morfológiailag elemzett szöveg Példa... 4*1 TOK INFOtrend BOS INFOtrend*[N][NOM] 5*1 DATE 2003._november_27. EOS 2003._november_27.*[DATUM] # )SENT </S> # (SENT <S> 7*1 TOK Az BOS az*[det] az*[pro][nom] 7*4 TOK őszi őszi*[a][nom] 7*9 TOK avar avar*[a][nom] avar*[n][nom] 7*14 TOK sír sír*[n][nom] sír*[v][e3] 7*18 TOK a a*[det] 7*20 TOK lába láb*[n][pse3][nom] 7*25 TOK alatt alatt*[adv] alatt*[nu] 7*30 PTERM. EOS.*SPUNCT # )SENT </S> # (SENT <S>
![*[DATUM] # )SENT </S> # (SENT <S> 7*1 TOK Az BOS az*[det] az*[pro][nom] 7*4 TOK őszi őszi*[a][nom] 7*9 TOK avar](/docs-images/40/12701/images/page_15.jpg "avar*[a][nom] avar*[n][nom] 7*14 TOK sír sír*[n][nom] sír*[v][e3] 7*18 TOK a a*[det] 7*20 TOK lába")
16 8*1 TOK Csak BOS csak*[adv] 8*6 TOK az az*[det] az*[pro][nom] 8*9 TOK veri ver*[v][te3] 8*14 TOK fel fel*[adv] fel*[n][nom] fel*[pre] 8*18 TOK az az*[det] az*[pro][nom] 8*21 TOK erdő erdő*[n][nom] 8*26 TOK csendjét csend*[n][pse3][acc] 8*34 PUNCT,,*WPUNCT 9*1 TOK mivel mivel*[con] mi*[pro][ins] mivel*[adv] 9*7 TOK az az*[det] az*[pro][nom] 9*10 TOK avar avar*[a][nom] avar*[n][nom] 9*15 TOK sír sír*[n][nom] sír*[v][e3] 9*19 TOK eddig ez*[pro][ter] 9*25 TOK feltáratlan feltáratlan*[a][nom] 9*37 TOK maradt maradt*[mib][nom] marad*[v][me3] 9*43 PTERM. EOS.*SPUNCT # )SENT </S>
![mi*[pro][ins] mivel*[adv] 9*7 TOK az az*[det] az*[pro][nom] 9*10 TOK avar avar*[a][nom] avar*[n][nom] 9*15 TOK sír sír*[n][nom] sír*[v][e3] 9*19](/docs-images/40/12701/images/page_16.jpg "TOK eddig ez*[pro][ter] 9*25 TOK feltáratlan feltáratlan*[a][nom] 9*37 TOK maradt maradt*[mib][nom] marad*[v][me3] 9*43 PTERM. EOS.")
17 Alaktani többértelműség kezdtek, végeztek, terem, állam, köröm, hullám, tanára, művére, női, sort, bájt, termet, nemzeti, feji, telefon, mondat, lejár, élek, sírok, laknak, falnak, halnak, telefonnak, váza, kacsa, héja, léptet, ereszt, béget, sikerül, települ, diák, torok, tubák, törtet, kopaszt, horpaszt, kisebben, fürgébben, adunk, kapunk, tudatunk
18 Egy szónak száz vége Alaktani többértelműség kezdtek, végeztek, terem, állam, köröm, hullám, tanára, művére, női, sort, bájt, termet, nemzeti, feji, telefon, mondat, lejár, élek, sírok, laknak, falnak, halnak, telefonnak, váza, kacsa, héja, léptet, ereszt, béget, sikerül, települ, diák, torok, tubák, törtet, kopaszt, horpaszt, kisebben, fürgébben, adunk, kapunk, tudatunk az Nm avar Fn sír Fn az Det avar Mn sír I eddig feltáratlan maradt MI maradt I
19 Morfoszintaktikai egyértelműsítés lehetséges elemzések közül a szövegkörnyezetbe, az adott mondatba illő kiválasztása 1 kódoló személy MNSZ: 150 millió szó; kb. 23% többértelmű; 1 sec/szó (napi 24 órában) 1 év, 35 nap nagy mennyiségű, változatos típusú szöveg gyors, a változatosságot jól kezelő automatikus módszer relatív gyakoriságon alapuló eljárás: az elemzések gyakoriságát, valamint (legfeljebb) szóhármasok elemzésének gyakoriságát veszi figyelembe (másodrendű rejtett Markov-modell)
20 Morfoszintaktikai egyértelműsítés a számítógépet meg kell tanítani a helyes elemzés kiválasztására 270 ezer szavas kézzel egyértelműsített tanító korpusz (17 óra) nyelvi modell adott kontextusban legvalószínűbb elemzés kiválasztása a nyelvi modellben tárolt információ alapján egyszerű modell: %-os teljesítmény
21 Szabály alapú modul egyértelműen megadható feltételek fennállása esetén 100%-os pontossággal működő szabályok 10%-kal csökkenthető a rosszul egyértelműsített esetek száma 2. az([pro] [Det]) - choose [Det] if followed by [N] beginning with vowel - choose [Pro] if followed by [Det] or [V] or [Con] or small case consonant or az? x.token=az x.msd={[pro],[det]} + [Det] f.msd=[n] f.bw=aáeéiíoóöőuúüűaáeéiíoóöőuúüű + [Pro] f.msd={[det],[v],[con]} + [Pro] f.bw=qwrtpsdfghjklmnbvcxz,:;.?! + [Pro] f.token=az 1. ábra. Egy egyértelműsítő szabály
22 Az egyértelműsítő eszközlánc XML bemenet = Szegmentáló Tokenizáló = HUMOR m. elemző = Szabály alapú szűrő = TnT tagger Nyelvi modell = XML konverzió Annotált = kimenet 2. ábra. Az egyértelműsítő lánc komponensei
23 Egy szónak száz vége A kiválasztott elemzés az Nm avar Fn az Det avar Mn sír Fn sír I eddig feltáratlan maradt MI maradt I
24 Egy szónak száz vége A kiválasztott elemzés az Nm avar Fn az Det avar Mn sír Fn sír I eddig feltáratlan maradt MI maradt I
25 A végleges XML kimenet Példa <div type="test"> <head> <s> <w lemma="mire" msd="adv">mire</w> <w lemma="jó" msd="a.nom">jó</w> <w lemma="a" msd="det">a</w> <w lemma="nyelvtechnológia" msd="n.nom">nyelvtechnológia</w> <c lemma="?" msd="spunct">?</c> </s> </head> <opener> <dateline> <w lemma="infotrend" msd="n.nom">infotrend</w> <date iso8601=" ">
26 <w lemma="2003._november_27." msd="datum">2003._november_27.</w> </date> </dateline> </opener> <p> <s> <w lemma="az" msd="det">az</w> <w lemma="őszi" msd="a.nom">őszi</w> <w lemma="avar" msd="n.nom">avar</w> <w lemma="sír" msd="v.e3">sír</w> <w lemma="a" msd="det">a</w> <w lemma="láb" msd="n.pse3.nom">lába</w> <w lemma="alatt" msd="nu">alatt</w> <c lemma="." msd="spunct">.</c> </s> <s> <w lemma="csak" msd="adv">csak</w> <w lemma="az" msd="pro.nom">az</w>
27 <w lemma="ver" msd="v.te3">veri</w> <w lemma="fel" msd="pre">fel</w> <w lemma="az" msd="det">az</w> <w lemma="erdő" msd="n.nom">erdő</w> <w lemma="csend" msd="n.pse3.acc">csendjét</w> <c lemma="," msd="wpunct">,</c> <w lemma="mivel" msd="adv">mivel</w> <w lemma="az" msd="det">az</w> <w lemma="avar" msd="a.nom">avar</w> <w lemma="sír" msd="n.nom">sír</w> <w lemma="ez" msd="pro.ter">eddig</w> <w lemma="feltáratlan" msd="a.nom">feltáratlan</w> <w lemma="marad" msd="v.me3">maradt</w> <c lemma="." msd="spunct">.</c> </s> </p> </div>
28 Összefoglalás már a gépi nyelvfeldolgozás kezdetén is számos olyan feladatot kell megoldani, ami a beszélők számára triviális megkerülhetetlen lépések minden további nyelvfeldolgozó alkalmazás számára a többértelműség a nyelvfeldolgozás minden szintjén megoldandó problémát jelent a bemutatott eljárás gyakorlati alkalmazása: MNSZ egyértelműsítése
29 VÉGE Typeset by FoilTEX Powered by Linux
1. MI A KORPUSZNYELVÉSZET?
1. MI A KORPUSZNYELVÉSZET? 1.1. Bevezetés Nem túlzás, ha azt állítjuk, hogy az utóbbi néhány évtizedben a korpuszok és a korpuszok tanulmányozása forradalmasította a nyelv és a nyelv alkalmazásának tanulmányozását.
Approaches to Hungarian Named Entity Recognition
Approaches to Hungarian Named Entity Recognition A magyar nyelvű tulajdonnév-felismerés módszerei Tézisfüzet Simon Eszter Pszichológia Doktori Iskola Kognitív Tudomány Budapesti Műszaki és Gazdaságtudományi
X. Magyar Számítógépes Nyelvészeti Konferencia MSZNY 2014. Szerkesztette: Tanács Attila Varga Viktor Vincze Veronika
X. Magyar Számítógépes Nyelvészeti Konferencia MSZNY 2014 Szerkesztette: Tanács Attila Varga Viktor Vincze Veronika Szeged, 2014. január 16-17. http://rgai.inf.u-szeged.hu/mszny2014 ISBN: 978 963 306 246
Országos kompetenciamérés 2013. Országos jelentés
Országos kompetenciamérés 2013 Országos jelentés Szerzők Balázsi Ildikó, Lak Ágnes Rozina, Szabó Vilmos, Szabó Lívia Dóra, Vadász Csaba Tördelő Szabó Ágnes Balázsi Ildikó, Lak Ágnes Rozina, Szabó Vilmos,
Az -ó/ ő képzős igenévi jelzős alakulatok helyesírá sáról korpusznyelvészeti alapon
432 Pethő Gergely Verécze Viktória Fehér Krisztina Az -ó/ ő képzős igenévi jelzős alakulatok helyesírá sáról korpusznyelvészeti alapon 1. Az írásgyakorlat és a helyesírási szabályok által meghatározott
Karán című konferencián, 2010. október 28-án elhangzott előadás szerkesztett változata.
Zólyomi Gábor Hogyan tanítsunk meg sumerül egy honlapot, és minek? 1 Az érdeklődő laikus vagy szakember, ha napjainkban ékírásos szövegeket szeretne tanulmányozni, akkor tudományos és kevésbé tudományos
BEVEZETÉS AZ INFORMATIKÁBA 1. rész TARTALOMJEGYZÉK
BEVEZETÉS AZ INFORMATIKÁBA 1. rész TARTALOMJEGYZÉK BEVEZETÉS AZ INFORMATIKÁBA 1. RÉSZ... 1 TARTALOMJEGYZÉK... 1 AZ INFORMÁCIÓ... 2 Az információ fogalma... 2 Közlemény, hír, adat, információ... 3 Az információ
C# feladatgyűjtemény
Eszterházy Károly Főiskola Matematikai és Informatikai Intézet C# feladatgyűjtemény Dr. Kovács Emőd emod@aries.ektf.hu Radványi Tibor dream@aries.ektf.hu Király Roland serial@aries.ektf.hu Hernyák Zoltán
Kísérleti gyógyszerinformációs rendszer beszédmodulokkal
beszédmodulokkal OLASZY GÁBOR, NÉMETH GÉZA, BARTALIS MÁTYÁS, KISS GÉZA, ZAINKÓ CSABA, FEGYÓ TIBOR BME Távközlési és MédiainformatikaiTanszék (BME TMIT) {olaszy, nemeth, bartalis, kgeza, zainko, fegyo}@tmit.bme.hu
Tartalmi keretek az olvasás diagnosztikus értékeléséhez. Szerkesztette: Csapó Benő és Csépe Valéria
Tartalmi keretek az olvasás diagnosztikus értékeléséhez Szerkesztette: Csapó Benő és Csépe Valéria Tartalmi keretek az olvasás diagnosztikus értékeléséhez TARTALMI KERETEK AZ OLVASÁS DIAGNOSZTIKUS ÉRTÉKELÉSÉHEZ
Mi ez pontosan? Miért készült? Miért nehéz?
Mi ez pontosan? A helyesírási tanácsadó portál egy olyan interneten keresztül elérhető szoftvereszköz, amely segít a mindenkori helyesírási szabályzat szerinti helyesen írott alak megtalálásában. A megoldás
Az autorizáció részletes leírása
Az autorizáció részletes leírása 1. REGISZTRÁCIÓ ÉS FELTÉTELEI 1.1 Regisztráció Az Autorizációs kérés előtt a szervezetnek vagy a magánszemélynek regisztráltatnia kell magát. A regisztrációs lapon megadott
Változások az Országos kompetenciamérés skáláiban
Változások az Országos kompetenciamérés skáláiban A skála módosításának okai A kompetenciamérések bevezetésénél is megfogalmazott, ám akkor adatvédelmi szempontok miatt nem megvalósítható igény volt, hogy
THE HUNGARIAN LANGUAGE IN THE DIGITAL AGE A MAGYAR NYELV A DIGITÁLIS KORBAN. Simon Eszter Lendvai Piroska Németh Géza Olaszy Gábor Vicsi Klára
White Paper Series Fehér könyvek sorozat THE HUNGARIAN LANGUAGE IN THE DIGITAL AGE A MAGYAR NYELV A DIGITÁLIS KORBAN Simon Eszter Lendvai Piroska Németh Géza Olaszy Gábor Vicsi Klára White Paper Series
A mintavételezéses mérések alapjai
A mintavételezéses mérések alapjai Sok mérési feladat során egy fizikai mennyiség időbeli változását kell meghatároznunk. Ha a folyamat lassan változik, akkor adott időpillanatokban elvégzett méréssel
Kognitív és affektív fejlôdési folyamatok diagnosztikus értékelésének lehetôségei az iskola kezdô szakaszában
Kognitív és affektív fejlôdési folyamatok diagnosztikus értékelésének lehetôségei az iskola kezdô szakaszában Szerkesztette: Csapó Benő és Zsolnai Anikó Kognitív és affektív fejlõdési folyamatok diagnosztikus
Skatulya-elv. Sava Grozdev
Skatulya-elv Sava Grozdev Egy alapvető szabály, azaz elv azt állítja, hogy: ha m testet szétosztunk n csoportba és m > n, akkor legalább két test azonos csoportba fog kerülni. Ezt az elvet különböző országokban
Az ideális munkatárs profiljának véglegesítése, az üzleti eredmények megvalósításához szükséges kulcskompetenciák meghatározásán keresztül.
Az ideális munkatárs profiljának véglegesítése, az üzleti eredmények megvalósításához szükséges kulcskompetenciák meghatározásán keresztül. A HOGYAN kell csinálni? lista összeállítása Ez a tanulmány egy
EMBER INFORMÁCIÓ RENDSZER
EMBER INFORMÁCIÓ RENDSZER Avagy mit kell tudni az információs rendszerekről? HALASSY BÉLA Budapest, 1996. A szerkesztést a szerző végezte. Az ábrák és a fedőlap megrajzolásában közreműködött Sajben Gábor.
Kirakunk táblákat, hogy csúnyán beszélni tilos
Szabó Tamás Péter Kirakunk táblákat, hogy csúnyán beszélni tilos A javítás mint gyakorlat és mint téma diákok és tanáraik metanyelvében Dunaszerdahely, 2012 SZABÓ TAMÁS PÉTER KIRAKUNK TÁBLÁKAT, HOGY CSÚNYÁN
Az iskolai demokrácia alternatívái A MA GYAR IS KO LA ÉS AZ ÚN. DE MOK RA TI KUS IS KO LÁK TA PASZ TA LA TA I NAK ÖSSZE HA SON LÍ TÁ SA
Az iskolai demokrácia alternatívái A MA GYAR IS KO LA ÉS AZ ÚN. DE MOK RA TI KUS IS KO LÁK TA PASZ TA LA TA I NAK ÖSSZE HA SON LÍ TÁ SA A tanár, aki osztályát a büntetésektôl való félelemmel kormányozza,
A TÖBB TELEPHELLYEL RENDELKEZŐ BÜNTETÉS- VÉGREHAJTÁSI INTÉZETEK INFORMATIKAI TÁMOGATÁSA
VIII. Évfolyam 1. szám - 2013. március Prisznyák Szabolcs prisznyak.szabolcs@bv.gov.hu A TÖBB TELEPHELLYEL RENDELKEZŐ BÜNTETÉS- VÉGREHAJTÁSI INTÉZETEK INFORMATIKAI TÁMOGATÁSA Absztrakt A cikk bemutatja
Miért van szükség a magyar nyelvtan tanítására?
Dr. Molnár Csikós László Miért van szükség a magyar nyelvtan tanítására? Bevezetés Az utóbbi időben olyan elmarasztaló vélemények hangzanak el, hogy fölösleges a magyar nyelvtant tanítani az iskolában,
CCD kamerák. Egy ilyen kis tároló három alapvető részből áll: szennyezett félvezető alapréteg, szigetelő zóna (általában szilícium-dioxid), elektróda.
CCD kamerák A CCD kamerák alapelvét még 1970 táján fejlesztették ki a Bell Laboratóriumokban. A kutatás eredményeként olyan eszközöket készítettek, melyek ún. MOS (Metal Oxide Semi-conductor, Fém-Oxid
A nem megfigyelt gazdaság mérésének lehetôségei
A nem megfigyelt gazdaság mérésének lehetôségei Murai Bálint, a Központi Statisztikai Hivatal osztályvezetője E-mail: Balint.Murai@ksh.hu Ritzlné Kazimir Ildikó, a Központi Statisztikai Hivatal vezető
JAVÍTÁSI-ÉRTÉKELÉSI ÚTMUTATÓ
Angol nyelv középszint Javítási-értékelési útmutató 0513 ÉRETTSÉGI VIZSGA 2005. május 12. ANGOL NYELV KÖZÉPSZINTŰ ÉRETTSÉGI VIZSGA Az írásbeli vizsga időtartama: 180 perc JAVÍTÁSI-ÉRTÉKELÉSI ÚTMUTATÓ OKTATÁSI
A MEODIT több-felhasználós ontológia szerkesztő program tesztelése
I. Bevezetés A MEODIT több-felhasználós ontológia szerkesztő program tesztelése A MEODIT ontológia szerkesztő programot az NKFP-2/042/04 számú Egységes Magyar Ontológia c. pályázat keretében készítették
A Facebook használata
Nógrádi László Mindennapi számítástechnika A Facebook használata Jelen dokumentum a Hétköznapi számítástechnika, avagy idősebbek is elkezdhetik című könyv egy fejezete A könyv online megvásárolható a www.pcsuli.hu
A szöveges feladatok megoldásának nehézségeiről a nyolcadik osztályos diákok körében
A szöveges feladatok megoldásának nehézségeiről a nyolcadik osztályos diákok körében Fülöp Zsolt Szegedi Tudományegyetem Bolyai Intézet, Szeged fulop.zs32@freemail.hu A korszerű matematika oktatás egyik