Különírás-egybeírás automatikusan

Átírás

1 Különírás-egybeírás automatikusan Ludányi Zsófia Magyar Tudományos Akadémia, Nyelvtudományi Intézet Nyelvtechnológiai Osztály VII. Alkalmazott Nyelvészeti Doktoranduszkonferencia február 1.

2 Áttekintés Bevezetés A külön-egybeírásról általában Más online helyesírási tanácsadók A helyesiras.hu újszerűsége Felépítése Előfeldolgozás Elemzés Nyelvtan Szabályok (példákkal) Kimenet Összefoglalás

3 Bevezetés Helyesírás.hu automatikus nyelvi tanácsadó portál Nyelvtechnológiai eszközökkel támogatott 7 különböző terület: Számnevek helyesírása Keltezés Betűrendbe sorolás Tulajdonnevek helyesírása Elválasztás Helyesírás-ajánló Különírás-egybeírás 3

4 4

5 Különírás-egybeírás Önmagában bonyolult területe a magyar helyesírásnak Szabályok alkalmazásának feltétele: meg kell tudni különböztetni a szószerkezeteket és a szóösszetételeket köztük nem éles a határ Emiatt gyakoriak az ingadozások, többféleképpen megítélhető esetek 5

6 Egyéb online helyesírási tanácsadók I. Jelenlegi internetes helyesírási tanácsadók egyszerű szójegyzéken alapulnak Probléma: csak akkor adnak eredményt, ha a lekérdezni kívánt szó eleve helyesen van írva, ill. megtalálható a mögöttes szótárban 6

7 Egyéb online helyesírási tanácsadók II. Jobb esetben a helytelen írt szóra is ad eredményt, de szükséges feltétel továbbra is, hogy benne legyen a szótárban Pl. bemenet: lőtt vadkereskedés kimenet: lőttvad-kereskedés, AkH (AkH. típuspéldája) DE: bemenet: homokos útkaparó kimenet: nincs találat (homokosút-kaparó ~ homokos útkaparó mindkét megoldás jó) 7

8 A helyesiras.hu újszerűsége Három alappillér: robusztus, többrétegű, annotált szótár formális nyelvtan felhasználói interaktivitás 8

9 Mit képes kezelni? Nem az összes terület (csak algoritmizálhatóak): jelölt és jelöletlen alárendelői összetételek/szintagmák 6:3-as szabály mozgószabályok rövidítéseket és mozaikszókat tartalmazó összetételek színnévi összetételek, anyagnévi összetételek stb. csak részben: jelentéssűrítő, illetve a szervetlen szóösszetételek

10 Be- és kimenet Bemenet: akár helytelenül írt (összetett) szó vagy szavak lehet hibás egybe-, külön vagy kötőjellel írás egyéb helyesírási hibák is Kimenet: a szabályok, illetve a rendelkezésre álló eszközök által biztosan megállapíthatóan helyesen (külön-, egybe-, illetve kis- vagy nagykötőjellel) írt alakok magyarázatok hivatkozások az AkH., OH. megfelelő pontjaira. 10

11 Felépítés 11

12 Előfeldolgozás Karakterhossz ellenőrzése Esetleges ismétlődő karakterek kiszűrése Felesleges kötőjelek szóközre cserélése után szegmentálás: tokenizálás + spec. Humor lexikonnal darabolás szükség esetén visszakérdezés v. továbbirányítás (Ajánló, Névkereső) Ellenőrzés, szerepel-e a kivételszótárban: jelenleg kb elemből áll 12

13 Elemzés 13

14 A nyelvtan I. Rekurzív helyesírási szabályrendszer generatív rendszer Különböző elemzések (levezetések) különböző írásmódok Az elemzési fák bejárásából generálhatók a magyarázó szövegek 14

15 A nyelvtan II. Környezetfüggetlen, jegystruktúrás kidejezésnyelvtan Szófaj, morfológiai jegyek, szótagok/összetételi tagok száma Lexikális jegyek: színnevek, foglalkozások, rangok, keresztnevek, népek és nyelvek nevei, rövidítések,... Fejről öröklődés; konkurens elemzések letiltása Értékadások: írásmód kiszámítása (egybe, külön, kötőjellel stb.) Saját bottom-up parser 15

16 Példa egy szabályra id: M_EK_ANYAGNEV_1_1_1 rule: N(sem="Material1", ncomparts=1) + N(match="FN,NOM", ncomparts=1) == N(sep='', ncompartsx="2+") comment: "Az anyagnévi jelzőt, ha egyszerű szó, egybeírjuk a nem összetett főnevekkel." refs: AKH-115, OH-117 ex: bőr + kabát = bőrkabát, selyem + ing = selyeming kill: M_EK_JELOLETLEN_BIRTOKOS 16

17 A parser bemenete Input: bőr + kabát 0. N(wordform="bőr", stem="bőr", match="fn,nom", sem=['material1'], ncomparts="1", nsylls="1", hasnesep="0") 1. N(wordform="kabát", stem="kabát", match="fn,nom", sem=[], ncomparts="1", nsylls="2", hasnesep="0") 17

18 Példa generált elemzési fára N(sep=[''], ncompartsx="2+") : M_EK_ANYAGNEV_1_1_1 N(wordform="bőr", stem="bőr", match="fn,nom", sem=['material1'], ncomparts="1", ncompartsx="1+", nsylls="1") : 0. N(wordform="kabát", stem="kabát", match="fn,nom", sem=[], ncomparts="1", ncompartsx="1+", nsylls="2") : 1. 18

19 A kimenet Input: bőr + kabát Ehhez a javasolt alakhoz 1 lehetséges magyarázat tartozik. I.1. magyarázat: A "bőr" főnevet és a "kabát" főnevet egybeírjuk az alábbi szabály alapján: "Az anyagnévi jelzőt, ha egyszerű szó, egybeírjuk a nem összetett főnevekkel." (AKH-115, OH-117) 19

20 Példa generált elemzési fára 1. megoldás Bemenet: homokos + út + kaparó N(sep=[''], ncomparts="3", nsylls="7", hasnesep="1") : M_EK_JELOLETLEN_TARGYAS_1_2 N(sep=[' '], ncomparts="2", nsylls="4", type="qualificative", hasnesep="1") : M_EK_MINOSEG_1_1_1 A(wordform="homokos", stem="homokos", match="fn,_skep,nom", sem=[], ncomparts="1", nsylls="3", hasnesep="0") A(wordform="homokos", stem="homokos", match="fn,_skep,nom", sem=[], ncomparts="1", nsylls="3", hasnesep="0") A(wordform="homokos", stem="homokos", match="mn,nom", sem=[], ncomparts="1", nsylls="3", hasnesep="0") : 0. N(wordform="út", stem="út", match="fn,nom", sem=[], ncomparts="1", nsylls="1", hasnesep="0") : 1. A(wordform="kaparó", stem="kaparó", match="ige,_okep,nom", sem=[], ncomparts="1", nsylls="3", hasnesep="0") : 2. 20

21 Példa generált elemzési fára 2. megoldás ncomparts="3", nsylls="7", hasnesep="1") : M_EK_MOZGO_2_1 N(sep=[' '], ncomparts="2", nsylls="4", type="qualificative", hasnesep="1") : M_EK_MINOSEG_1_1_1 A(wordform="homokos", stem="homokos", match="fn,_skep,nom", sem=[], ncomparts="1", nsylls="3", hasnesep="0") A(wordform="homokos", stem="homokos", match="fn,_skep,nom", sem=[], ncomparts="1", nsylls="3", hasnesep="0") A(wordform="homokos", stem="homokos", match="mn,nom", sem=[], ncomparts="1", nsylls="3", hasnesep="0") : 0. N(wordform="út", stem="út", match="fn,nom", sem=[], ncomparts="1", nsylls="1", hasnesep="0") : 1. N(wordform="kaparó", stem="kaparó", match="fn,nom", sem=[], ncomparts="1", nsylls="3", hasnesep="0") : 2. 21

22 A kimenet 1. megoldás: homokos útkaparó I.2. magyarázat: 1. Az "út" főnevet és a "kaparó" melléknevet egybeírjuk az alábbi szabály alapján: A jelöletlen tárgyas alárendelői összetételt mindig egybeírjuk. (AKH-123, OH-204) 2. A "homokos" melléknevet és az "útkaparó" főnevet különírjuk az alábbi szabály alapján: A minőségjelzős kapcsolatok tagjait általában különírjuk egymástól, különösen olyankor, ha a kapcsolatnak valamelyik vagy mindkét tagja összetett szó. (AKH-117-a, OH-107) 22

23 2. megoldás: homokosút-kaparó II.1. magyarázat: A kimenet 1. A "homokos" melléknevet és az "út" főnevet különírjuk az alábbi szabály alapján: A minőségjelzős kapcsolatok tagjait általában különírjuk egymástól, különösen olyankor, ha a kapcsolatnak valamelyik vagy mindkét tagja összetett szó. (AKH-117-a, OH-107) 2. A "homokos út" főnévi szerkezetet és a "kaparó" főnevet kötőjellel írjuk és az első szerkezet egybeírjuk (összerántjuk) az alábbi szabály alapján: Ha egy különírt szókapcsolat olyan utótagot kap, amely az egészhez járul, az egyébként különírandó előrészt az új alakulatban egybeírjuk, és ehhez az utótagot (a szótagszámtól függetlenül) kötőjellel kapcsoljuk. (AKH b, OH )

24 Összefoglalás Moduláris, nyelvi technológiával támogatott automatikus helyesírás-ellenőrző rendszer Elemzők és lexikai adatbázisok szükségszerű használata További cél: felhasználói elégedettség kritikus állandó, célzott fejlesztés igénye 24

25 Irodalom Laczkó Krisztina Mártonfi Attila Helyesírás. Osiris Kiadó, Budapest. Miháltz Márton Hussami Péter Ludányi Zsófia Mittelholcz Iván Nagy Ágoston Oravecz Csaba Pintér Tibor Takács Dávid Helyesírás.hu Nyelvtechnológiai megoldások automatikus helyesírási tanácsadó rendszerben. In: Tanács Attila Vincze Veronika (szerk.) MSZNY2013. Magyar Számítógépes Nyelvészeti Konferencia, Szeged: JATEPress, Pintér Tibor Oravecz Csaba Mártonfi Attila Online helyesírási szótár és me gvalósítási nehézségei. In: Tanács Attila Szauter Dóra Vincze Veronika (szerk.) MSZNY Magyar Számítógépes Nyelvészeti Konferencia, Szeged: JATEPress,

26 Köszönöm a figyelmet! 26