A MAGYAR BRAILLE-RÖVIDÍRÁS MEGÚJÍTÁSA

Átírás

1 A MAGYAR BRAILLE-RÖVIDÍRÁS MEGÚJÍTÁSA FÉLAUTOMATIKUS MÓDSZERREL Sass Bálint MTA Nyelvtudományi Intézet, Budapest MSZNY2014 Szeged, 2014 január 16-17

2 BEVEZETŐ B r a i l l e - í r á s Braille-rövidírás nyelvspecifikus rövidítési, tömörítési szabályok, pl: r(hogy)=h használatával: gyorsul az írás-jegyzetelés gyorsul az olvasás-felismerés kinyomtatva kisebb helyigény kezdeményezés az MVGYOSZ Braille-bizottsága részéről: bővítsük a magyar rövidírást új szabályokkal annak érdekében, hogy a rövidítési képessége jelentősen növekedjen 2 / 31

3 1 A MAGYAR BRAILLE-ÍRÁS 2 MÓDSZER: KORPUSZVEZÉRELT + FÉLAUTOMATIKUS 3 A RÖVIDÍTENDŐ ELEMEKET MEGADÓ ALGORITMUS 4 A RÖVIDÍTÉSJELEK MANUÁLIS MEGVÁLASZTÁSA 5 ÚJ MAGYAR RÖVIDÍRÁS: A JAVASLAT 6 A JAVASLAT KIÉRTÉKELÉSE 7 ÖSSZEFOGLALÁS 3 / 31

5 BRAILLE-ÍRÁS A vakok által világszerte használt tapintáson alapuló írásmód 6 pont különböző elrendezéseiből 64 féle karakter / 31

6 BRAILLE-ÍRÁS A vakok által világszerte használt tapintáson alapuló írásmód 6 pont különböző elrendezéseiből 64 féle karakter 1 a [1] 5 / 31

7 BRAILLE-ÍRÁS A vakok által világszerte használt tapintáson alapuló írásmód 6 pont különböző elrendezéseiből 64 féle karakter 1 1 b [1-2] 5 / 31

8 BRAILLE-ÍRÁS A vakok által világszerte használt tapintáson alapuló írásmód 6 pont különböző elrendezéseiből 64 féle karakter 1 1 c [1-4] 5 / 31

9 BRAILLE-ÍRÁS A vakok által világszerte használt tapintáson alapuló írásmód 6 pont különböző elrendezéseiből 64 féle karakter d [1-2-5] 5 / 31

10 BRAILLE-ÍRÁS A vakok által világszerte használt tapintáson alapuló írásmód 6 pont különböző elrendezéseiből 64 féle karakter 1 1 e [1-5] 5 / 31

11 A MAGYAR BRAILLE-ÍRÁS önálló jelek az ékezetes magánhangzóknak a á e é i í o ó ö ő u ú ü ű önálló jelek a kettős mássalhangzóknak c cs g gy l ly n ny s sz t ty z zs tükrözés kivéve: e, i, c, g erős jel önmagában azonosítható ha Braille-írást sima szövegként ábrázolunk, minden jelet egy karakterrel jelölünk, a kettős mássalhangzókat az első karakter nagybetűs változatával: C, G, L, N, S, T, Z pl magar 6 / 31

12 A MAGYAR BRAILLE-RÖVIDÍRÁS Magyarországon használatos sztenderd rövidírás: ún kis rövidírás Elemei: rk() 1 nagybetűjel törlése 2,3% 2 vessző utáni szóköz törlése 1,4% 3 határozott névelő utáni szóköz törlése, az rövidítése 1,9% 4 44 szabály: 7 db szóvégi rövidítés: ban/ben b, ból/ból bl, hoz/hez/höz hz 1,4% 16 db egyjelű szórövidítés: Cak C, de d, és é 1,8% 21 db kétjelű szórövidítés: anni ai, boldog bg, gond gd 1,1% a kis rövidírás mért rövidítési képessége: 9,9% 7 / 31

13 A MAGYAR BRAILLE-RÖVIDÍRÁS Magyarországon használatos sztenderd rövidírás: ún kis rövidírás Elemei: rk() 1 nagybetűjel törlése 2,3% 2 vessző utáni szóköz törlése 1,4% 3 határozott névelő utáni szóköz törlése, az rövidítése 1,9% 4 44 szabály: 7 db szóvégi rövidítés: ban/ben b, ból/ból bl, hoz/hez/höz hz 0,20% 1,4% 16 db egyjelű szórövidítés: Cak C, de d, és é 0,12% 1,8% 21 db kétjelű szórövidítés: anni ai, boldog bg, gond gd 0,05% 1,1% szabályonként a kis rövidírás mért rövidítési képessége: 9,9% 7 / 31

14 KETTŐS CÉL Bővítsük a kis rövidírást új szabályokkal annak érdekében, hogy a rövidítési képessége jelentősen növekedjen Valamint Feleljen meg az alábbi használhatósági követelményeknek: az ismert kis rövidírást egészítse ki; jó olvashatóság: a rövidítések emlékeztessenek az eredetire; jó felismerhetőség: tapintás útján könnyen felismerhető jelek; könnyű megtanulhatóság: kevés, egyszerű szabály Kompromisszumos javaslat, mely törekszik a maximális rövidítési képesség elérésére, miközben megfelel a használhatósági feltételeknek is 8 / 31

16 MÓDSZER: KORPUSZVEZÉRELT + FÉLAUTOMATIKUS Mit rövidítsünk? Alapötlet: a maximális rövidítési képességgel bíró ideális rövidírás a magyar nyelv korpuszgyakorisági adatai alapján korpuszvezérelt módon, automatikusan kialakítható Elv: a lehető leggyakoribb betűkapcsolatokat kell a lehető legrövidebbre rövidíteni Pl: ty et 20 -os különbség a gyakoriságban automatikus algoritmus: iteratív, mohó eljárás Mire rövidítsünk? Szakértői döntések a gyakorisági adatok és a használhatósági megfontolások alapján Akár az automatikus eredményt felülbírálva manuális munka 10 / 31

18 AZ ALGORITMUS MŰKÖDÉSE 1 Korpusz alapján: szavak gyakorisági listája 2 Számba vesszük az összes elvben rövidíthető nyelvi elemet: szavak gyaklistája karakter-n-gramok gyaklistája 3 Kiszámoljuk az elemek rövidítési képességét a következő módon: rk(w,r(w)) = [l(w) l(r(w))] fq(w) w az eredeti rövidítendő karaktersorozat, r(w) a rövidítés, l() a hossz (karakterszám), fq() a gyakoriság Pl: a sem és a magar gyakorisága nagyjából azonos érdemesebb az utóbbit két karakterre rövidíteni 4 Rendezzük a gyakorisági listát rövidítési képesség szerint 5 A rendezett lista első bejegyzése adja a maximális rövidítési képességet, vesszük ezt az elemet, és hozzárendelünk egy megfelelő rövidítést 6 Az így kialakított rövidítő szabályt alkalmazzuk a szavak gyakorisági listájára / 31

19 MŰKÖDÉSI PÉLDA: AZ ÚJRARENDEZÉS SZEREPE 2 karakterre rövidítünk A gyakorisági lista eleje: w fq(w) l(w) l(r(w)) rk(w) Ser = Serint = magar = 9978 Az első elemet rövidítjük: Ser Sr 13 / 31

20 MŰKÖDÉSI PÉLDA: AZ ÚJRARENDEZÉS SZEREPE 2 karakterre rövidítünk A gyakorisági lista eleje: w fq(w) l(w) l(r(w)) rk(w) Ser = Serint = magar = 9978 Az első elemet rövidítjük: Ser Sr w fq(w) l(w) l(r(w)) rk(w) magar = 9978 Srint = 7545 Sr = 0 13 / 31

21 MŰKÖDÉSI PÉLDA: AZ ÚJRARENDEZÉS SZEREPE 2 karakterre rövidítünk A gyakorisági lista eleje: w fq(w) l(w) l(r(w)) rk(w) Ser = Serint = magar = 9978 A következő rövidítendő elem a magar lesz Az első elemet rövidítjük: Ser Sr w fq(w) l(w) l(r(w)) rk(w) magar = 9978 Srint = 7545 Sr = 0 13 / 31

22 MŰKÖDÉSI PÉLDA: AZ ÚJRARENDEZÉS SZEREPE 2 karakterre rövidítünk A gyakorisági lista eleje: w fq(w) l(w) l(r(w)) rk(w) Ser = Serint = magar = 9978 Az első elemet rövidítjük: Ser Sr w fq(w) l(w) l(r(w)) rk(w) magar = 9978 Srint = 7545 Sr = 0 A következő rövidítendő elem a magar lesz A Sr kétjelű rövidítéssel nyilván nem rövidíthető tovább 13 / 31

23 MŰKÖDÉSI PÉLDA: AZ ÚJRARENDEZÉS SZEREPE 2 karakterre rövidítünk A gyakorisági lista eleje: w fq(w) l(w) l(r(w)) rk(w) Ser = Serint = magar = 9978 Az első elemet rövidítjük: Ser Sr w fq(w) l(w) l(r(w)) rk(w) magar = 9978 Srint = 7545 Sr = 0 A következő rövidítendő elem a magar lesz A Serint az új szabály miatt sokkal lejjebb csúszott Ha mégis sorra kerül, továbbrövidíthetjük A Sr kétjelű rövidítéssel nyilván nem rövidíthető tovább 13 / 31

24 MŰKÖDÉSI PÉLDA: AZ ÚJRARENDEZÉS SZEREPE 2 karakterre rövidítünk A gyakorisági lista eleje: w fq(w) l(w) l(r(w)) rk(w) Ser = Serint = magar = 9978 Az első elemet rövidítjük: Ser Sr w fq(w) l(w) l(r(w)) rk(w) magar = 9978 Srint = 7545 Sr = 0 A következő rövidítendő elem a magar lesz A Serint az új szabály miatt sokkal lejjebb csúszott Ha mégis sorra kerül, továbbrövidíthetjük Így is lesz: r(srint)=st A Sr kétjelű rövidítéssel nyilván nem rövidíthető tovább 13 / 31

25 MŰKÖDÉSI PÉLDA: AZ ÚJRARENDEZÉS SZEREPE 2 karakterre rövidítünk A gyakorisági lista eleje: w fq(w) l(w) l(r(w)) rk(w) Ser = Serint = magar = 9978 Az első elemet rövidítjük: Ser Sr w fq(w) l(w) l(r(w)) rk(w) magar = 9978 Srint = 7545 Sr = 0 A következő rövidítendő elem a magar lesz A Serint az új szabály miatt sokkal lejjebb csúszott Ha mégis sorra kerül, továbbrövidíthetjük Így is lesz: r(srint)=st Kifejtve: r(serint)=st A Sr kétjelű rövidítéssel nyilván nem rövidíthető tovább 13 / 31

27 HASZNÁLHATÓSÁGI KÖVETELMÉNYEK 1 jó olvashatóság: a rövidítések emlékeztessenek az eredetire ideális: szó kezdő és záró mássalhangzója r(rövid)=rd r(boldog)=bg kiegészítő lehetőség: a jel kinézete emlékeztet a jelentésre Elv: értelmest értelmesre = (lehetőleg) értelmezhető szóelemeket morfémákat rövidítünk, és olvasható rövidítésjelet rendelünk hozzájuk 2 jó felismerhetőség: tapintás útján könnyen felismerhető jelek alkalmazása törekszünk rá, hogy minden rövidítés tartalmazzon erős jelet 3 könnyű megtanulhatóság: kevés, egyszerű szabály a kis rövidírásban lévőkhöz hasonló szabályok 15 / 31

28 RÖVIDÍTÉSEK MEGVÁLASZTÁSA A használhatósági feltételeknek nehéz teljesen automatizált módon megfelelni, ezért szükséges az automatikusan kialakított szabályrendszer interaktív módosítása, manuális véglegesítése Az algoritmus által létrehozott minden szabályról egyedileg döntünk 1 meghatározzuk a konkrét lehető legjobb rövidítésjelet csak kétjelű rövidítések a legtöbb esetben könnyű megfelelő (ritka) rövidítésjelet találni pl: r( [magar])= [mg] 2 a gyakorisági adatok ismeretében (90%<) megszoríthatjuk a rövidítés pozícióját (pl: csak szó elején) komplementer eloszlású (adott pozícióban ritka) jel lehetősége pl: r( [lehet])= [lt] 3 szükség esetén kizárjuk az adott elemet a rövidíthetők köréből pl: ala, ált, áro, ege, eke, ele, ere, erül 16 / 31

29 ELVETETT ÖTLETEK Több nagyon hatékony rövidítési lehetőséget a használhatósági követelmények miatt elvetettünk: szóközt elnyelő szabályok pedig: rk(t,t) 1,2%! értelmetlen elemek rövidítése pedig: rk(et,t) 0,8%! nem használunk egyjelű rövidítést pedig a leghatékonyabbak pl: 40 szabály, amiből 4 egyjelű (et, el, en, er) közel 17%-os rk()! használható ritka jelek: [q], [T], [w] nem használunk környezetfüggő szabályokat pedig német: r( [immer])=r( [mm])= [x] angol: r( [child])=r( [ch])= [ ] r( [character])= [P ] 17 / 31

30 ELVETETT ÖTLETEK Több nagyon hatékony rövidítési lehetőséget a használhatósági követelmények miatt elvetettünk: szóközt elnyelő szabályok pedig: rk(t,t) 1,2%! értelmetlen elemek rövidítése pedig: rk(et,t) 0,8%! nem használunk egyjelű rövidítést pedig a leghatékonyabbak pl: 40 szabály, amiből 4 egyjelű (et, el, en, er) közel 17%-os rk()! használható ritka jelek: [q], [T], [w] olvashatóság rossz nem használunk környezetfüggő szabályokat pedig német: r( [immer])=r( [mm])= [x] angol: r( [child])=r( [ch])= [ ] r( [character])= [P ] nehezen tanulható 17 / 31

32 A JAVASLAT 1/ rövidítendő rövidítés megjegyzés [meg] [mg] szó elején (98%) [ett] [et] = ott [Ser] [Sr] [ott] [ot] = ett [magar] [mg] [jelen] [jn] [ség] [sg] = ság [lehet] [lt] szó elején (97%) kompl! 19 / 31

33 A JAVASLAT 2/ rövidítendő rövidítés megjegyzés [vezet] [vz] [nek] [nx] = nak szó végén (83%) [köz] [kz] [nak] [nx] = nek szó végén (96%) [fel] [fl] szó elején (86%) [Serint] [St] szó elején (95%) [rend] [rh] csúsztatott d (rd foglalt, rn gyak) [ember] [wr] jel kinézete 20 / 31

34 A JAVASLAT 2/ rövidítendő rövidítés megjegyzés [vezet] [vz] [nek] [nx] = nak szó végén (83%) [köz] [kz] [nak] [nx] = nek szó végén (96%) [fel] [fl] szó elején (86%) [Serint] [St] szó elején (95%) [rend] [rh] csúsztatott d (rd foglalt, rn gyak) [ember] [wr] jel kinézete 20 / 31

35 A JAVASLAT 3/ rövidítendő rövidítés megjegyzés [kormán] [kn] [ellen] [oó] jel kinézete [elnök] [eö] [elő] [eő] [tart] [tt] szó elején (78%) kompl! [áll] [Ll] jel kinézete [mond] [mh] csúsztatott d (md foglalt) [támogat] [tg] 21 / 31

36 A JAVASLAT 4/ rövidítendő rövidítés megjegyzés [ért] [ét] [ság] [sg] = ség [következ] [kv] [akkor] [ao] [budapest] [bp] [kerül] [eü] [történ] [öé] [több] [tb] szó elején (95%) kompl! [kapcolat] [kc] 22 / 31

38 A JAVASLAT KIÉRTÉKELÉSE 3 tesztfájl: megnevezés méret egy zenei híreket tartalmazó fájl az MVGYOSZ-ből szó a Vakok Világa 31 számának anyaga szó Mikszáth Kálmán: Szent Péter esernyője c regénye szó Mérés módszere: karakterszám egy jel egy karakter alakban + átlagolás 24 / 31

39 EREDMÉNY tesztanyag kis rövidírás rk() új rövidírás rk() rk() zenei hírek 9,5% 12,5% +3,0% Vakok Világa 9,5% 13,9% +4,4% Szent Péter 10,7% 13,5% +2,8% átlag 9,9% 13,3% +3,4% Kevés szabály, jelentős növekedés A rövidítési képesség: szabályonként 0,1% 25 / 31

40 EREDMÉNY tesztanyag kis rövidírás rk() új rövidírás rk() rk() zenei hírek 9,5% 12,5% +3,0% Vakok Világa 9,5% 13,9% +4,4% Szent Péter 10,7% 13,5% +2,8% átlag 9,9% 13,3% +3,4% Kevés szabály, jelentős növekedés A rövidítési képesség: szabályonként 0,1% Új magyar rövidírás: 13,3% Unified English Braille: 20% Az angol rendszer kb 200 szabályt tartalmaz, számos nehezen olvasható/tanulható rövidítési lehetőséget kiterjedten alkalmaz 25 / 31

41 PÉLDAMONDAT eredeti: Bill Gates szerint az internet nem menti meg a világot rövidítve: bill gates szt internet n menti mg,vgot Kis rövidírás: nagybetűjel elhagyása; névelők összevonása; nem, világ Új rövidírás: szerint, meg Hossz: 55 karakter 26 / 31

42 PÉLDAMONDAT eredeti: Bill Gates szerint az internet nem menti meg a világot rövidítve: bill gates szt internet n menti mg,vgot Kis rövidírás: nagybetűjel elhagyása; névelők összevonása; nem, világ Új rövidírás: szerint, meg Hossz: karakter: rk() = 3,6% 26 / 31

46 PÉLDÁK JELLEGZETES SZAVAK Jellegzetes, új rövidítéseket tartalmazó szavak gyakori: r( [között])= [kzött] r( [egser])= [egsr] nagy arányban rövidül: r( [kapcolatban])= [kcb] r( [magarorság])= [mgog] 3 rövidítést tartalmaz: r( [jelentőségteljes])= [jntősgts] 27 / 31

48 ÖSSZEFOGLALÁS A közel maximális rövidítési képességgel bíró, ugyanakkor kényelmesen használható új magyar rövidírás szabálykészlete félautomatikus módon, a rövidítendők korpuszvezérelt meghatározásával és a rövidítések kézi finomításával előállítható Összesített rövidítési képesség: 13,3% elvi maximum A bevezetés megkönnyítése érdekében a változtatás mértékével óvatosak voltunk, nagy hangsúlyt fektettünk a használhatóságra A szabályrendszer a jövőben könnyen bővíthető 29 / 31

49 KONKLÚZIÓ (két korábbi dia ) 30 / 31

50 A MAGYAR BRAILLE-RÖVIDÍRÁS Magyarországon használatos sztenderd rövidírás: ún kis rövidírás Elemei: rk() 1 nagybetűjel törlése 2,3% 2 vessző utáni szóköz törlése 1,4% 3 határozott névelő utáni szóköz törlése, az rövidítése 1,9% 4 44 szabály: 7 db szóvégi rövidítés: ban/ben b, ból/ból bl, hoz/hez/höz hz 0,20% 1,4% 16 db egyjelű szórövidítés: Cak C, de d, és é 0,12% 1,8% 21 db kétjelű szórövidítés: anni ai, boldog bg, gond gd 0,05% 1,1% szabályonként a kis rövidírás mért rövidítési képessége: 9,9% 7 / 31

51 EREDMÉNY tesztanyag kis rövidírás rk() új rövidírás rk() rk() zenei hírek 9,5% 12,5% +3,0% Vakok Világa 9,5% 13,9% +4,4% Szent Péter 10,7% 13,5% +2,8% átlag 9,9% 13,3% +3,4% Kevés szabály, jelentős növekedés A rövidítési képesség: szabályonként 0,1% 25 / 31

52 KONKLÚZIÓ Kis rövidírás kétjelű rövidítések rk() = 0,05% szabályonként, új kétjelű rövidítések rk() = 0,10% szabályonként 31 / 31

53 KONKLÚZIÓ Kis rövidírás kétjelű rövidítések rk() = 0,05% szabályonként, új kétjelű rövidítések rk() = 0,10% szabályonként A korpuszvezérelt módon létrehozott rendszer még úgy is kétszeres teljesítményre képes az intuíció illetve hagyomány talaján álló rendszerrel szemben, hogy már eleve jelentősen rövidített szövegen kell dolgoznia 31 / 31

54 KONKLÚZIÓ Kis rövidírás kétjelű rövidítések rk() = 0,05% szabályonként, új kétjelű rövidítések rk() = 0,10% szabályonként A korpuszvezérelt módon létrehozott rendszer még úgy is kétszeres teljesítményre képes az intuíció illetve hagyomány talaján álló rendszerrel szemben, hogy már eleve jelentősen rövidített szövegen kell dolgoznia Ha valamit meglévő (gyakorisági) adatokból automatikusan származtatni tudunk, akkor nem érdemes intuitív megközelítést alkalmazni 31 / 31

55 KONKLÚZIÓ Kis rövidírás kétjelű rövidítések rk() = 0,05% szabályonként, új kétjelű rövidítések rk() = 0,10% szabályonként A korpuszvezérelt módon létrehozott rendszer még úgy is kétszeres teljesítményre képes az intuíció illetve hagyomány talaján álló rendszerrel szemben, hogy már eleve jelentősen rövidített szövegen kell dolgoznia Ha valamit meglévő (gyakorisági) adatokból automatikusan származtatni tudunk, akkor nem érdemes intuitív megközelítést alkalmazni = ö 31 / 31