Magyar nyelv webes szövegek számítógépes feldolgozása

Átírás

1 Szeged, január Magyar nyelv webes szövegek számítógépes feldolgozása Varga Viktor 1, Wieszner Vilmos 1, Hangya Viktor 1, Vincze Veronika 2, Farkas Richárd 1 1 Szegedi Tudományegyetem, Informatikai Tanszékcsoport {viktor.varga.1991,vilmos.wieszner,hangyav}@gmail.com, rfarkas@inf.u-szeged.hu 2 MTA-SZTE Mesterséges Intelligencia Kutatócsoport vinczev@inf.u-szeged.hu Kivonat: Cikkünkben bemutatjuk a magyar nyelv webes szövegek elemzésével kapcsolatos nehézségeket, els sorban Facebook-bejegyzésekre és kommentekre támaszkodva, valamint tárgyaljuk ezeknek lehetséges javítási módjait. A webes szövegek elemzése a bel lük kinyerhet információ miatt fontos, azonban a szabályos szövegeken tanult elemz k nem képesek hatékonyan feldolgozni ezeket. A megoldást az eddigi angolra alkalmazott, illetve a magyar nyelv sajátosságaira finomhangolt módszerek hozhatják meg. 1 Bevezetés Az emberek életének évr l-évre egyre nagyobb részében van jelen az internet, f ként a rajta átáramló kommunikáció (gondoljunk csak a Twitterre vagy a Facebookra). Nagy mennyiség adat jön létre a felhasználók egymással való kommunikációja folytán, és ez sok számítógépes nyelvészeti alkalmazás számára hasznos lehet, például az információ- és véleménykinyerésnél. Az utóbbi id ben ezért jelent s fontosságra tett szert a webes szövegek, f ként az ún. közösségimédia-szövegek (felhasználók által írt szövegek: blogok, állapotjelentések, chatbeszélgetések, kommentek) feldolgozása. A közösségimédia-szövegekkel (social media texts) és azok elemzésével foglalkozó kutatások ugyanakkor rávilágítottak, hogy nagy nehézséget okoz ezen szövegek ún. nem sztenderd nyelvhasználata, jelent sen lecsökkenti a meglév, szabályos szövegen (mint amilyen a Szeged Korpusz [1] is) tanult elemz k hatékonyságát. Az ezzel kapcsolatos kutatások legnagyobb része angol nyelvre született ([2, 3, 4]) és ezeknek magyarra való alkalmazása mint az a sztenderd szövegek elemzésénél is megállapítható nem hozna tökéletes eredményt. A magyar és az angol nyelv közötti morfológiai és szintaktikai különbségek ugyanis más megközelítést, más típusú szabályok bevezetését követelik meg. Az alapvet lépések hasonlóak, normalizálni, standardszer vé kell a szöveget, ennek kivitelezése több módon történhet. Cikkünk célja, hogy összefoglaljuk a közösségimédia-szövegek elemzésével kapcsolatos (els sorban a Facebook-kommentekb l és -posztokból álló tesztkorpuszon végzett) eredményeket, f bb hibakategóriákat és lehetséges megoldási módjaikat.

2 328 X. Magyar Számítógépes Nyelvészeti Konferencia 2 Problémák A webes, azon belül a közösségimédia-szövegek nagy részének alapvet jellemz je, hogy írásbeli formájuk ellenére beszélt nyelvi sajátosságokat mutatnak. A szituációval ez könnyedén magyarázható: a szóbeli kommunikáció valósidej ségét (online) és multimodalitását egyszerre törekszik megtartani, így többek között az élmény (vagy vélemény) megosztásának gyorsasága és az érzelemkifejezés jelent s szerepet játszik a szövegekben, a hibák nagy része is ezeknek tudható be. A gyorsaságot ugyanis a bevitelb l adódóan a gépelés gyorsításával lehet el segíteni: többek között ékezetek mell zésével (ugyse /úgyse/, hat /hát/, lehet egy hulye kerdesem?), központozás és nagybet k hanyagolásával, rövidítésekkel (h, sztem, lécci), egybeírással (nemtom, énis), valamint többnyire nem szándékoltan félregépeléssel (mindegyekinek /mindegyiknek/). A hétköznapi szóbeli kommunikációban elengedhetetlen érzelemkifejezés megnyilvánulhat a nagybet használatban, a bet - és központozáshalmozásban (jóóó, lehet ezekkel dolgozni???), és az emotikonok használatában. Egyéb zajok a hezitáció explicitté tétele (, khm), a nyelvi kreativitás termékeinek, illetve angol szavaknak és rövidítéseknek (cool, wtf, pls) a használata. Mindezek egyénenként és regiszterenként, illetve környezetenként változnak. Az általános jellemz kön kívül megállapítható, hogy a hibák szempontjából a közösségimédia-szöveg sem homogén kategória, az elemz k számára vannak könynyebben (blogok, Facebook-állapotjelentések) és nehezebben feldolgozható szövegek (kommentek, chat, mikroblogos bejegyzések). A blogok nagy részére jellemz a helyesírási szabályok lehet ség és képesség szerinti betartása, így ezekkel jobban boldogulnak, mint a beszélt nyelvre inkább hasonlító (akár több résztvev s) chatszövegnél, ahol a mondatra szegmentálás is problémát okoz az írásjelek és nagybet k következetlen használata miatt. Következ lépésben a tesztkorpuszt (150 Facebook státuszüzenet és 350 komment) a magyarlanc morfológiai és szintaktikai elemz vel [6] leelemeztük, majd kézzel részletes hibaellen rzést végeztünk, ezután a hibákat a fentebb megállapított kategóriákba soroltuk. A különböz morfológiai hibakategóriák a nyers szövegben az 1. ábrán látható arányban fordultak el. A számok a hibásan kódolt (X kódú, azaz le nem elemzett, illetve hibás szófaji kóddal ellátott) szóalakokat jelzik. Az adatok azt mutatják, hogy az elemz a legtöbb hibát webcímek és egyéb kisz rhet elemek miatt ejtette, a következ leggyakoribb a tokenizálással (szavak egybe- és különírása és egyéb szóközhiány), majd az ékezetekkel kapcsolatos hibák. Mint várható volt, az ismeretlen, de létez szavak (a diagramon ismeretlen, idegen, tulajdonnév, rövidítések, kontextus címszavak alatt) miatt történ hibák is jelent s számúak, valamint az elírás és a bet halmozás is gyakori jelenség. A hibák természetesen halmozottan is el fordulhattak, az összetett hibákat a megfelel hibakategóriákba külön-külön soroltuk be.

3 Szeged, január ábra: Morfológiai hibatípusok gyakorisága. Látszik tehát, hogy a fentebb említett jelenségek a tokenizálásban és az automatikus morfológiai egyértelm sítésben problémát jelentenek, az elemz a számára ismeretlen szavakat nem tudja kiértékelni, vagy helytelen kódot ad. A kutatás egyel re a morfológiára koncentrált, a NER tulajdonnév-felismer [5] és a szintaktikai elemz eredményének kiértékelése folyamatban van. Annyi már látható, hogy a morfológiai hibák ezekre is hatással voltak: a helyes szintaktikai elemzéshez nélkülözhetetlen a pontos morfológiai egyértelm sítés, ami nem teljesül; a névelem-felismer nem tudja kezelni a tiszta kisbet vel írt neveket, a nagybet vel írtakat amelyeket nem látott a tanító adatbázison (pl. Kedves Barátaim) pedig sokszor automatikusan névelemnek könyveli el. 3 Megoldások A felmerült problémákat több oldalról is meg lehet közelíteni. Elméleti szempontból a hibák két csoportra oszthatók: amelyek benne vannak a tanulókorpuszban, de az elemz más alakban találkozik vele a szövegben; és amelyek semmilyen formában sincsenek a korpuszban. Az el bbire a forrásszöveg szabályalapú normalizálása (standard szöveghez hasonló formájúvá alakítása), utóbbiak nagy részére a szótár b vítése kínálhat megoldást. Els lépésben a mondatra és tagmondatokra szegmentálást segít, csere alapú szabályokkal (emotikonok és hiperhivatkozások egységes kezelése, szóköz és központozás helyzetének rögzítése) javítottuk a tokenizálás eredményeit. A legnagyobb problémát egyértelm en az ékezetek használata jelenti, a többi szabály els dlegesen erre a problémakörre irányul. Az idegen ékezetek magyarra cserélése mellett toldalékokra

4 330 X. Magyar Számítógépes Nyelvészeti Konferencia vonatkozó, nyelvészeti jelleg cseréket állítottunk fel (-ság, -szer, - stb), illetve gyakori szótövek ékezetesítése (és, csinál, tehát, stb.). A másik normalizálási kísérlet a bet halmozásokra irányult, ugyanis a magyarban kett nél több azonos bet nem fordulhat el egymást követ en. A szabályok alkalmazása utáni elemzési eredmények a 2. ábrán találhatók. 2. ábra: Morfológiai hibatípusok gyakorisága a normalizálási lépések után. Mint látható az ábrán, a kisz rhet elemek (webcím, emotikon stb.) okozta kódolási hibák nagy része az egységes kezelés segítségével elt nt, mint ahogy a tokenizálással kapcsolatos hibák is. A toldalék- és t alapú ékezetesítés nem hozott akkora eredményt, azonban egy helyesírás-elemz ezzel együtt várhatóan jobb eredményt fog mutatni, mint ahogy a bet halmozási problémák esetén is. A szótár b vítése f ként az emotikonokra, magyar és angol rövidítésekre és gyakori szavakra nyújthat megoldást, ez a munkafázis jelenleg is folyamatban van. 4 Összegzés A közösségimédia-szövegekb l kinyerhet információ egyre nagyobb jelent ség lesz, ezek elemzése azonban zajosságuk miatt nem egyszer, a standard szövegen tanult elemz k nagy hibaszázalékkal futnak le. Kutatásunk a közösségimédiaszövegekkel kapcsolatos elemzési problémák feltérképezését t zte ki célul, számba vettük a morfológiai hibalehet ségeket és lehetséges megoldási módjukat. A kutatás jelenlegi eredményei már megkönnyíthetik egy helyesírás-elemz munkáját, ami a szöveg standardizálásának szempontjából jelent s eredményt hozhat.

5 Szeged, január Köszönetnyilvánítás A kutatás a futurict.hu nev, TÁMOP C-11/1/KONV azonosítószámú projekt keretében az Európai Unió és az Európai Szociális Alap társfinanszírozása mellett valósult meg. Hivatkozások 1. Csendes, D., Csirik, J., Gyimóthy, T., Kocsor, A.: The Szeged Treebank. In: Proceedings of the Eighth International Conference on Text, Speech and Dialogue (TSD 2005). Karlovy Vary, Czech Republic September, and LNAI series Vol (2005) Khan, M., Dickinson, M.: Does Size Matter? Text and Grammar Revision for Parsing Social Media Data. In: Proceedings of the Workshop on Language Analysis in Social Media (2013) Liu, Fei, Weng, Fuliang, Jiang, Xiao: A Broad-Coverage Normalization System for Social Media Language. Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (2012) Mott, Justin, Bies, Ann, Laury, John, Warner, Colin: Bracketing Webtext: An Addendum to Penn Treebank II. Guidelines. URL ( ) = 5. Szarvas, Gy., Farkas, R., Kocsor, A.: A Multilingual Named Entity Recognition System Using Boosting and C4.5 Decision Tree Learning Algorithms. In: Discovery Science (2006) Zsibrita, J., Vincze, V., Farkas, R.: magyarlanc: A Toolkit for Morphological and Dependency Parsing of Hungarian. In: Proceedings of RANLP Hissar, Bulgaria (2013)