Angol nyelvű összetett kifejezések automatikus azonosítása i

Átírás

1 Angol nyelvű összetett kifejezések automatikus azonosítása i Nagy T. István SZTE TTIK Informatikai Doktori Iskola nistvan@inf.u-szeged.hu Kivonat: A jelen munkában az angol nyelvű összetett kifejezések automatikus azonosítására kifejlesztett, alapvetően a Wikipediára támaszkodó szótárillesztési megközelítés hatékonyságát vizsgáljuk a Wikipedia folyamatos bővülésének függvényében. Emellett két különböző korpuszon automatikusan generált tanítóhalmazon tanított gépi tanuló megközelítést értékeltünk ki, valamint megvizsgáltuk, hogyan hat az automatikusan generált tanítóhalmaz mérete a gépi tanuló módszer hatékonyságára. 1 Bevezetés Ebben a munkában angol nyelvű összetett kifejezések automatikus felismerésére fókuszálunk. Azon többszavas kifejezéseket, amelyek olyan lexikai egységet alkotnak, amely több, önállóan is létező részből áll, továbbá rendszerint valamilyen többletjelentéssel is bír az önálló részek jelentéséhez képest (Sag et. al. 2002), valamint szintaktikailag egységként viselkednek (Kiefer 2000), összetett szavaknak nevezzük. Ezen kifejezések lehetnek főnevek (swimming pool), összetett melléknevek (red haired), összetett határozószók (above all), összetett prepozíciók (in front of), valamint összetett kötőszavak (in order that). Az összetett szavak igen gyakran fordulnak elő az angol nyelvű szövegekben: az általunk vizsgált Wiki50 korpuszon (Vincze et al. 2011) átlagosan a mondatok 67,5%-a tartalmazott összetett szót. Ezen kifejezések automatikus azonosítását nagyban nehezíti az összetett szavak produktív tulajdonsága, vagyis hogy egy eddig nem létező, új összetett szó bármikor felbukkanhat egy adott szövegben. Ugyanakkor az összetett szavak megfelelő kezelése igen hasznos tud lenni számos természetesnyelv-feldolgozó alkalmazás számára, úgymint gépi fordítás vagy információkinyerés. A jelen tanulmányunkban bemutatjuk angol nyelvű összetett szavakat folyó szövegekben automatikusan azonosító, Wikipedián alapuló szabályalapú rendszerünket, valamint gépi tanuló megközelítésünket. Módszereinket az 50 véletlenszerűen kiválasztott Wikipedia-oldalból álló Wiki50 korpuszon értékeltük ki, ahol a mondatokban előforduló összetett szavak manuálisan annotálva vannak. Mivel módszereink alapvetően a Wikipediára támaszkodtak, ezért bemutatjuk, hogyan változtak eredményeink a i A jelen kutatást a futurict.hu nevű, TÁMOP C-11/1/KONV azonosítószámú projekt támogatta az Európai Unió és az Európai Szociális Alap társfinanszírozása mellett. Alknyelvdok7 Szerk.: Váradi Tamás MTA Nyelvtudományi Intézet, Budapest, 2013 ISBN

2 Nagy T. I.: Angol nyelvű összetett kifejezések automatikus azonosítása 151 Wikipedia bővülésével párhuzamosan. Ehhez vettük a Wikipedia minden év január elsejei aktuális állapotát annak 2001-es indulása óta, és aszerint értékeltük ki a rendszereinket. A megközelítéseink által elért eredmények felülmúlják az összetett szavak automatikus kinyerésére kifejlesztett mwetoolkit (Ramisch et al. 2010a) rendszer eredményeit. 2 Kapcsolódó munkák Többszavas kifejezések, azon belül is az összetett kifejezések folyó szövegben való automatikus azonosítására már számos kísérlet született. Bonin és munkatársai (2010) különböző szűrési technikák segítségével nyertek ki tudományos, jogi, valamint Wikipedia-szövegekből többszavas kifejezéseket, jórészt összetett kifejezéseket. Az mwetoolkit eszköz segítségével angol nyelvű szövegekből automatikusan nyerhetünk ki összetett kifejezéseket. Ramisch és munkatársai (2010a, 2010b) a Genia és az Europarl korpuszon, valamint általános szövegeken szemléltette az eszköz hatékonyságát. Caseli és munkatársai (2009) különböző párhuzamosítási technikákkal nyertek ki összetett kifejezéseket gyermekgyógyászati párhuzamos korpuszokon. Jelen munkában a Vincze és munkatársai (2011) által kifejlesztett, alapvetően a Wikipedián alapuló szótárillesztési megközelítés hatékonyságát vizsgáltuk a Wikipedia bővülésének függvényében, valamint egy gépi tanuló megközelítés robosztusságát teszteltük. 3 Összetett kifejezések automatikus azonosítása Ebben a fejezetben különböző megközelítéseket ismertetünk angol összetett kifejezések automatikus azonosítására. 3.1 Felhasznált korpuszok Különböző megközelítéseink kiértékeléséhez alapvetően két korpuszt használtunk. Elsősorban az 50 különböző angol Wikipedia-oldalt és 2929 angol összetett szót tartalmazó Wiki50 korpuszra támaszkodtunk, melyen többféle többszavas kifejezés (többek közt az összetett szavak), valamint tulajdonnevek is manuálisan jelölve vannak. Megközelítéseinket szintén kiértékeltük a British National Corpusból véletlenszerűen kiválasztott, 1000 mondatból álló adathalmazon (Nicholson Baldwin 2008), melyben 485 összetett kifejezés található. Korpusz Mondat Token NC Wiki BNC táblázat. A kiértékeléshez használt korpuszok adatai. NC: összetett kifejezések.

3 AlkNyelvDok Wikipedia-alapú módszer összetett kifejezések automatikus azonosítására Összetett kifejezések automatikus azonosítására a Vincze és munkatársai (2011) által megvalósított, Wikipedián alapuló megközelítést alkalmaztunk. A módszer lényege, hogy az angol nyelvű Wikipedia-oldalakról automatikusan összegyűjtésre kerültek azon kisbetűs, több szóból álló linkek, amelyek nem tartalmaztak nem angol nyelvű kifejezéseket, tulajdonneveket, valamint numerikus értékeket. Az így létrejött listát felhasználva, három különböző eljárást alkalmaztak. Az első esetben az így kinyert listában szereplő összetett kifejezéseket illesztették a folyó szövegekre. Az összeolvasztás módszer esetében, amennyiben A B és B C is előfordult a kinyert listában, A B C-t szintén elfogadták mint összetett kifejezést. A harmadik esetben a potenciális öszszetett kifejezés abban az esetben került elfogadásra, amennyiben az szerepelt a listában, és a szófaji kód szekvenciája illeszkedett egy előre definiált mintára (például melléknév + főnév). A szófaji kódokat a Stanford szófaji elemző segítségével (Toutanova Manning 2000) határozták meg. Végül pedig vették a fenti három megközelítés kombinációját. Vincze és munkatársai (2011) módszerüket csupán a Wikipedia egy aktuális állapotán vizsgálták. Ugyanakkor úgy gondoltuk, érdekes lehet megvizsgálni, miként hat a módszer hatékonyságára a Wikipedia folyamatos bővülése. Ezért a fentebb ismertetett módszer segítségével összegyűjtöttük a Wikipedia aktuális állapotának megfelelő potenciális angol összetettkifejezés-listát a Wikipedia 2001-es kezdete óta, és kiértékeltük a kombinált módszert a Wiki50 korpuszon. Év Wikipedia oldalak száma NC-lista mérete Fedés Pontosság F-mérték ,12 68,42 09, ,22 59,05 25, ,99 71,69 37, ,81 69,57 45, ,11 66,20 49, ,42 64,15 52, ,91 63,35 53, ,51 62,82 54, ,33 62,45 55, ,69 62,66 56, ,36 60,58 56, ,67 59,84 56,59 2. táblázat. A Wikipedián alapuló listaillesztési megközelítés eredményei a Wikipedia bővülésének függvényében. Wikipedia-oldalak: az adott évben az angol Wikipedia oldalainak a száma. NC-lista: a Wikipediáról automatikusan gyűjtött lista mérete. Mivel az angol nyelvű Wikipedia 2001-ben indult, ezért a fentiekben már ismertetett potenciális összetett kifejezések listáját a Wikipedia január elsejei állapotából nyertük ki. A 2. táblázat, valamint az 1. ábra mutatja be a Vincze és munkatársai által megvalósított, szótárillesztés alapú módszer hatékonyságát, a Wikipedia-oldalak számát, a kinyert lista nagyságát, a Wikipedia egyes év eleji állapotának függvényében.

4 Nagy T. I.: Angol nyelvű összetett kifejezések automatikus azonosítása Gépi tanuló megközelítés Összetett kifejezések automatikus azonosítására egy gépi tanuló megközelítést is implementáltunk. Mivel a feladatot szekvenciajelölési problémaként definiáltuk, ezért a probléma megoldásának legsikeresebbnek vélt képviselőjét, az elsőrendű lineáris feltételes véletlen mezők (Conditional Random Fields) szekvenciális tanuló MALLET (McCallum 2002) implementációját alkalmaztuk. A szekvenciális tanuló alkalmazása mellett szólt az is, hogy a felhasznált korpuszokon csupán az összetett kifejezések egyes előfordulásai vannak manuálisan annotálva, míg negatív példák nem, ezért osztályozó algoritmust nem tudtunk alkalmazni. Mivel az összetett kifejezések és a többszavas tulajdonnevek is olyan szerkezetek, amelyek több szóból állnak, de egyetlen egységet alkotnak, ezért igen hasonlóképpen viselkednek (Vincze et al. 2011). Ezért az általunk megvalósított gépi tanuló megközelítés jellemzőkészlete egy tulajdonnév-felismerési alap jellemzőkészleten alapszik, amelyeket a következő kategóriákba sorolhatunk: felszíni jellemzők: kis-/nagybetűs kezdet, szóhossz, a szó belsejében előforduló különleges karakterek (számok, nagybetűk stb.), karakter bi- és trigramok, toldalékok; szótárak: személynevek, cégnevek, helynevek, főnevek szótövei, az angol Wikipediából gyűjtött összetett főnevek; gyakorisági jellemzők: a token gyakorisága, a kis- és nagybetűs alakok előfordulásának aránya, a nagybetűs és mondatkezdő alakok előfordulásának aránya; nyelvi jellemzők: szófaj, függőségi viszonyok; környezeti jellemzők: mondatbeli pozíció, a szó környezetében előforduló leggyakoribb szavak, idézőjelek a szó körül stb. Ezt az alap jellemzőkészletet egészítettük ki néhány, az összetett szavakat leíró jellemzőkkel. Alapvetően a szótár jellemzőket egészítettük ki. A Wikipediáról gyűjtött listát az egyes összetett kifejezések előfordulásai szerint rendeztük, és különböző gyakorisági értékekhez tartozó összetett kifejezések által alkotott listákkal egészítettük ki a már meglévő szótárakat. Továbbá a 2010-ben megrendezésre került SemEval sorozat 9-es feladatának tanuló és teszthalmazát is felhasználtuk mint szótárt. A nyelvi jellemzők szófaji szabályokkal lettek kiegészítve. Vagyis amennyiben a szöveg szófajikód-szekvenciája illeszkedett egy előre definiált összetett kifejezés mintájára, a szekvenciatagok igaz értéket kaptak, egyébként pedig hamisat. Továbbá a mondatban előforduló egyéb entitásokra is jellemzőként tekintettünk, úgymint mondatokban szerepelő tulajdonnevek, valamint félig kompozicionális szerkezetek. Tulajdonnevek automatikus azonosítására a Stanford tulajdonnév-felismerő eszközét alkalmaztuk (Finkel 2005), valamint a félig kompozicionális szerkezetek automatikus azonosítására is egy már meglévő alkalmazást használtunk (Nagy et al. 2011). A fent ismertetett jellemzőkészlettel tanított szekvenciajelölőt 50-szeres keresztvalidációval értékeltük ki a Wiki50 korpuszon. Ekkor 50 lépésben történik a kiértékelés, és minden lépésben egy dokumentum jelenti a teszthalmazt, a többi negyvenkilenc uniója pedig a tanulóhalmazt. Ezáltal minden dokumentum pontosan egyszer szerepel teszthalmazként, ezek uniója így megegyezik a tanító adatbázissal. A szekvenciajelölő tanítására automatikusan generált tanító adatbázist is használtunk.

5 AlkNyelvDok Ebben az esetben a tanító adatbázis olyan véletlenszerűen kiválasztott Wikipediaoldalakból állt, amelyek nem tartalmaztak táblázatot vagy egyéb strukturált szöveget. Mivel ezek a dokumentumok nem voltak manuálisan annotálva, ezért a már fentiekben ismertetett szótárillesztési megközelítés eredményét tekintettük etalon jelölésnek. Ezen az automatikusan kialakított tanító adatbázison tanítottuk a fentebb részletezett jellemzőkészlettel a szekvenciális tanulót. Ekkor a tanító adatbázis etalonnak tekintett címkéi alapvetően az alkalmazott szótárillesztési megközelítés hatékonyságától függenek, ugyanakkor kvázi tetszőleges nagyságú tanító adatbázis generálható. Ezért megvizsgáltuk, hogy az ilyen módon automatikusan generált tanító adatbázis mérete hogyan hat a szekvenciális tanuló hatékonyságára. Ezért a kezdetben 10 véletlenszerűen kiválasztott Wikipedia-oldalból álló tanító adatbázist folyamatosan növeltük egészen ig. A 2. ábra mutatja, hogyan hat a tanító adatbázis mérete a szekvenciajelölő teljesítményére. Összehasonlítottuk a teljesen felügyelt keresztvalidációval kiértékelt modell, az automatikusan generált tanítóhalmazon tanított modell, valamint a szótárillesztési megközelítés eredményeit a Wiki50 korpuszon, valamint a BNC adathalmazon. A 4. táblázatban találhatók az összehasonlítható adatok. Mivel véletlenszerűen választottuk ki az automatikusan generált tanító adatbázishoz a Wikipedia-oldalakat, ezért megvizsgáltuk, hogyan hat az eredményre ezen véletlen kiválasztás. Ezért automatikusan generáltunk tíz különböző véletlenszerű tanító adatbázist, amelyeken a szótárillesztési megközelítést tekintettük etalon jelölésnek, és ezeken tanítottuk a szekvenciális tanuló algoritmust a fentebb részletezett jellemzőkészlettel. Ezen eredmények a 3. táblázatban találhatók. 4 Eredmények A 2. táblázatban látható az évek függvényében a Wikipedián alapuló szótárillesztési módszer eredményei január 1-jén az angol Wikipedia csupán oldalból állt, amiből 5892 potenciális összetett kifejezést tudtunk kinyerni, amivel a Wiki50 korpuszon 9,58 F-mértéket értünk el. Ugyanakkor a Wikipedia dinamikus bővülésének köszönhetően január 1-jén az angol Wikipedia már oldalt tartalmazott, amelyből a vizsgált módszerrel potenciális összetett kifejezést nyertünk ki, amivel 56,59 F-mértéket értünk el. A módszer fedésére elsősorban a Wikipediából automatikusan kinyert potenciális összetettkifejezés-lista mérete van hatással, ami a Wikipedia dinamikus bővülésével a 2. táblázatban látható módon folyamatosan javul. A 2. ábra mutatja, hogyan hat az automatikusan generált tanító adatbázis mérete a gépi tanuló megközelítés eredményeire. Míg a csupán 10 véletlenszerűen kiválasztott Wikipedia-oldalból álló tanítóhalmazon tanított szekvenciajelölő modell 46,99 F- mértéket ért el, addig a Wikipedia oldalt tartalmazón tanított 56,06 F-mértéket volt képes elérni. A 3. táblázatban található a 10 különböző Wikipedia oldalból álló automatikusan generált tanítóhalmazon tanított szekvenciajelölő modellek eredményei a Wiki50 korpuszon. Az átlagos F-mérték 59,99 volt, míg az eredmények szórása 0,3237. A 4. táblázat mutatja a különböző megközelítések eredményeit a Wiki50 korpuszon és a BNC adathalmazon. A különböző megközelítések hibaelemzéséhez megvizsgáltuk a korpuszokon előforduló angol összetett kifejezések hosszúságát. Ahogy az 1. táblázatban is látható, a Wiki50 korpuszon előforduló összetett kifejezések

6 Nagy T. I.: Angol nyelvű összetett kifejezések automatikus azonosítása ,37%-a (2442 előfordulás) két szóból áll, 13,17%-a (386 előfordulás) három szóból, míg négy vagy annál több szóból az összetett kifejezések 3,46%-a (101 előfordulás) áll. Mindegyik módszer a két szóból álló összetett kifejezések azonosításában bizo- nyult a leghatékonyabbnak. 1. ábra: A gépi tanuló megközelítés eredményei az automatikusan generált tanító adatbázis függvényében (Wikipedia-oldalak száma) Fedés Pontosság F-mérték 1 57,02 55,21 56, ,74 55,38 56, ,26 55,73 56, ,64 55,02 55, ,46 55,25 56, ,88 55,61 56, ,98 55,03 55, ,20 54,94 55, ,08 53,73 55, ,85 55,04 55,93 Átlag: 56,91 55,10 55,99 3. táblázat. A gépi tanulási módszer eredményei különböző automatikusan generált tanítóhal- mazon Dokumentumszintű keresztvalidációval kiértékelt gépi tanuló megközelítés érte el a legjobb eredményt a Wiki50 korpuszon 68,16 F-mértékkel, míg az automatikusan generált tanítóhalmazon tanított modell, valamint a szótárillesztési megközelítés egy- aránt 56 F-mérték feletti eredményt ért el, más-más fedés és pontosság értékekkel. Ugyanakkor a gépi tanuló megközelítés 4,23 ponttal magasabb F-mértéket volt képes elérni a BNC adathalmazon. 2. ábra: : Szótárillesztési megközelítés eredménye a Wikipedia oldalainak számának függvé- nyében.

7 AlkNyelvDok Az eredmények értékelése A Wiki50 korpuszon mind a három különböző megközelítést kiértékeltük. Ezek közül a dokumentumszintű keresztvalidációval kiértékelt gépi tanuló modell érte el a legjobb eredményt. Ugyanakkor az automatikusan generált tanítóhalmazon tanított modell is hatékonynak bizonyult. Ebben az esetben megvizsgáltuk, hogyan hat az automatikusan generált tanítóhalmaz mérete a módszer hatékonyságára. Ahogy a 2. ábrán is látható, az automatikusan generált korpusz méretének növekedésével folyamatosan növekszik a gépi tanuló megközelítés eredménye, a Wiki50 korpuszon, viszont a javulás mértéke folyamatosan csökken. Ugyanakkor a módszer eléggé robosztusnak bizonyult, hiszen az eredmények 0,3237 szórást mutattak, amikor tíz különböző automatikusan generált, Wikipedia-oldalból álló tanítóhalmazon tanítottuk és a Wiki50 korpuszon értékeltük ki. Továbbá megvizsgáltuk, hogy a szótárillesztési megközelítés hatékonyságára hogyan hat a Wikipedia bővülése. Ahogy az 1. ábra is mutatja, a Wikipedia dinamikus növekedésével egyre jobb eredményt ér el a módszer, de a javulás mértéke egyre csökken. Mivel minden évben bővül a Wikipediából kinyert, potenciális összetettkifejezés-lista mérete, ezért ez a 2. táblázatban látható módon igen kedvező hatással van a módszer fedésére, viszont kedvezőtlenül hat annak pontosságára. Összességében egészen 2012-ig ez az F- mértékben javulást eredményez, 2013-ban viszont már a fedés javulása nem tudja kompenzálni a pontosság csökkenését, ezért ekkor már csökken az előző évhez képest az F- mérték. Amikor megvizsgáltuk az angol összetett kifejezések tulajdonságait, azt kaptuk, hogy ezek jellemzően két szóból állnak. A vizsgált megközelítések mindegyike a két szóból álló angol összetett kifejezések azonosításában bizonyult a leghatékonyabbnak. A vizsgálat eredményei a 4. és az 5. táblázatban találhatóak. LOO WikiTrain Szótárillesztés Pont. Fed. F Pont. Fed. F Pont. Fed. F 2 69,12 79,62 74,00 64,86 60,14 62,41 61,14 64,66 62, ,33 62,93 57,14 29,02 47,86 36,13 30,05 49,79 37, ,73 45,10 31,94 08,60 40,00 14,16 06,45 75,00 11,88 Össz. 64,39 72,40 68,16 56,57 55,57 56,06 53,67 59,84 56,59 4. táblázat: Különböző megközelítések eredményei pontosság, fedés és F-mérték tekintetében a Wiki50 korpuszon. LOO: dokumentumszintű keresztvalidáció. WikiTrain: automatikusan generált tanítóhalmazon tanított modell. Szótárillesztés: Wikipedián alapuló szótárillesztési megközelítés. A szótárillesztési megközelítés, valamint az automatikusan generált tanítóhalmazon tanított modell nagyjából azonos F-mértéket ért el a Wiki50 korpuszon, viszont eltérő pontosság és fedés értékekkel. Míg a gépi tanuló megközelítés több példát tudott azonosítani, addig a szótárillesztés inkább pontosabbnak bizonyult. Ennek elsődleges oka lehet, hogy a gépi tanuló megközelítésnél egy nagyobb méretű, ám automatikusan generált tanító adathalmazt használtunk, amelyen etalon címkének a szótárillesztés eredményeit vettük. A BNC adathalmazon kiértékelt automatikusan generált tanítóhalmazon tanított gépi tanuló modell hatékonyabbnak bizonyult a szótárillesztéses megközelítésnél. Mivel ez az adathalmaz a BNC korpuszból véletlenszerűen kiválasztott 1000 mondatból áll, valamint a Wiki50-nél jelentősen kevesebb angol nyelvű össze-

8 Nagy T. I.: Angol nyelvű összetett kifejezések automatikus azonosítása 157 tett kifejezést tartalmaz, ezért nem értékeltük ki a Wiki50-hez hasonlóan dokumentumszintű keresztvalidációval. Ugyanakkor ezen az adathalmazon a kiértékelt módszerek kevésbé jó eredményt értek el, mint a Wiki50 korpuszon. WikiTrain Szótárillesztés Pont. Fed. F Pont. Fed. F 2 40,60 45,04 42,70 33,49 45,06 38, ,00 22,86 21,33 17,50 17,95 17, ,00 00,00 00,00 00,00 00,00 00,00 Össz. 38,02 41,53 39,70 31,40 40,75 35,47 5. táblázat: Különböző megközelítések eredményei pontosság, fedés és F-mérték tekintetében a BNC adathalmazon. WikiTrain: automatikusan generált tanítóhalmazon tanított modell. Szótárillesztés: Wikipedián alapuló szótárillesztési megközelítés. 6 Összegzés A jelen munkában két különböző korpuszon vizsgáltuk meg egy szótárillesztési módszer, valamint gépi tanuló megközelítések hatékonyságát angol nyelvű összetett kifejezések automatikus azonosítására. Ezen megközelítések erősen a Wikipediára támaszkodnak. Míg a szótárillesztési megközelítés a Wikipediából automatikusan generált listán alapszik, addig a gépi tanuló megközelítések jellemzőkészletét ezen listával egészítettük ki. Ezért megvizsgáltuk, hogyan hat a Wikipedia bővülése ezen módszerek hatékonyságára. Úgy találtuk, hogy a Wikipedia dinamikus bővülése segíti ezen módszerek eredményességét, ugyanakkor a javulás mértéke folyamatosan csökken az idő előrehaladtával. Mivel az automatikusan generált adathalmazon tanított modell alapvetően a szótárillesztési megközelítésen alapszik, ezért a jövőben javítani kívánjuk e módszer pontosságát. Irodalom Bonin, F., Dell Orletta F., Venturi G., Montemagni S Contrastive filtering of domainspecific multi-word terms from different types of corpora. In: Proceedings of the 2010 workshop on multiword expressions: From theory to applications. Beijing, China: Coling 2010 Organizing Committee Caseli, H. de M., Villavicencio A., Machado A., Finatto M. J Statistically driven alignment-based multiword expression identification for technical domains. In: Proceedings of the workshop on multiword expressions: Identification, interpretation, disambiguation and applications. Singapore: ACL Finkel, J. R., Grenager T., Manning C Incorporating non-local information into information extraction systems by Gibbs Sampling. In: Proceedings of the 43nd annual meeting of the association for computational linguistics (ACL 2005) Letöltés dátuma: Kiefer, F A szóösszetétel. In: Kiefer, F. (szerk.) Strukturális magyar nyelvtan. 3. Alaktan. Akadémiai Kiadó, Budapest McCallum, A. K Mallet: A machine learning for language toolkit. Elérhető: Letöltés dátuma: Nagy, T. I., Vincze V., Berend G Domain-dependent identification of multiword expressions. In: Proceedings of recent advances in natural language processing (RANLP) Hissar, Bulgaria

9 AlkNyelvDok Nicholson, J., Baldwin, T Interpreting compound nominalisations. In: LREC 2008 Workshop: Towards a shared task for multiword expressions (MWE 2008). Marrakech, Morocco Ramisch, C., Villavicencio A., Boitet C. 2010a. Multiword expressions in the wild? The mwetoolkit comes in handy. In: Coling 2010: Demonstrations. Beijing, China Ramisch, C., Villavicencio A., Boitet C. 2010b. Mwetoolkit: a framework for multiword expression identification. In: Proceedings of LREC 10. Valletta, Malta: ELRA. Sag, I. A., Baldwin T., Bond F., Copestake A., Flickinger D Multiword expressions: A pain in the neck for NLP. In: Proceedings of CICLing Mexico City, Mexico Toutanova, K., Manning, C. D Enriching the knowledge sources used in a maximum entropy part-of-speech tagger. In: Proceedings of EMNLP Stroudsburg, PA, USA. ACL Vincze, V., Nagy T. I., Berend G Multiword expressions and named entities in the Wiki50 corpus. In: Proceedings of recent advances in natural language processing (RANLP) Hissar, Bulgaria