Szövegbányászat Információ Visszakeresés és egyéb alkalmazások

Átírás

1 Szövegbányászat Információ Visszakeresés és egyéb alkalmazások A diák nagyban támaszkodnak a Stanford Egyetem Information Retrieval and Web-mining kurzusának anyagára:

2 Áttekintés Mi az IR? Indexelés Egyszerű index Invertált index, Gamma-kódolás Rangsorolás TF-IDF rangsor PageRank Egyéb alkalmazások és feladatok

3 Információ Visszakeresés IR alapprobléma Adott egy korpusz (dokumentumok halmaza, internet) Felhasználó az információigényét leginkább kielégítő dokumentumokat keresi Lekérdezést fogalmaz meg Cél a lekérdezésnek megfelelő dokumentumok listájának visszaadása

4 Egy IR rendszer legfontosabb jellemzői Indexelés sebessége Kevésbé fontos Lekérdezés sebessége Kritikus szempont Lekérdező nyelv kifejezőereje Mi kérdezhető meg és mi nem? Pontosság A legfontosabb, de mérése összetett feladat

5 Egy keresőmotor sémája

6 Egyszerű index Szó-dokumentum mátrix (D i,j : i. szó szerepel-e a j. dokumentumban) Antony and Cleopatra Julius Caesar The Tempest Hamlet Othello Macbeth Antony Brutus Caesar Calpurnia Cleopatra mercy worser

7 Gyors Egyszerű indexelés Az élet nem ilyen szép Kivitelezhetetlen 1 millió dokumentum, ~1000 token/dok, ~6byte/token ~6GB korpusz Legyen 500K különböző szóalak 500K x 1M mátrix ~60 GB index!

8 Invertált index ~1 milliárd egyest tartalmaz csupán a szó-dokumentum mátrix Rendkívül ritka Egyszerűbb, és jobb reprezentáció, ha csak az 1-esek pozícióit tároljuk ekkor invertált indexről beszélünk

9 Invertált index Minden T tokenre, tároljuk a T-t tartalmazó dokumentumok listáját. Miben tároljuk? Tömb? Brutus Calpurnia Caesar Mi van akkor ha a Caesar szó bekerül a 14-es dokumentumba?

10 Listás megvalósítás jobb Dinamikus helyfoglalás (különböző gyakoriságú szavak!!!) Könnyű beszúrás Pointerek extra helyfoglalás Brutus Calpurnia Caesar Szótár Napló Dokumentum ID szerint rendezve!

11 Invertált index létrehozása Dokumentumok Friends, Romans, countrymen. Tokenizáló Token stream Friends Romans Countrymen Nyelvi modulok Normalizált tokenek friend roman countryman Invertált index Indexelő friend roman countryman

12 Az index használata Hogyan dolgozunk fel 1 lekérdezést? Milyen jellegű lekérdezéseket kezelünk? Mit indexelünk? Mindent, vagy csak fontos szavakat? (Mi fontos?) Stopword lista: a leggyakoribb szavak elhagyhatók az indexből (sok hely, kevés haszon) pl., the, a, an, of, to Nyelvfüggő elem, minden nyelvre kell stopword lista.

13 Lekérdezés (naplólisták egyesítése) Párhuzamosan megyünk végig a két naplólistán, időigény így arányos a listák összhosszával Brutus Caesar Ha a két lista hossza m és n, az összefésülés időigénye O(m+n) Fontos: a listák dokid szerint rendezve legyenek!!

14 Mit kapunk, milyen áron? Logikai (igen/nem) keresésre Csak pontos egyezést ad vissza Nincs rangsorolás Sokáig ez volt az uralkodó technológia Becslés a méretre? Vegyük az előző példát: 1M dokumentum, átl token hossz, átlalában 6 byte/szó, ~500K különböző token

15 Becslés az invertált index méretére Két különálló tényező szabja meg a méretet Szótár mérete Naplók mérete Különböző dolgok jönnek szóba a méret optimalizálásakor Szótárnál: pl. szótövezés (magyarban különösen fontos!) Naplónál: dokid-ket tárolunk, tömörítés!

16 Napló tárolása Tároljuk rendezve a dokumentum ID listát! Ekkor elegendő csak az ID-k különbségeit tárolni ( lyukak ) ezek várhatóan átlagosan sokkal kisebb számok Brutus: 33, 47, 154, 159, 202, Brutus: 33, 14, 107, 5, 43, Használjunk változó kódhosszúságú kódolást! Calpurnia szó átlag minden egymilliomodik dokumentumban fordul elő, akkor azt log 2 1M = ~20 biten szeretnénk tárolni Az az szó szinte minden dokumentumban benne van, ezt az infot jó lenne ~1 bit helyen tárolni

17 γ kódolás K számot egy <hossz, eltolás> párral írjuk le hossz érték unáris kódolású (a számot leíró kód (eltolás) hosszát adja meg) az eltolás bináris kódolású (megadja magát a számot) K kódja 1 log 2 K + bites unáris kód log 2 K bites bináris kód log2 K ahol: eltolás = K 2

18 γ kódolás Példák: 9 = <1110,001> (7 bit) 23 = <11110, 0111> (9 bit) 1040 = < , > (21 bit) Ennél számottevően jobb tömörítést csak úgy érhetünk el, ha rendelkezünk információval a számok eloszlásáról V.ö. Huffman-kód

19 Zipf törvénye A k-adik leggyakoribb szó gyakorisága nagyságrendileg ~1/k

20 Becslés Zipf törvénye alapján A leggyakoribb szó N dokumentumban fordul elő (minden lyuk 1-es) 2. leggyakoribb N/2 dokumentumban (lyukak átlagosan 2 nagyságúak) k-adik leggyakoribb N/k dokumentumban (átlagos lyuk nagyság N/k), 2log 2 k bit tárolásra Összegezve k = ezerig Összegzést végezzük úgy, hogy k darab csoportot tekintünk: i i az i-edik csoportra k < 2, 2 i elemű, egyenként max i 1. 2Ni / 2 N = 1 millió, i = 1 19-re szummázva kb 340 millió bit, azaz ~45 MB az index Napló részének mérete.

21 Szótár mérete, első gondolat Fix hosszú bejegyzések tömbje 500K token; 28 byte/token = ~14MB. Terms Freq. Postings ptr. a 999,712 aardvark 71.. zzzz byte Egyenként 4 byte

22 Szótár tömörítése A szótár egyetlen karakterlánc Pointer a szó kezdetére Köv. pointer mutatja a szó végét.systilesyzygeticsyzygialsyzygyszaibelyiteszczecinszomo. Gyakoiság Napló ptr Szó ptr Binary search these pointers Teljes hossz = 500KB x 8 = 4MB Pointerek 4M pozícióra log 2 4M = 22bits = 3bytes

23 Napló Kb 45 MB Szótár 4 byte gyakoriságra Index mérete 4 byte a Napló pointer 3 byte a szó pointer Átl. 8 byte szavanként a szóláncban 500K token ~9.5MB Index ~55 MB

24 Indexméret Szótövezés / kis-nagybetűs alak Tokenek számát ~40%-al Pointerek számát 10-20%-al Méretet ~30%-al Stopwords 30-as szabály: ~30 szó tesz ki ~30%-ot az írott szövegekben! A leggyakoribb szavak kivágása ~25% helyspórolást hozhat

25 Pár szó a lekérdezés sebességéről Napló-listák lineáris időben egyesíthetők Optimalizálás: Célszerű a rövid listákkal kezdeni a műveletek elvégzését Ugrólisták használata (index mérete növekszik)

26 Feldolgozás ugrólistákkal

27 Invertált index vége Célszerű tárolni a dokumentumban a szóalak helyét Kifejezés alapú lekérdezés támogatására Ezzel az előbb nem törődtünk Nagyobb index, de ezt használják a gyakorlatban Alternatívája a bi- trigram alapú indexelés

28 Rangsorolás Általában jó sok dokumentum illeszkedik 1-1 lekérdezésre Több milliárdos korpuszból milliós nagyságrendű találat Fontos, hogy a dokumentumokat rangsoroljuk, relevancia szerint! Megoldás: pl. PageRank Elosztott számítások Hadoop, Mahout, NoSQL, stb...

29 tf-idf rangsorolás Szavak súlya a tf, és idf szorzata: wt, d = tf t, d log( n df t ) Index készítésekor legyártható a súlyozás Ezt tároljuk el a szó-dokumentum mátrixban A lekérdezést is egy mini dokumentumra nézve a 2 vektor koszinusza adja a hasonlóságot: d j d sim( d j, dk ) = d d j k k = n i= 1 n i= 1 i, j i, k w 2 i, j w w n i= 1 w 2 i, k

30 Precízió, fedés Kiértékelés Precízió-fedés görbe Kitüntetett fedésértékhez tartozó precíziók meghatározása, majd interpoláció MAP

31 IR rokonteületek Információ kivonatolás Kivonat: az eredetinél rövidebb, emellett pontos reprezentánsa a dokumentum tartalmának Olvastam a Háború és Békét Oroszországról szól Kérdésmegválaszolás Természetes nyelven megfogalmazott kérdésre a releváns oldal visszaadása helyett a releváns információ visszaadása

32 Egyéb szövegbányászati alkalmazások és feladatok Alkalmazások Dokumentumosztályozás Véleménykinyerés Információkinyerés X Y cég W áron fölvásárolta QR céget. gépi tanulás Feladatok Lemmatizálás (szótövesítés) Jelentésegyértelműsítés Legvalószínűbb szófaji kódsorozatok, szövegbeli névelemek meghatározása Elemzési fák felállítása