Mintaillesztő algoritmusok. Ölvedi Tibor OLTQAAI.ELTE

Átírás

1 Mintaillesztő algoritmusok Ölvedi Tibor OLTQAAI.ELTE

2 Mintaillesztő algoritmusok Amiről szó lesz: Bruteforce algoritmus Knuth-Morris-Pratt algoritmus Rabin-Karp algoritmus Boyer-Moore algoritmus Boyer-Moore-Horspool algoritmus Zhu-Takaoka algoritmus Aho-Corasick algoritmus

3 Bruteforce eljárás Minden lehetséges helyen keres Minden karaktert lehetséges kezdőnek tekint Kivéve a legutolsókat Majd ezek után leellenőrzi karakterenként az egyezést

4 Bruteforce eljárás almanemalmalmdegalmafaisvan

5 Bruteforce eljárás almanemalmalmdegalmafaisvan a

6 Bruteforce eljárás almanemalmalmdegalmafaisvan

7 Bruteforce eljárás almanemalmalmdegalmafaisvan alm

8 Bruteforce eljárás almanemalmalmdegalmafaisvan

9 Bruteforce eljárás almanemalmalmdegalmafaisvan alm_

10 Bruteforce eljárás almanemalmalmdegalmafaisvan alm_ almafa

11 Knuth-Morris-Pratt algoritmus Javítsunk az algoritmuson, úgy, hogy csak egyszer megyünk végig az elemeken Ha egymásba illeszkedő helyek vannak, tároljuk el azt külön, és egyszerre vizsgáljuk több helyen az illesztést

12 Knuth-Morris-Pratt algoritmus almanemalmalmdegalmafaisvan a

13 Knuth-Morris-Pratt algoritmus almanemalmalmdegalmafaisvan

14 Knuth-Morris-Pratt algoritmus almanemalmalmdegalmafaisvan alm

15 Knuth-Morris-Pratt algoritmus almanemalmalmdegalmafaisvan alma a

16 Knuth-Morris-Pratt algoritmus almanemalmalmdegalmafaisvan al

17 Knuth-Morris-Pratt algoritmus almanemalmalmdegalmafaisvan alm_

18 Knuth-Morris-Pratt algoritmus almanemalmalmdegalmafaisvan alm_ almafa

19 Rabin-Karp algoritmus Még gyorsabb algoritmus főleg, ha több mintát is keresünk A lényeg: hashelés Kicsit módosítani kell nagy bemenetek esetén Majd a módosítás utáni hibákat kijavítani Feldolgozás két lépcsőben

20 Rabin-Karp algoritmus keresendő hosszával azonos hosszúságú részkaraktersorozatokat leképezünk egész számokra Majd az így kapott egészeket hasonlítjuk össze Egyezéseknél megvizsgáljuk magukat a karaktersorozatokat is. Így összességében kevesebb az összehasonlítás

21 Rabin-Karp algoritmus A hasítófüggvény: A karaktereket lekódoljuk ASCII szerint számokra Majd valami nagyobb prím alapú számrendszerben tekintjük az így kapott számok sorozatát egy szám jegyeinek Ezeket a számjegyekből álló számokat pedig átszámítjuk az alapértelmezett számrendszerbe Más hasítással is megoldható

22 Rabin-Karp algoritmus Eredmény: csak egész számokat hasonlítunk össze, nem karaktersorozatokat Ezáltal gyorsabb A karakterek összehasonlítása csak nagyon ritkán történik meg Egyszerre több számmal is összehasonlíthatjuk a hashelés során kapott értékeket, ha több mintát is keresünk

23 Boyer-Moore algoritmus Működése meglepő Visszafele keres Nagy ugrásokkal halad Kevés összehasonlítást végez Főleg akkor hasznos, ha a mintában sok az ismétlődő karakter

24 Boyer-Moore algoritmus X A N P A N M A N A N P A N M A N A N P A N M A N A N P A N M A N A N P A N M A N A N P A N M A N A N P A N M A N A N P A N M A N

25 Boyer-Moore algoritmus Az algoritmus a tényleges keresés előtt legenerál számára hasznos táblákat Rossz karakter eltolási tábla Milyen messze van a minta jobb szélétől a legutolsó, karakter Jó végződés eltolási tábla Mennyit kell lépni ahhoz, hogy olyan hlyet találjunk, ahol már lehet mintára illeszkedés

26 Boyer-Moore algoritmus 1. tábla Karakter Távolság A 1 M 2 N 3 P 5 Minden más karakter 8

27 Boyer-Moore algoritmus 2. tábla i Minta Eltolás 0 (N) 1 1 (A)N 8 2 (M)AN 3 3 (N)MAN 6 4 (A)NMAN 6 5 (P)ANMAN 6 6 (N)PANMAN 6 7 (A)NPANMAN 6 Megjegyzés: (*) olyan karaktert jelöl, ami nem *

28 Boyer-Moore-Horspool algoritmus Az előzőnek egy egyszerűsített változata A második táblát nem használja Helyzettől függően kicsit lassabban állapítja meg, mennyit kell lépnie A sebessége nagyjából megegyezik a Boyer- Moore algoritmuséval Csak nagyon ritka esetben lassul be ahhoz képest

29 Zhu-Takaoka algoritmus Boyer-Moore algoritmus átdolgozása Két karaktert dolgoz fel egyszerre Gyorsabb a kiértékelés Ugrási táblák létrehozása viszont lassabb, ezek nagyon megnőhetnek Értelmes használni, ha: Kevés eleme van az ábécének Rövid a keresendő minta Lehetne folytatni 3 vagy több karakteres bontásban is

30 Aho-Corasick algoritmus A keresendő minták szótára alapján generál egy gráfot, milyen karakter esetén mit kell tennie Hasznos, ha több szövegben is kell ugyan azokat a mintákat megkeresni Elég egyszer legenerálni Erre épül az fgrep parancs Unix környezetben

31 Útvonal () - Aho-Corasick algoritmus Szótár {a, ab, bc, bca, c, caa} Szerepel-e a szótárban? (a) + () (ab) + (b) (b) - () Végződés (bc) + (c) (bca) + (ca) (a) (c) + () (ca) - (a) (a) (caa) + (a) (a) Közvetlen végződés

32 Aho-Corasick algoritmus Gráf csúcsa Maradék Kimenet: helyzet abccab elemzése Átmenet () abccab Indulás a gyökérből Kimenet (a) bccab a:1 () -> (a) Aktuális csúcs (ab) ccab ab:2 (a) -> (ab) Aktuális csúcs (bc) cab bc:3, c:3 (ab) -> (b) -> (bc) Aktuális csúcs, szótári végződés csúcs (c) ab c:4 (bc) -> (c) -> () -> (c) Aktuális csúcs (ca) b a:5 (c) -> (ca) Szótári végződés csúcs (ab) ab:6 (ca) -> (a) -> (ab) Aktuális csúcs

33 Mintaillesztő algoritmusok Köszönöm a figyelmet! Ölvedi Tibor OLTQAAI.ELTE