Algoritmuselmélet 6. előadás

Átírás

1 Algoritmuselmélet 6. előadás Katona Gyula Y. Budapesti Műszaki és Gazdaságtudományi Egyetem Számítástudományi Tsz. I. B. 137/b 2002 Március 4.

2 ALGORITMUSELMÉLET 6. ELŐADÁS 1 Hash-elés álvéletlen próbával A 0, h 1 (K), h 2 (K),..., h M 1 (K) próbasorozat a 0, 1,..., M 1 számoknak egy a K kulcstól független álvéletlen permutációja. A sorozatnak gyorsan és hatékonyan reprodukálhatónak kell lennie véletlen Ha h(k) = h(l), akkor a K és L kulcsok teljes próbasorozata is megegyezik = másodlagos csomósodásnak Kvadratikus maradék próba Legyen M egy 4k + 3 alakú prímszám, ahol k egy egész. Ekkor a próbasorozat legyen ( ) M 1 2 ( ) M 1 2 0, 1 2, (1 2 ), 2 2, (2 2 ),...,,. 2 2 = Belátjuk, hogy ez tényleg permutáció.

3 ALGORITMUSELMÉLET 6. ELŐADÁS 2 Tétel. Ha M egy 4k + 3 alakú prímszám, akkor nincs olyan n egész, melyre n 2 1 (mod M). Bizonyítás: Indirekt tegyük fel, hogy n egy egész szám és n 2 1 (mod M). = 1 ( 1) M 1 2 n 2M 1 2 n M 1 1 (mod M). Az utolsó lépésnél a kis Fermat-tételt használtuk. Ha 0 i < j M 1 2, akkor i 2 j 2 (mod M). = j 2 i 2 = (j i)(j + i) felbontás egyik tényezője sem lehet osztható M-mel, tehát a szorzatuk sem Ugyanígy = i 2 j 2 (mod M). i 2 j 2 (mod M) = (ij 1 ) 2 1 (mod M)

4 ALGORITMUSELMÉLET 6. ELŐADÁS 3 Sikeres keresés költsége: C N 1 log(1 α) α 2 Sikertelen keresés költsége: C N 1 (1 α) α log(1 α) Ezek az összefüggések valamivel általánosabban érvényesek az olyan módszerekre, amelyekre h i (K) = f i (h(k)); vagyis ahol a h(k) érték már az egész próbasorozatot meghatározza.

5 ALGORITMUSELMÉLET 6. ELŐADÁS 4 Kettős hash-elés G. de Balbine, J. R. Bell, C. H. Kaman, 1970 körül. Lényeg: h mellett egy másik h hash-függvényt is használunk a h (K) értékek relatív prímek legyenek az M táblamérethez A K kulcs próbasorozata: h i (K) := ih (K). Ha M és h (K) relatív prímek = 0, h (K), 2h (K),..., (M 1)h (K) sorozat elemei mind különbözők modulo M Fontos sajátossága: különböző K és K kulcsok próbasorozatai jó eséllyel akkor is különbözők lesznek, ha h(k) = h(k ). A legjobb ismert implementációk időigénye (empirikus adatok alapján) C N 1 α log 1 (1 α) és C N 1 1 α.

6 ALGORITMUSELMÉLET 6. ELŐADÁS 5 A kettős hash-elés kiküszöböli mindkét-féle csomósodást Sikertelen keresés esetén minden érdekes α-ra gyorsabb, mint a lineáris próbálás Sikeres kereséskor csak az α 0, 8 tartományban lesz gyorsabb a lineáris próbálásnál.

7 ALGORITMUSELMÉLET 6. ELŐADÁS 6 Hash-függvények legyen könnyen (gyorsan) számítható és minél kevesebb ütközést okozzon. A második követelmény elég nehezen megfogható, mert a gyakorlatban előforduló kulcshalmazok egyáltalán nem véletlenszerűek. hasznos tanácsok = h(k) értéke lehetőleg a K kulcs minden bitjétől függjön és a h értékkészlete a teljes [0, M 1] címtartomány legyen

8 ALGORITMUSELMÉLET 6. ELŐADÁS 7 Osztómódszer Legyen h(k) := K (mod M), ahol M a tábla vagy a vödörkatalógus mérete. Feltesszük, hogy a kulcsok egész számok. A h(k) számítása gyors és egyszerű. A tábla mérete sem teljesen közömbös. Például ha M a 2 egy hatványa, akkor h(k) csak a kulcs utolsó néhány bitjétől függ. A jó M értékeket illetően van egy széles körben elfogadott recept: D. E. Knuth javaslata = M-et prímnek választjuk, úgy, hogy M nem osztja r k +a-t, ahol r a karakterkészlet elemszáma (pl. 128, vagy 256) és a, k kicsi" egészek. M prím = lényeges feltétel a kvadratikus maradék próbánál. Könnyű hozzájuk relatív prím számot találni = kettős hash-elés

9 ALGORITMUSELMÉLET 6. ELŐADÁS 8 Szorzómódszer β egy rögzített paraméter {x} jelöli az x valós szám törtrészét h(k) := M {βk}. Szemléletesen = {βk} kiszámításával a K kulcsot véletlenszerűen" belőjük a [0, 1) intervallumba = az eredményt felskálázzuk a címtartományba. Hatékonyan számítható speciális eset: M = 2 t, w = 2 32, és legyen A egy a w-hez relatív prím egész. Ekkor β = A választás mellett h(k) igen jól számolható. w A számok bináris ábrázolásával dolgozva lényegében egy szorzást és egy eltolást kell elvégezni.

10 ALGORITMUSELMÉLET 6. ELŐADÁS 9 A szorzómódszer jól viselkedik számtani sorozatokon pl. termék1, termék2, termék3,... esetében Megmutatható, hogy a h(k), h(k + d), h(k + 2d)... sorozat közelítőleg számtani sorozat lesz, azaz h jól szétdobja" a kulcsok számtani sorozatait. Tétel (T. Sós Vera, 1957). Legyen β irracionális szám, és nézzük a 0, {β}, {2β},..., {nβ} pontok által meghatározott n + 1 részintervallumot [0, 1)-ben. Ezek hosszai legfeljebb 3 különböző értéket vehetnek fel, és {(n + 1)β} a leghosszabbak egyikét fogja két részre vágni. a [0, 1)-beli számok közül a legegyenletesebb eloszlást a β = φ 1 = 5 1 = és a β = φ 2 = 1 φ 1 értékek 2 adják. = érdemes a szorzómódszernél az A-t úgy választani, hogy A w közel legyen φ 1 -hez. = Fibonacci-hash-elés

11 ALGORITMUSELMÉLET 6. ELŐADÁS 10 A kettős hash-elés második függvénye Olyan h függvény kell, melynek értékei a [0, M 1] intervallumba esnek, és relatív prímek az M-hez Ha M prím = h (K) := K (mod M 1) + 1. = h (K) és M relatív prímek = elég sok különböző próbasorozatot ad Java animáció: Hash-elés

12 ALGORITMUSELMÉLET 6. ELŐADÁS 11 Szekvenciális keresés Ha egy állomány (tömb, lista, stb.) szegényes szerkezetű = nincs jobb, mint elejétől a végéig" bejárni, vagy legalábbis addig, amíg a keresett adatot meg nem találjuk. Ha egyenlő eséllyel kell keresni az elemeket = Sikeres keresés átlagos költsége: N N = N Sikertelen keresés költsége: N Ha az állományban az elemek nagyság szerint rendezettek = Sikeres keresés átlagos költsége: N+1 2. Sikertelen keresés költsége: N 1 + N + N N + 1 = N 2 + N N + 1 < N

13 ALGORITMUSELMÉLET 6. ELŐADÁS 12 Tegyük fel, hogy csak sikeres keresésekkel van dolgunk, és legyen p i annak a valószínűsége, hogy az R i rekordot keressük. = Sikeres keresés átlagos költsége: C N = p 1 + 2p 2 + 3p Np N. Hogy érdemes sorba rendezni az R i rekordokat? = csökkenő sorrendben Különböző eloszlások esetén: Egyenletes: p i = 1 N = C N = N+1 2 Egy nagyon ferde eloszlás: p i = 1 2 i = C N = N 1

14 ALGORITMUSELMÉLET 6. ELŐADÁS 13 Zipf eloszlás: p i = 1 ih N, ahol H N = n = log n o(1) = C N = N ip i = i=1 N 1 i = N N ih N H N log N i= szabály: Tapasztalat = Az adatelérési igények 80%-a a rekordoknak körülbelül csak 20%-át érinti. ϑ = log 0, 8 log 0, 2 1 7, c = 1 = C N 0, 122N p i = H (1 ϑ) N i c 1 ϑ, ahol és H (1 ϑ) N = (1 ϑ) N (1 ϑ)

15 ALGORITMUSELMÉLET 6. ELŐADÁS 14 Önszervező módszerek Mit tehetünk abban az esetben, ha a p i keresési valószínűségeket nem ismerjük, vagy esetleg azok idővel változnak? A keresett (és megtalált) R i elemet a tábla elejére visszük. Az eredmény: R i R 1 R 2... R N A keresett (és megtalált) R i elemet felcseréljük a megelőzővel. R 1... R i R i 1... R N Ha az eloszlás időben változik, akkor az első megoldás ajánlatos. Ha a {p i } eloszlás stabil, azaz időben nem változik, akkor a második heurisztika eredményesebb.

16 ALGORITMUSELMÉLET 6. ELŐADÁS 15 Információtömörítés A b 1,..., b n betűkből álló szöveget szeretnénk bitsorozatként kódolni. uniform kódolás = log 2 n a legrövidebb lehetséges kódhosszúság egy betűre eltérő hosszú kódszavak = dekódolás problémásabb Definíció. Egy bitsorozatokból álló kód prefix kód, ha egy betű kódja sem prefixe (kezdőszelete) egy másik kódjának. Formálisan: ha x és y két különböző betű kódja, akkor nincs olyan z bitsorozat, melyre xz = y. Egy prefix-tulajdonságú kóddal leírt üzenet egyértelműen visszafejthető.

17 ALGORITMUSELMÉLET 6. ELŐADÁS A 0 1 E F 0 1 D B C Probléma: Adott egy szöveg, melyben a b i karakter q i -szer fordul elő. Keressünk olyan fát, amelyre a q i h(b i ) összeg minimális, ahol egy x csúcsra h(x) a gyökértől x-ig vezető úton bejárt élek száma.

18 ALGORITMUSELMÉLET 6. ELŐADÁS 17 Huffman-kód Optimális ilyen fa: Kezdetben n izolált csúcspontunk van. b i címkéje legyen q i. Tegyük fel, hogy már megépítettük az S 1,..., S k fákat, ezek gyökérpontjai x 1,..., x k, utóbbiak címkéi az r 1,..., r k számok. Ekkor vesszük a két minimális címkéjű gyökeret (legyenek ezek x i és x j ). Ezek fölé egy új y gyökérpontot teszünk, melynek fiai x i és x j. Az y címkéje r i + r j. A fák száma eggyel csökken. Megállunk, ha már csak egy fa marad. Összesen n 1 ilyen összevonó lépés szükséges.

19 ALGORITMUSELMÉLET 6. ELŐADÁS A B C D E F

20 ALGORITMUSELMÉLET 6. ELŐADÁS 19 KAKUKKMADARAMNAK = 7 betű = uniform kódolással betűnként 3 bit, összesen 48 bit N R D U M A K A betűk kódjai: K: 11, A: 10, M: 011, U: 0101, D: 0100, N: 000, R: 001 kódszó: KAKUKKMADARAMNAK összesen 40 bit

21 ALGORITMUSELMÉLET 6. ELŐADÁS 20 Optimális kód Tétel. A Huffman-fa optimális. Pontosabban fogalmazva, a Huffman-fa esetén az I = q i h(b i ) összeg minimális azon bináris fák között, amelyek levelei b 1,..., b n. Bizonyítás: A Huffman-fa által adott I érték legyen H(q 1, q 2,..., q n ). konstrukció = H(q 1,..., q n ) = H(q 1 + q 2, q 3,..., q n ) + q 1 + q 2 Jelölje Opt(q 1, q 2,..., q n ) a q i gyakoriságok esetén elérhető optimális I-értéket. Lemma. Legyen továbbra is q 1 q 2 a két legkisebb gyakoriság. Ekkor Opt(q 1, q 2,..., q n ) = Opt(q 1 + q 2, q 3,..., q n ) + q 1 + q 2.

22 ALGORITMUSELMÉLET 6. ELŐADÁS 21 Bizonyítás: Minden belső csúcsnak két fia van. Legyen most x egy levél az optimális fánkban, melyre h(x) a lehető legnagyobb, x-nek van a fában egy y testvére, címkéik q 1 és q 2. Töröljük az x és y csúcsokat, és írjuk az új levélbe a q 1 + q 2 címkét. A fa I-értéke legyen J. = Opt(q 1, q 2,..., q n ) = J (h(x) 1)(q 1 + q 2 ) + q 1 h(x) + q 2 h(x) = J + q 1 + q 2, = az új fának is optimálisnak kell lennie a q 1 + q 2, q 3,..., q n gyakoriságokra vonatkozóan, hiszen, ha J-n tudnánk javítani, akkor az eredeti fán is. Bizonyítás: (Tétel) Indukció, n = 2 Tegyük fel, hogy legfeljebb n 1 betű esetén igaz = Az indukciós feltevés szerint Opt(q 1 + q 2, q 3,..., q n ) = H(q 1 + q 2, q 3,..., q n ) = Opt(q 1, q 2, q 3,..., q n ) = H(q 1, q 2, q 3,..., q n ) Java animáció: Huffman-fa