Információ- és kódelmélet

Átírás

1 Információ- és kódelmélet Györfi László Győri Sándor Vajda István november 29.

2 Tartalomjegyzék Előszó 7. Változó szóhosszúságú forráskódolás 9.. Egyértelmű dekódolhatóság, prefix kódok Átlagos kódszóhossz, entrópia Optimális kódok, bináris Huffman-kód Aritmetikai kódolás Az entrópia néhány tulajdonsága Információforrások változó szóhosszúságú kódolása Markov-forrás és entrópiája Univerzális forráskódolás Feladatok Forráskódolás hűségkritériummal Forráskódolás előírt hibavalószínűséggel Kvantálás Lineáris szűrés Mintavételezés Transzformációs kódolás Prediktív kódolás (DPCM) Lineáris becslés Beszédtömörítés Hangtömörítés Kép- és videotömörítés Forráskódolás betűnkénti hűségkritériummal Feladatok Csatornakódolás Bayes-döntés

3 6 TARTALOMJEGYZÉK 3.2. Optimális detektálás analóg csatorna kimenetén Csatorna, csatornakapacitás Csatornakódolási tétel Feladatok Hibajavító kódolás Kódolási alapfogalmak Bináris lineáris kódok, bináris Hamming-kód Véges test Lineáris kódok, nembináris Hamming-kód Véges test feletti polinomok Reed Solomon-kód Aritmetika GF(p m )-ben Ciklikus kódok BCH-kód Kódkombinációk Kódmódosítások Reed Solomon-kódok dekódolása Reed Solomon-kódok spektrális tulajdonságai A konvolúciós kódolás alapfogalmai A konvolúciós kódok Viterbi-dekódolása A Viterbi-dekódolás bithibaaránya DMC-n Rekurzív konvolúciós kódolás Turbó kódok CDMA Feladatok Kriptográfia Alapfogalmak A konvencionális titkosítók analízise Nyilvános kulcsú titkosítás RSA-algoritmus Kriptográfiai protokollok Feladatok Irodalomjegyzék 365 Tárgymutató 369

4 Előszó Az információelmélet a hírközlés matematikai elmélete. Születését lényegében Claude Shannon [43] művének 948-as megjelenéséhez köthetjük. Ez a munka volt az első, amely matematikai alapossággal tárgyalta az adattömörítés, a biztonságos adatátvitel és a titkosítás problémáit. Shannon adott először kezelhető és hasznos matematikai modelleket az információs folyamatok leírására, mégpedig úgy, hogy az egyes problémák esetén tisztázta az elvi határokat, és többségében meg is konstruálta azokat a módszereket, amelyek ezeket az elvi határokat aszimptotikusan elérik. Ugyanakkor napjainkban tömegesen terjedtek el az egyes adattömörítő és hibakorlátozó eljárások, tehát indokolt, hogy ezek alapvető elveit is áttekintsük. Az. fejezetben ismertetjük a veszteségmentes adattömörítést, míg a 2. fejezetben a veszteséget (torzítást) megengedő adattömörítő (forráskódoló) eljárásokat tárgyaljuk. A 3. fejezet témája a csatornakódolás. A forráskódolás elméletével ellentétben a csatornakódolás eredményei nem konstruktívak, tehát ma még nem ismertek olyan kódolási dekódolási eljárások, amelyek tetszőleges csatorna esetén a csatornakapacitást megközelítenék. Ugyanakkor ismertek olyan algebrai hibavédő kódok, amelyek számos gyakorlati probléma megoldását segítik. A 80-as évektől alkalmazzák polgári célokra is a hibavédő kódokat, napjainkban a CD-ben használt Reed Solomon-kód szinte minden háztartásban megtalálható. A 4. fejezet összefoglalja a hibajavító kódok alapjait. Az 5. fejezet témája a nyilvános kulcsú titkosítás, tehát az a probléma, hogy nyilvános hálózaton hogyan biztosítható az adat- illetve hozzáférésvédelem. Ez a tankönyv a Linder Lugosi [25] és a Györfi Vajda [22] jegyzet uniójának a kiegészítése azon tapasztalatok felhasználásával, amelyeket a BME műszaki informatikusoknak tartott Információelmélet és Kódelmélet tárgyak oktatása során szereztünk az elmúlt 0 évben.

5 8 ELŐSZÓ A mű elkészítésében nyújtott segítségükért szeretnénk köszönetet mondani György Andrásnak, Laczay Bálintnak, Linder Tamásnak, Lois Lászlónak, Lugosi Gábornak, Pataricza Andrásnak és Pintér Mártának. Budapest, augusztus 22. Györfi László Győri Sándor Vajda István

6 . fejezet Változó szóhosszúságú forráskódolás Ebben a fejezetben bevezetjük a veszteségmentes adattömörítés fogalmát. Ennek célja az, hogy egy üzenetet, amely egy véges halmaz (forrásábécé) elemeiből álló véges sorozat, egy másik véges halmaz (kódábécé) elemeiből álló sorozattal reprezentáljunk úgy, hogy ez a reprezentálás a lehető legrövidebb (és belőle az üzenet visszaállítható) legyen. Ennek megfelelően azt vizsgáljuk, hogy az adattömörítésnek melyek az elvi határai, és ezeket a határokat hogyan közelíthetjük meg. A legismertebb példa erre az, amikor a kódábécé a0halmaz, és egy üzenetet (pl. írott szöveg, fájl) bináris sorozatok formájában kódolunk tárolás, illetve átvitel céljából. Az üzenetet kibocsátó objektum az információforrás modellezésével és vizsgálatával az.6. szakasz foglalkozik (mivel valószínűségi modelleket használunk, ezért az üzenetek betűi valószínűségi változók lesznek). Célunk az, hogy az ehhez szükséges matematikai apparátust bevezessük. Megismerkedünk az üzenetek egy természetesen adódó kritérium szerinti kódolásával az egyértelműen dekódolható kódolással, mely később vizsgálataink középpontjában áll majd. Bevezetjük a diszkrét valószínűségi változó entrópiáját, és megmutatjuk, hogy az entrópia milyen alapvető szerepet játszik a kódolással kapcsolatban. Az elkövetkezőkben mindig azt tartjuk szem előtt, hogy az üzenetek kódja minél rövidebb legyen, ezért a kódok általunk vizsgált fő tulajdonsága a átlagos kódszóhossz lesz. A fejezetet az univerzális forráskódolással és annak gyakorlati alkalmazásaival zárjuk. A hírközlési rendszerek működését egzakt matematikai eszközökkel fogjuk vizsgálni. Persze sokféle matematikai modellt állíthatunk hírközlési feladatokra, de kezdetben az egyik legegyszerűbbet választva jól kifejezhetjük a probléma lényegét. A hírközlés alapfeladata az, hogy valamely jelsorozatot ( információt )

7 0. VÁLTOZÓ SZÓHOSSZÚSÁGÚ FORRÁSKÓDOLÁS forrás ¹kódoló ¹csatorna ¹dekódoló ¹nyelő ¹kódoló ¹dekódoló ¹.. ¹ ábra. Hírközlési rendszer blokkdiagramja. ¹ ¹forráskódoló ¹titkosító ¹csatornakódoló ¹ ¹ ¹ ¹csatornadekódolfejtő vissza- forrásdekódoló.2. ábra. A kódoló és a dekódoló felépítése. el kell juttatni egyik helyről a másikra. A távolságot (vagy időt) áthidaló hírközlési eszköz a csatorna azonban csak meghatározott típusú jeleket képes átvinni. Az információforrás által produkált jelfolyamot kódolással meg kell feleltetni egy, a csatorna által használt jelekből álló jelfolyamnak. A felhasználó (nyelő) a csatorna kimenetén pontosan, vagy megközelítőleg visszaállítja, dekódolja az üzenetet. Egy ilyen rendszer blokkdiagrammja látható az.. ábrán. A kódoló általános esetben három részből áll. Az első a forráskódoló, amely a forrás üzeneteit gazdaságosan, tömören reprezentálja. Ezzel foglalkozik az első két fejezet. A második rész a titkosító (5. fejezet), és a harmadik a csatornakódoló (3. és 4. fejezet). Ennek megfelelően a dekódoló is három részből áll: csatornadekódoló, visszafejtő és forrásdekódoló (.2. ábra)... Egyértelmű dekódolhatóság, prefix kódok Jelöljön X egy diszkrét valószínűségi változót, amely azx x 2x nvéges halmazból veszi értékeit. Azhalmazt a továbbiakban forrásábécének, elemeit pedig betűknek nevezzük. jelöljön egy s eleműy y 2y shalmazt. Ezt kódábécének nevezzük. jelölje azelemeiből álló véges sorozatok halmazát. elemeit kódszavaknak nevezzük. Egy f : függvényt, amely megfeleltetést létesít a forrásábécé és a kódszavak között, kódnak nevezünk. Azelemeiből alkotott véges sorozatok az üzenetek vagy közlemények (értékeiket az halmazból veszik). Amennyiben az f kód értékkészlete különböző hosszú kódszavakból áll, úgy változó szóhosszúságú kódolásról beszélünk.

8 .. EGYÉRTELMŰ DEKÓDOLHATÓSÁG, PREFIX KÓDOK u¾.. definíció. Az f : kód egyértelműen dekódolható, ha minden véges kódbetűsorozat legfeljebb egy közlemény kódolásával állhat elő, azaz ha kµ v¾, uu u 2u kvv v 2v muv, akkor f u µf u 2µf u f v µf v 2µf v mµ. (Itt az f uµf u¼µakét kódszó egymás után írását [konkatenáció] jelenti.) MEGJEGYZÉS: a) Az egyértelmű dekódolhatóság több, mint az invertálhatóság. Ugyanis legyenabc0és f aµ0f bµf cµ0. Ekkor az f : leképezés invertálható, viszont a 0 kódszót dekódolhatjuk f aµf bµ0 szerint ab-nek, vagy f cµ0 szerint c-nek is. b) Az előbbi definícióban szereplő kódolási eljárást, amikor egy közlemény kódját az egyes forrásbetűkhöz rendelt kódszavak sorrendben egymás után írásával kapjuk, betűnkénti kódolásnak nevezzük. Természetesen a kódolást teljesen általánosan egy g : függvénnyel is definiálhatnánk, de később látni fogjuk, hogy a betűnkénti kódolás és annak természetes kiterjesztése, a blokk-kódolás elegendő számunkra..2. definíció. Az f kód prefix, ha a lehetséges kódszavak közül egyik sem folytatása a másiknak, vagyis bármely kódszó végéből bármekkora szegmenst levágva nem kapunk egy másik kódszót. Egy prefix kód egyben egyértelműen dekódolható is. f aµ0f bµ Az eddig bevezetett fogalmak illusztrálására nézzük a következő példákat:.. példa.abc;0akód legyen a következő: 0f cµ0könnyen ellenőrizhető, hogy a kód prefix. Ha az abccab üzenetet kódoljuk, akkor a kódbetűsorozatot kapjuk. A kódból az üzenet visszafejtése nagyon egyszerű a prefix tulajdonság miatt; többek között ez a gyors dekódolási lehetőség teszi vonzóvá a prefix kódokat..2. példa.abcd;0; f aµ0f bµ0f cµ0f dµ 0Jól látható, hogy a kód nem prefix, de egyértelműen dekódolható, hiszen a 0 karakter egy új kódszó kezdetét jelzi... lemma (McMillan). Minden egyértelműen iµ dekódolható f : kódra n s f x (.) i ahol s a kódábécé elemszáma, ésf x iµjelöli az f x iµkódszóhosszát.

9 2. VÁLTOZÓ SZÓHOSSZÚSÁGÚ FORRÁSKÓDOLÁS BIZONYÍTÁS: Tekintsük az (.) összeg N-edik hatványát: n s i iµn n f x i n s f x i N iµ f x inµµn Lmax l A l s l ahol L maxmax inf x iµés A l jelöli az összes l hosszúságú, N darab kódszó egymás után írásával keletkező kódbetűsorozatok l számát. Mivel feltevésünk szerint f egyértelműen dekódolható, az összes ilyen l hosszú sorozat különböző, tehát A ls Ebből azt kapjuk, hogy n s i max f x iµnn L vagyis n i s max f x iµnôn NÔL (.2) Mivel N tetszőleges, és tudjuk, hogy NÔNNÔL max, ha N, ezért (.2) csak úgy állhat fenn minden N-re, ha (.) igaz. A következő lemma bizonyos értelemben az előző megfordítása..2. lemma (Kraft). Ha az l l 2l n pozitív i egész számokra n l s (.3) i akkor létezik olyan f prefix kód, hogy i in f x iµl BIZONYÍTÁS: Az egyszerűség kedvéért tegyük fel, hogy az l i számok nagyság szerint növekvő sorrendben vannak: l l 2 l n. A bizonyítás technikája megkívánja, hogy a kódábécéy y 2y selemeit a0s számokkal helyettesítsük (például a következő megfeleltetés szerint: y ii is). Definiáljuk a w j számokat 0 a következőképpen: i j2n w w jj s l j l i

10 .2. ÁTLAGOS KÓDSZÓHOSSZ, ENTRÓPIA 3 (.3) mindkét oldalát s l n -nel szorozva, majd mindkét oldalból -et levonva kapjuk, hogy w nn s l n l is l n i Hasonlóképp eljárva azt kapjuk minden j-re, hogy w jsl j. Ezek után definiáljuk f x jµ-t mint a w j szám s alapú számrendszerben felírt alakját, amelynek elejére annyi 0-t írunk, hogy a hossza l j legyen. A kódszavak nyilván különbözők lesznek mivel w jw k, ha jk. Most belátjuk, hogy az így kapott kód prefix. Tegyük fel ugyanis ennek az ellenkezőjét, vagyis azt, hogy valamilyen jk esetén f x jµvégéhez l k l j darab számjegyet hozzáadva megkapjuk f x kµ-t. Ekkor w jw k s l k l jkövetkezne. (Azxjelölés az x valós szám alsó egész részét jelöli). Viszont j w k s l k l jk s l j l iw j k s l j l iw ij i és így ellentmondásra jutottunk... következmény. Az.. és.2. lemmákat összevetve levonhatjuk azt a fontos következtetést, hogy minden egyértelműen dekódolható kódhoz létezik vele ekvivalens (azonos kódszóhosszú) prefix kód, tehát nem vesztünk semmit, ha az egyértelmű dekódolhatóság helyett a speciálisabb, és ezért könnyebben kezelhető prefix tulajdonságot követeljük meg..2. Átlagos kódszóhossz, entrópia Legyen X egyértékű valószínűségi p xµpxx változó, amit x¾ kódolni akarunk. Vezessük be a következő p :0 függvényt: A p xµfüggvény tehát az x forrásbetűhöz annak valószínűségét rendeli. H XµE p Xµµ.3. definíció. Az X valószínűségi változó entrópiáját, H Xµ-et, a n log összeggel definiáljuk. i p x iµlog p x iµ

11 4. VÁLTOZÓ SZÓHOSSZÚSÁGÚ FORRÁSKÓDOLÁS MEGJEGYZÉS: a) A log z jelölés a z pozitív szám kettes alapú logaritmusát jelenti. Mivel az.3. definíció megkívánja, a logaritmusfüggvénnyel kapcsolatban b a következő számolási szabályokat vezetjük be (a0b0): 0log a0log 0 a blog 00; 0 ; b blog 0 (E szabályok az adott pontban nem értelmezett függvények folytonos kiterjesztései.) A definícióból közvetlenül látszik, hogy az entrópia nemnegatív. Vegyük észre, hogy az entrópia értéke valójában nem függ az X valószínűségi változó értékeitől, csak az eloszlásától. b) Az entrópia intuitív fogalmával kapcsolatban lásd az.6. tétel utáni megjegyzést..4. definíció. Egy f kód átlagos kódszóhosszán az iµ Ef Xµn p x iµf x i várható értéket értjük..3. példa. H Xµ Az.. példa kódja esetén legyen p aµ05p bµ03p cµ02, ekkor az entrópia 05 log05 03 log03 02 log02485 Ef Xµ az átlagos kódszóhossz pedig Ahhoz, hogy az egyértelműen dekódolható kódok átlagos kódszóhossza és entrópiája közti alapvető összefüggést bebizonyítsuk (ami tulajdonképpen e fejezet fő állítása), szükségünk van két segédtételre:.. tétel (Jensen-egyenlőtlenség). Legyen h egy valós, konvex függvény azab zárt intervallumon, azaz minden xy¾ab és 0λ esetén h λx λµyµλh xµ λµh yµ (.4) és legyen Z egy valószínűségi változó, amely értékeit azab intervallumban veszi fel. Ekkor he Zµ Eh Zµ (.5)

12 .2. ÁTLAGOS KÓDSZÓHOSSZ, ENTRÓPIA 5 Továbbá, ha h az E Zµpontban szigorúan konvex, vagyis az (.4)-ben λx λµye Zµesetén határozott PZE Zµ egyenlőtlenség teljesülxy-ra, akkor (.5)- ben egyenlőség akkor és csak akkor áll fenn, ha vagyis ha Z -valószínűséggel konstans. BIZONYÍTÁS: Mivel h konvex, ezért az abµnyílt intervallum minden pontjában létezik a jobb és a bal oldali deriváltja és a bal oldali derivált legfeljebb akkora mint a jobb oldali. Továbbá az is igaz, hogy ezekkel a deriváltakkal mint meredekségekkel húzott félérintők a függvénygörbe alatt fekszenekab -ben. Jelölje c a jobb oldali deriváltat az E Zµpontban, és írjuk fel itt a jobb oldali félérintő egyenletét: g xµcx E Zµ he Zµ Ekkor az előbbiek szerint h xµg xµbármely x¾ab pontra, vagyis Tehát írhatjuk,hogy E Zµ he Zµ h xµcx E Zµ he Zµ (.6) h ZµcZ ahol mindkét oldal várható értékét véve megkapjuk az első állítást. Mivel szigorúan konvex esetben (.6)-ban egyenlőség csak xe Zµesetben teljesül, a második állítás triviálisan adódik..2. következmény. a) Ha p i0q i0i2n valós n p i i akkor i n p i log p i számokra i n és q n i i p i logq i (.7) és egyenlőség akkor és csak akkor áll fenn, ha p iq i minden i-re. b) Ha a i0b i0i2n valós számokra ib n n a ia és b i i

13 6. VÁLTOZÓ SZÓHOSSZÚSÁGÚ FORRÁSKÓDOLÁS a akkor n a i log b i b a ia log i és egyenlőség pontosan akkor áll fenn, ha b i a ikonstans minden i-re. BIZONYÍTÁS: a) (.7) ekvivalens azzal, hogy h xµ Mivel a logx függvény szigorúan konvex az értelmezési tartományán (a második deriváltja pozitív), így felhasználhatjuk a Jensen-egyenlőtlenséget a következőképpen: Legyen Y egy olyan valószínűségi változó, i in hogy p Ekkor a Jensen-egyenlőtlenség szerint ie n p i log q i i p PYq i p i logyµ i0 n p i log q i i p loge Yµ log n i p i q i p i0 és egyenlőség akkor és csak akkor teljesül, ha q i p ikonstans minden i-re, de ekkor az összegekre vonatkozó feltételek miatt p iq i minden i-re. b) Ha a0, akkora i0, s ekkor az állítás számolási szabályaink felhasználásával minden b0-ra teljesül. Ha a0, akkor az a) ia0 pont szerint a log b ib a an i a i log b i a i n ia i log b a tehát a zárójelben levő kifejezésre n i n a i i a0 a i log b n i a i a i log b i Szintén az a) pont szerint az egyenlőség feltétele az a i a bkonstans minden i-re. ab i i b, vagyis az a i b

14 .2. ÁTLAGOS KÓDSZÓHOSSZ, ENTRÓPIA 7 Most kimondjuk a fejezet egyik főtételét..2. tétel. Tetszőleges egyértelműen dekódolható iµh Xµ f : kódra (.8) logs H Xµ MEGJEGYZÉS: Ha az entrópia definíciójában kettes alapú logaritmus helyett s- alapú logaritmust használnánk, akkor ezt az entrópiát H s Xµ-szel jelölve logs H s Xµmiatt (.8) a következő alakú lenne: s Xµ Ef XµH H Xµ BIZONYÍTÁS: Az (.8) állítás ekvivalens a következővel: iµ n p x iµlogs f x i A Jensen-egyenlőtlenség iµ.2. a) következményét i iµ jµ alkalmazva a s f x p ip x q in; n s f x j H Xµ szereposztásban megkapjuk az állítást: n iµ jµ p x s f x iµlog i f x n n n Ef Xµn p x iµf x i i p x iµlog p x iµ p x iµlogs i i p x iµlogs n s j f x iµ logn is f x iµ iµ f x ahol az utolsó egyenlőtlenségnél az.. lemmát, a McMillan-egyenlőtlenséget használtuk fel. H Xµ Miután láttuk, hogy egy X valószínűségi változó egyértelműen dekódolható kódjának átlagos kódszóhosszára a logs mennyiség alsó korlátot ad, most megmutatjuk, hogy prefix kóddal ezt a korlátot jól meg lehet közelíteni.

15 8. VÁLTOZÓ SZÓHOSSZÚSÁGÚ FORRÁSKÓDOLÁS Ef XµH Xµ.3. tétel. Létezik olyan f : prefix kód, amelyre logs 2µ. BIZONYÍTÁS: (Shannon Fano-kód) Feltehetjük, hogy p x µp x p x n µp x nµ0, mert különben azelemeinek átindexelésével elérhetjük ezt. A bizonyítás technikája miatt ismét felhasználjuk az y ii is megfeleltetést. Legyenek 0 a w i számok a következők: i2n w w lµ ii p x l Kezdjük a w i számokat felírni s-alapú számrendszerbeli tört alakban. A w j -hez tartozó törtet olyan pontosságig írjuk le, ahol az először különbözik az összes többi w i, ij szám hasonló alakbeli felírásától. Miután ily módon n darab véges hosszú törtet kapunk, az f x jµlegyen a w j -hez tartozó tört az egészeket reprezentáló nulla nélkül. Könnyedén belátható, hogy az így kapott kód prefix. A konstrukció jµ miatt x j -hez létezik olyan x k, hogy w j és w k végtelen tört alakjában az elsőf x számjegy azonos. Nyilvánvaló, hogy vagy w j vagy w j tört alakja ilyen lesz, mivel ezek a w j -hez legközelebbi számok. jµ Az első esetben f x (.9) a második esetben jµ p x j µw j w j s f x de ekkor p x jµp x j µmiatt (.9) megint jµ következik. Tehát mindkét esetben log p x µlogs jµ f x amiből mindkét oldalt p x jµ-vel szorozva és minden j-re összegezve p x jµw j w js n j p x jµlog p x jµ n jµ p x jµf x logs j következik, így a tételt bebizonyítottuk. 2. BIZONYÍTÁS: Legyenek az i l i pozitív egész iµ számok olyanok, hogy log s p x iµl log s p x in (.0)

16 .2. ÁTLAGOS KÓDSZÓHOSSZ, ENTRÓPIA 9 ahol log s az s-alapú logaritmust jelöli. Az l i számokat nyilván egyértelműen meg lehet így választani. A bal oldali egyenlőtlenségből következik, hogy n l in iµn is is log s p x p x iµ i tehát az l i számok kielégítik az.2. lemma feltételét, és így létezik f prefix kód l i hosszú kódszavakkal f x iµl iµ. Ha a jobb oldali egyenlőtlenséget (.0)-ben p x iµ-vel megszorozzuk i és minden i-re összegezzük, akkor iµh Xµ azt kapjuk, hogy n p x logs n i p x iµ l iµ n p x iµlog s p x i i Az.. definíció utáni megjegyzés b) pontjában említettük, hogy a betűnkénti kódolásnak van egy természetes általánosítása, a blokk-kódolás. Ezt formálisan egy f :m leképezéssel definiálhatjuk, ahol tehát a forrásábécé betűiből alkotott rendezett m-eseket tekintjük forrásszimbólumoknak és ezeknek feleltetünk meg kódszavakat. A helyzet tulajdonképpen nem változik a betűnkénti kódolás esetéhez képest, hiszen egy újforrásábécét definiálhatunk azm jelöléssel, és az eddig elmondottak mind érvényben maradnak. Az egyértelmű dekódolhatóság definíciója ugyanaz marad, mint a betűnkénti kódolás esetében, az előbbieket szem előtt tartva. Legyen X X X mµegy valószínűségi vektorváltozó, melynek koordinátái az-ből veszik értékeiket. Az entrópia.3. definíciójából jól látszik, hogy az csakis az eloszlástól függ. Mivel X is csak véges sok különböző értéket vehet fel, az.3. definíciót közvetlenül alkalmazhatjuk. Az X entrópiája tehát a m m¾ mx x x p xµp x H Xµ x mµpx x X ¾ x¾m m¾p x x x p xµ jelölést bevezetve a következő: p xµlog mµ x mµlog p x x Az X X X mµentrópiájára a H Xµjelölés mellett, ahol ez a célszerűbb, gyakran a H X X mµjelölést fogjuk használni. Ha az X X 2X m valószínűségi változók függetlenek, p xµ akkor H Xµa koordináta valószínűségi változók entrópiáinak összege: p xµlog H Xµ x¾m

17 x ¾ 20. VÁLTOZÓ SZÓHOSSZÚSÁGÚ FORRÁSKÓDOLÁS mµ m¾p x µ p m x mµlog p x µ p m x x µ mµ ¾p x µlog p x m¾p m x mµlog p m x x x m (.) ih X iµ ix ahol p i xµpx im. Ha az X X m valószínűségi változók nemcsak függetlenek, hanem azonos eloszlásúak is, akkor (.)-ből (.2) µ H X X mµmh X következik. A betűnkénti átlagos kódszóhossz definíciója értelemszerűen módosul a blokkkódolás esetében: a kódszóhossz várható értékét el kell osztani az egy blokkot alkotó forrásbetűk számával, vagyis a betűnkénti átlagos kódszóhosszon a következő mennyiséget p xµf xµ értjük: Ef Xµ m m x¾m Ef XµH Xµ Értelemszerűen az.2. tétel állítása blokk-kódolás esetén is igaz: logs hiszen a tétel bizonyítása közvetlenül itt is alkalmazható. Az.3. tétel következményeként megmutatjuk, hogy blokk-kódolás segítségével a betűnkénti átlagos kódszóhossz alsó korlátja tetszőlegesen közelíthető..3. következmény. Ha X X m Ef XµH Xµ független, X-szel azonos eloszlású valószínűségi változók, akkor létezik olyan f :m prefix m kód, hogy m logs tehát a betűnkénti átlagos kódszóhossz az m blokkhossz növelésével tetszőlegesen alsó korlátot. közelíti a H Xµ logs

18 .3. OPTIMÁLIS KÓDOK, BINÁRIS HUFFMAN-KÓD 2 p xµf xµh Xµ BIZONYÍTÁS: Az.3. tételt felhasználva létezik olyan f :m prefix kód, hogy logs x¾m Ebből (.2) miatt következik x¾m ahol mindkét oldalt m-mel osztva megkapjuk az állítást. p xµf xµmh Xµ logs.3. Optimális kódok, bináris Huffman-kód Az.2. tétel alsó korlátot ad az egyértelműen dekódolható kódok átlagos kódszóhosszára, az.3. tétel pedig mutat egy olyan kódkonstrukciót, ahol ezt a korlátot jól megközelíthetjük. A jó kód konstrukciójának problémáját persze ennél általánosabban is felvethetjük: konstruáljuk meg az optimális, azaz legkisebb átlagos kódszóhosszú kódot, ha adott az H Xµ X valószínűségi változó eloszlása. Először is gondoljuk át, hogy optimális kód valóban létezik. Ugyan véges kódábécé esetén is az egyértelműen dekódolható vagy prefix kódok halmaza végtelen, de a bizonyos átlagos kódszóhossznál (pl. logs ) jobb kódok halmaza véges. Másodszor, vegyük észre, hogy az optimális kód nem feltétlenül egyértelmű; egyenlő valószínűségekhez tartozó kódszavakat felcserélhetünk, csakúgy, mint az egyenlő hosszú kódszavakat, anélkül, hogy az átlagos kódszóhosszat ezzel megváltoztatnánk. Egy optimális kód konstruálását az.. következmény értelmében egy optimális prefix kód konstruálására lehet visszavezetni. Ezért a következőkben kimondjuk az optimális prefix kódok néhány tulajdonságát. A továbbiakban az egyszerűség kedvéért a bináris, s2 esettel foglalkozunk; feltesszük, hogy 0. Az általános, s2 eset bonyolultabb, és a dolog lényege így is jól látható..4. tétel. Ha az f :0 prefix kód optimális, éselemei úgy vannak indexelve, hogy p x µp x 2µ p x n µp x nµ0, akkor feltehető, hogy f -re a következő három tulajdonság teljesül: a)f x µf x 2µ f x n µf x nµ, vagyis nagyobb valószínűségekhez kisebb kódszóhosszak tartoznak. b)f x n µf x nµ, vagyis a két legkisebb valószínűségű forrásbetűhöz tartozó kódszó egyenlő hosszú.

19 22. VÁLTOZÓ SZÓHOSSZÚSÁGÚ FORRÁSKÓDOLÁS c) Az f x n µés az f x nµkódszavak csak az utolsó bitben különböznek. BIZONYÍTÁS: a) Tegyük fel, hogy p x kµp x jµésf x kµf x jµ. Ekkor x j és x k kódját felcserélve egy új iµ f kódot vezethetünk iµ be, amelyre n p x iµf x i p x kµf x kµ p x kµ jµ jµ kµ jµf x p x kµf x p x jµf x p x kµ f x kµ jµµ f x kµ kµ jµµ p x jµ f x jµµ0 f x p x p x jµµ f x f x tehát f nem lehet optimális. nµ b) Az állítás egyszerűen belátható, ha arra gondolunk, hogyf x n µf x esetén azf x nµutolsó bitjét levágva az optimálisnál kisebb átlagos kódszóhosszú kódot kapnánk, ami még mindig prefix tulajdonságú. Valóban, mivel az eredeti kódszó minden más kódszónál legalább eggyel hosszabb volt, a csonkítással kapott új kódszó az eredeti kód prefix tulajdonsága miatt nem azonos semelyik másikkal, és ugyanezen okok miatt nem is folytatása semmilyen más kódszónak. n i p x iµf x c) Az előző gondolatmenetből világos, hogy ha létezik olyan f x iµkódszó, hogy f x iµés f x nµcsak az utolsó bitben különböznek, akkor az a) és b) miattf x iµf x n µf x nµ. Így ha in, akkor x i és x n kódját felcserélve c) teljesül, és a kód optimális marad..5. tétel. Tegyük most fel, hogy az.4. tétel feltételei teljesülnek, és hogy a p x µp x 2µp x n µ p x nµvalószínűségeloszláshoz ismerünk egy g optimális bináris prefix kódot. (Az x n és x n forrásbetűket összevonjuk egy 2µ x n szimbólumba; p x n µp x nµ). Ekkor az eredetip x µp x p x n µp x nµeloszlás egy optimális f prefix kódját kapjuk, ha a g x n µkódszót egy nullával, illetve egy egyessel kiegészítjük (a többi kódszót pedig változatlanul hagyjuk). n µ p x BIZONYÍTÁS: kapjuk, hogy A g és az f átlagos kódszóhosszát nµ L g -vel és L f -fel jelölve azt L fl g p x n µ p x

20 .3. OPTIMÁLIS KÓDOK, BINÁRIS HUFFMAN-KÓD 23 Ha f nem lenne optimális, akkor a nála kisebb L f átlagos kódszóhosszú f kódról az.4. tétel c) pontja szerint feltehetnénk, hogy f x n µés f x nµnem rövidebbek semelyik más kódszónál, és csak az utolsó bitben különböznek egymástól. Ezt az utolsó bitet elhagyva ap x µp x 2µp x n µ p x nµeloszlásra egy g kódot kapnánk, amire f µ µ L g L p x n p x nµl f p x n p x teljesülne, tehát az optimális g-nél jobb kódot kapnánk, ami lehetetlen. nµl g Az előző tétel alapján már megadhatjuk az optimális prefix kód Huffman-féle konstrukcióját: A két legkisebb valószínűség összevonásával addig redukáljuk a problémát, amíg az triviális nem lesz, vagyis amíg összesen két valószínűségünk marad. Ezt n 2 lépésben érhetjük el. Ezután az összevonások megfordításával, mindig a megfelelő kódszó kétféle kiegészítésével újabb n 2 lépésben felépítjük az optimális kódot, a Huffman-kódot. A következő példában nyomon követhetjük az algoritmus egyes lépéseit. 4µ.4. példa. Legyen n5 és p x µ04p x 2µ03p x 3µ05, p x 0p x 5µ005, és keressük meg az ehhez tartozó Huffman-kódot: Az egyes lépéseket az oszlopok számozása jelzi balról-jobbra, az összevonásokat a nyilak mentén lehet nyomon követni ± ± ± A 04 és 06 valószínűségek optimális prefix kódja nyilván a 0 és az (vagy fordítva). Az összevonások megfordításával elvégezhetjük a Huffman-kód felépítését. A valószínűségek mellett szögletes zárójelben az egyes lépésekben kapott kódszavak állnak. 0 ² ² ² Tehát f x µ0f x 2µ0f x 3µ0f x 4µ0f x 5µ

21 24. VÁLTOZÓ SZÓHOSSZÚSÁGÚ FORRÁSKÓDOLÁS n n Az előzőekben feltételeztük, hogy ismerjük a bemenet eloszlását. Ez azonban nincs mindig így, ekkor az eloszlást a relatív gyakoriságokkal kell becsülnünk. A gyakorlati problémák során általában adott a Z Z N bemeneti sorozat iµ (szöveg, fájl), amelyet szeretnénk optimálisan kódolni. Feladatunk a if Z N minimalizálása, vagyis az optimális f kódolófüggvény megválasztása. Ez egyenértékű a kódszóhosszak átlagának, N N iµ-nek a minimalizálásával. if Z Belátjuk, hogy N N if Z iµe Nf Zµ, ha a várható értéket az empirikus eloszlás szerint vesszük, Nf Zµ tehát a forrásbetűk valószínűségét a relatív gyakoriságuk- N IZ ix j, ahol Iaz indikátor függvény. Nyilván i jµ E kal definiáljuk: p N x jµ N N N j p N x jµf x j N N IZ ix jf x i N n IZ ix jf x i j iµ N if Z jµ jµ (A gyakorlatban magát a kódoló függvényt is le kell írni, át kell vinni a dekódolóhoz, és ez a fejléc így a fentinél nagyobb átlagos kódszóhosszat eredményez. Az aszimptotikus vizsgálat során azonban ettől a konstans költségtől eltekinthetünk.) A Huffman-kódolás fenti algoritmusát csak két lépésben tudjuk végrehajtani. Először meghatározzuk a forrásbetűk relatív gyakoriságát, ami az előzőek értelmében megegyezik a valószínűségekkel, majd ennek felhasználásával elvégezzük a tényleges kódolást. Nem mindig engedhető meg azonban olyan nagy mértékű késleltetés, hogy csak az összes bemeneti adat megérkezése után kezdünk hozzá a kimenet előállításához, másrészt a kétmenetes beolvasás akkor is lassítja az algoritmust (bár kétségkívül optimális kódot eredményez), ha a bemenet már rendelkezésre áll. A gyakorlatban ezért sokszor érdemes egymenetes algoritmust használni. Így az optimalitás rovására időt takaríthatunk meg. Egy forrásbetűt az előző forrásbetűk előfordulásai alapján kódolunk, s ezzel együtt lépésenként változik maga a kód is. Tehát az aktuális forrásbetű kódolását egy, az előzőleg

22 .3. OPTIMÁLIS KÓDOK, BINÁRIS HUFFMAN-KÓD 25 feldolgozott forrásbetűkre optimális kóddal hajtjuk végre. Ezt az eljárást adaptív Huffman-kódolásnak nevezzük. A Huffman-kódot bináris faként is ábrázolhatjuk. A leveleket a forrásszimbólumokkal címkézzük, az éleken pedig a kódábécé 0µelemei szerepelnek. A csúcsokban a relatív gyakoriságok állnak. Egy forrásszimbólumhoz tartozó kódszót úgy kapunk meg, hogy a fa gyökerétől a megfelelő levélig húzódó út élein szereplő kódbetűket sorban összeolvassuk (konkatenáljuk). A Huffman-kódolás szemléletesen úgy történik, hogy kiindulásként felvesszük a forrásszimbólumokhoz tartozó leveleket, a csúcsokba a forrásszimbólumok relatív gyakoriságait írjuk, majd lépésenként mindig a két legkisebb értéket tartalmazó csúcs fölé teszünk egy új csúcsot (szülőt), s ebbe a két régi érték összegét írjuk. Az eljárás végén kialakul az összefüggő fa, melynek a legutolsó lépésben megkapott csúcsa lesz a gyökér. A bináris Huffman-fában a relatív gyakoriságok szerepelnek. Adaptív Huffman-kódolás esetén ezek helyett a gyakoriságokat használhatjuk (hiszen utóbbiakat a bemenet hosszával elosztva megkapjuk a relatív gyakoriságokat, és számunkra csak az értékek egymáshoz való aránya érdekes). Két összevont betű szülőjének súlyát a szokásos módon, a két gyakoriság összegeként kapjuk. Amennyiben a fa testvér (vagyis közös szülővel rendelkező) pontpárjait a gyökértől a levelek felé haladva fel tudjuk sorolni súlyuk szerint nemnövekvő sorrendben, a fa rendelkezik a testvérpár tulajdonsággal (sibling pair property). Bebizonyítható, hogy egy Huffman-fa akkor és csak akkor optimális, ha rendelkezik a testvérpár tulajdonsággal..5. példa. 288µ; 53µ; 7µ; 76µ; 65µ; 43µ; 32µ; 22µ; 2µ Az.3. ábrán látható fára teljesül a testvérpár tulajdonság. A párok a következők: Ezek nemnövekvő rendezése: µ Az.4. ábra kódfájának párjai: 3µ; 2µ; Ezeket nem tudjuk megfelelően sorba rendezni, így nem teljesül a fára a testvérpár tulajdonság.