Információelmélet. Informatikai rendszerek alapjai. Horváth Árpád október 29.

Átírás

1 Információelmélet Informatikai rendszerek alapjai Horváth Árpád 205. október 29.. Információelmélet alapfogalmai Információelmélet Egy jelsorozat esetén vizsgáljuk, mennyi információt tartalmaz. Nem érdekel minket a jelek tényleges jelentése. Ahonnan a jelek jönnek, forrásnak nevezzük. A jelek összességét a forrás jelkészletének (szimbólumkészletének, ábécéjének) nevezzük. Egyszer ség kedvéért feltételezzük, hogy véges számú jel van (diszkrét jelkészlet). Ezt nevezzük diszkrét forrásnak... Információtartalom Mekkora egy jel információtartalma? Mennyi igen-nem válasszal határozhatunk meg egy kártyát a magyarkártya-pakliból? Makk VIII-as (M,VIII) M,VII M,VIII M,IX M,X M,A M,F M,K M,Á T,VII T,VIII T,IX T,X T,A T,F T,K T,Á Z,VII Z,VIII Z,IX Z,X Z,A Z,F Z,K Z,Á P,VII P,VIII P,IX P,X P,A P,F P,K P,Á

2 P,VII Z,VII T,VII M,VII P,VIII Z,VIII T,VIII M,VIII P,IX Z,IX T,IX M,IX P,X Z,X T,X M,X P,A Z,A T,A M,A P,F Z,F T,F M,F P,K Z,K T,K M,K P,Á Z,Á T,Á M,Á P,VII Z,VII T,VII M,VII P,VIII Z,VIII T,VIII M,VIII P,IX Z,IX T,IX M,IX P,X Z,X T,X M,X P,A Z,A T,A M,A P,F Z,F T,F M,F P,K Z,K T,K M,K P,Á Z,Á T,Á M,Á P,VII Z,VII T,VII M,VII P,VIII Z,VIII T,VIII M,VIII P,IX Z,IX T,IX M,IX P,X Z,X T,X M,X P,A Z,A T,A M,A P,F Z,F T,F M,F P,K Z,K T,K M,K P,Á Z,Á T,Á M,Á 2

3 M,VII M,VIII M,IX M,X M,A M,F M,K M,Á T,VII T,VIII T,IX T,X T,A T,F T,K T,Á Z,VII Z,VIII Z,IX Z,X Z,A Z,F Z,K Z,Á P,VII P,VIII P,IX P,X P,A P,F P,K P,Á M,VII M,VIII M,IX M,X M,A M,F M,K M,Á T,VII T,VIII T,IX T,X T,A T,F T,K T,Á Z,VII Z,VIII Z,IX Z,X Z,A Z,F Z,K Z,Á P,VII P,VIII P,IX P,X P,A P,F P,K P,Á Kétféle modellt vizsgálunk a források esetén Legyen egy diszkrét forrás esetén egy jel el fordulási valószín sége független az el z jel(ek) értékét l. (független=independent) IID modell: A jelek egyforma valószín séggel jelennek meg, tehát ha 32 jelem van, mindegyik /32 valószín séggel. (independent, identically distributed). IRD modell: A jelek tetsz leges valószín séggel jelennek meg, tehát hiába van 32 jelem (kártyám), lehet az egyik (pl. piros király) valószín sége /2 is. (Fontos, hogy ebben az esetben minden pillanatban /2 lesz a valószín sége az adott jelnek, akármilyen jelek is voltak el tte.) (independent, randomly distributed). Random jelentései véletlen tetsz leges rendszertelen találomra történ 3

4 A random jelentése itt nem annyira véletlenszer ség, mint inkább tetsz legesség. A valószín - ségek tetsz legesek lehetnek. Kiegészít megjegyzés: A RAM-nál (Random Access Memory) sem véletlenszer en férek hozzá az egyes bájtokhoz. Inkább azt jeletni, hogy tetsz leges bájtjához könnyen hozzáférhetek. Nem kell végigolvasnom az összes bájtot, hogy hozzáférjek egy adathoz, könnyen ki tudok olvasni akármelyik helyr l adatot. Nem olyan mint a veremtár, amelynél mindig az utoljára berakott értéket érem el el ször. (LIFO - Last In First Out) A veremtárnál ha egy korábbi érték kell, akkor minden felette lev t ki kell olvasni. Nem is olyan, mint egy magnószalag, ahol az adatsor elejét l végig kell olvasnom a szalagot. IID A 32 kártyából, ha mindegyiket egyforma valószín séggel választhatják ki, akkor 5 igen-nem válaszból kitalálhatom a kártyát. Általában igaz, ha 2 m lehet ségem van, akkor m kérdést szükséges feltennem. X = {x, x 2,..., x n } jelhalmaz esetén log 2 n kérdés kell (felfele kerekítve a következ egészre). Egy jel (pl. véletlen választott kártya) információtartalma az IID modellben I = log 2 n IRD Ha nem egyforma valószín sége van egy-egy kártyának (jelnek), akkor lehet, hogy érdemesebb a kártyaszám-felezéses taktika helyett másikat választani. Inkább a valószín ségeket kell felezni, mint a kártyák (jelek) számát. Ha pl. a Piros VIII-as jelenik meg az esetek felében, akkor érdemes lehet arra rákérdezni, így azt egy kérdéssel kitaláljuk. Ha így teszek, akkor lesznek olyan kártyalapok, amelyhez 5-nél több kérdés kell majd, de ha ezek elég ritkán jelennek meg, akkor az átlagos kérdésszám lehet öt alatti. A ritkábban megjelen kártya megjelenésének az információtartalma nagyobb. Az, hogy 4 lapom közül mind a négy ász, az nagyobb információtartalmú, mint hogy minden kártyám számos (VII-es, VIII-as, IX-es vagy X-es), IRD Ha nem egyforma valószín sége van egy-egy jelnek, akkor a kisebb valószín ség nek nagyobb az információtartalma. X = {x, x 2,..., x n } jelekhez tartozzanak P (X) = {p, p 2,..., p n } valószín ségek. Legyen a rendszer teljes: p + p p n = n p k = = 00% Ekkor minden x k értékhez valamilyen p k -tól függ információtartalom tartozik. Az x k jel információtartalma az IRD modellben: k= I k = log 2 p k = log 2 p k 4

5 A kisebb p k valószín séghez nagyobb információtartalom tartozik, mivel a 2-es alapú logaritmusfüggvény monoton növekv. Ha mind egyforma valószín ség, akkor visszakapjuk az IID modell képletét. Az órán vizsgáltuk a következ eseteket p k = /n I k = log 2 p k = log 2 n, jelhalmaz esetén. X = {A, B, C, D} P (X) = { 4, 4, 4, 4 } P (X) = { 2, 4, 8, 8 } P (X) = {0.8, 0., 0.05, 0.05} Egy-egy kódot adtam meg az egyes bet khöz, amivel vizsgáltuk a jelenként felhasználandó bitek számának várható értékét. Az els esetben az alábbi els eloszlás, a második kett ben az alábbi második kódokkal vizsgáltuk. A = 00, B = 0, C = 0, D = A =, B = 0, C = 00, D = 000 Az utolsó esetben a következ táblázatot állítottuk fel: k p k I k p k I k kód d k p k d k log 2 p k = log 2 p k A 0,8 0,329 bit 0,2575 bit/jel bit 0,8 bit/jel B 0, 3,329 bit 0,3322 bit/jel 0 2 bit 0,2 bit/jel C 0,05 4,329 bit 0,26 bit/jel 00 3 bit 0,5 bit/jel D 0,05 4,329 bit 0,26 bit/jel bit 0,5 bit/jel Az entrópia a 4. oszlop értékeinek összege: H(X) = n p k I k =,029 k= bit/jel. Tetsz leges kódolással ennél csak nagyobb bit/jel arányt érhetünk el, az fenti esetben például átlagosan az utolsó oszlop értékeinek összegét:,75 bit/jel Ha összefognánk több jelet, például három hosszúságú jelsorozatokhoz rendelnénk bitsorozatokat, akkor közelebb kerülhetnénk az entrópia értékéhez, de azalá nem mehetünk, ha a jelnél 5

6 feltételezzük, hogy a valószín ségek függetlenek (a modellek els I bet je) attól, hogy korábban milyen jelek jöttek a jelforrásból. A valódi üzeneteknél a jelek valószín sége függ az üzenetben szerepl korábbi jelekt l (nem IID). Például egy levélben "info" karakterek után nagyobb valószín séggel jön "r" karakter, mint általában. Ilyen esetek matematikai kezelése nehézkes, mi nem tárgyaljuk. A kódot most én adtam meg, kés bb majd tanulunk módszert hogyan lehet jó kódot készíteni. A kódból fel kell tudni rajzolni a fát, és kiszámolni minden értéket, ha a kódot és a valószín ségeket megadom. Nem csak 4 jel esetén. Az információ egységei Az eddigiekben a kettes alapszám helyett mást is használhatunk: alapszám (a) egység 2 bit (Shannon) I 0 Hartley k = log a = log p a p k k e Nat 2-es és más alapú logaritmus kiszámítása számológéppel: log 2 x = lg x lg 2 log a x = lg x lg a p k = 0, I k = lg = lg 0 = Hartley. 0, p k = 0, I k = log 2 0 = lg 0 lg 2 = 3,329 bit. A lg = log 0 jele a számológépen log. A ln = log e jele a számológépen ln. Ha egy x k jelhez p k = 0, valószín ség tartozik, akkor annak az információtartalma I k = lg 0, = lg 0 = Hartley, másképpen I k = lg 0, = Hartley. A lg 2 = 0,300 0,3 értéket érdemes megjegyezni, mert a villanytanban a törésponti er sítés (3 db-es) értéke (a Bode-diagramon) is ebb l következik. Ennek ismeretében tehát a p k = 0, valószín séghez tartozó információtartalom bitekben fejben kiszámítható jó közelítéssel: lg 0 I k = log 2 0 = lg 2 0,3 = 3, 3. Hasonlóan a p k = /32 valószín séghez tartozó információtartalom Hartley-ban:.2. Entrópia I k = log 2 32 = 5bit 5 0,3 Hartley =,5 Hartley. Entrópia Mekkora a várható értéke a következ jel információtartalmának? 6

7 A valószín ségekkel súlyozni kell az összes jel információtartalmát. Ezt nevezzük entrópiának: H(X) = n p k I k = k= n k= p k log 2 p k bit/jel IID modellnél: H n,iid = n n log 2 n = log 2 n bit/jel Mire jó ez nekünk? Meghatározhatjuk, mennyi bit szükséges feltétlenül az információ átviteléhez. Példa X = {A, B, C, D, E}, P (X) = { 2, 8, 8, 8, } 8 I A = bit, I B = I C = I D = I E = 3bit, ( H(X) = ) 8 3 bit/jel = 2 bit/jel Példa Legyen A=0, B=00, C=0, D=0, E=. A B C D E Minden bitsorozat egyértelm en visszafejthet pl: ,0,0,0,0,,0,0 = BAAADEAC Ekkor 8 karakterb l átlagosan 4 db A (4 bit) a többi négy 3 bites (2 bit): ez összesen 6 bit 2 bit/jel. A 2 bit/jel értéket megkaphatjuk úgy is, hogy felírjuk a korábban példaként szerepl táblázatot erre az esetre. Mindkét forma elfogadható, ha a dolgozatban a választ egyértelm en feltünteti a hallgató. Annak a feltétele, hogy egyértelm en visszafejthet legyen a kód, az, hogy semelyik kód el tagja ne egyezzen egy másik kóddal: pl. ha van 00 kód, akkor nem lehet 00 kód is 7

8 További mér számok Mindig az IID esetben a legnagyobb az entrópia azonos jelszám (n) esetén: H n,max = H n,iid H(X), X = n Hatásfok: Az entrópia aránya az ugyanannyi jelet tartalmazó IID modelléhez viszonyítva. η = H(X) H n,max Redundancia: (hétköznapi jelentés: terjeng sség) R = η Gyakoriság, valószín ség helyett A következ gyakoriságokat mértem egy diszkrét forrás által kibocsájtott jelek esetén. Határozzuk meg az egyes jelek információtartalmát, az forrás entrópiáját, hatásfokát és redundanciáját. A 3 B 25 C 2 D 27 E 23 Megoldás vázlata: Összesen 00 jelet gyeltem meg, mert a gyakoriságok összege 00. Ebb l a valószín ségek úgy kaphatóak, hogy a gyakoriságot elosztjuk az összegükkel. Pl. p = P (A) = 3/00 = 0,3. Ebb l a többi tulajdonság az el z ekhez hasonlóan számolható, amit gyakorlásként érdemes is megtenni. Példa Hatásfok: Redundancia: X = {A, B, C, D, E}, P (X) = { 2, 8, 8, 8, } 8 η = H(X) = 2 bit/jel H n,max log 2 5 bit/jel = 2 bit/jel = 0, % 2, 329 bit/jel R = η = 0, 386 4% Ajánlott segédlet Dr. Tóth Mihály Tóth Gergely: Az információ és kódoláselmélet Kidolgozott példák és feladatok:.3.,.3.2,.4.28,.4.35,.4.36,.4.37,.4.38,.4.39, A feladatok a jegyzet I. részének 24. oldalán kezd dnek. 8

9 2. Forráskódolás A kommunikációs rendszerek vázlata forrás csatorna vev Példák: zaj Beszélgetés: száj leveg fül Földfelszíni rádióadás: rádióadó az éter a rádió antennája Internet: router üvegszál router2 koncert CD emberi fül A kommunikációs rendszerek b vebb vázlata Forráskódolás: a forrás által küldött jelek kódolása legkisebb redundanciával (legkevesebb biten) Csatornakódolás: A jelet úgy kódolom, hogy a hibákat észre tudjam venni vagy javítani tudjam. forrás forráskódoló csat. kódoló csatorna zaj csat. dekódoló forrásdekódoló vev 2.. Human-kódolás Feladat Kódoljuk az alábbi eloszlású IRD forrást Human-kódolással! k karakter n k darabszám A 45 B 3 C 2 D 6 E 9 F 5 9

10 A Human-kódolás algoritmusa. Növekv gyakoriságú sorrendbe rakom a jeleket. Azonos gyakoriságnál ABC-rendbe (vagy pl. ASCII-kódbeli rendbe). Kezdetben jel fának számít. 2. Ciklus, amíg van legalább két fa (a) Az els kett fát összekötöm egy új gyökérrel. Gyakorisága a két fa gyakoriságának összege lesz. A baloldalt 0-val, a jobbot -gyel cimkézem. (b) A következ ábrán növekv gyakorisági sorrendbe rakom a fákat. (Felül hagyok helyet az összekötésnek.) Azonos értékeknél az újat lehet leghátulra rakom. Ciklus vége 3. Leolvasom a jelek kódjait. A kék részekt l nem függ a kódolás hatékonysága, de egyez en kell a forrásnál és a vev nél kódolni. Human-kód fája 00 0 A: B kódja: 0, F kódja: 00 ASCII-tábla, 7 bites 25 C:2 B: F:5 E:9 D:6 0

11 Szóköz (space=sp), szá- 0 NUL DLE SP P ` p SOH DC! A Q a q 2 STX DC2 " 2 B R b r 3 ETX DC3 # 3 C S c s 4 EOT DC4 $ 4 D T d t 5 ENQ NAK % 5 E U e u 6 ACK SYN & 6 F V f v 7 BEL ETB ' 7 G W g w 8 BS CAN ( 8 H X h x 9 HT EM ) 9 I Y i y A LF SUB * : J Z j z B VT ESC + ; K [ k { C FF FS, < L \ l D CR GS = M ] m } E SO RS. > N ^ n ~ F SI US /? O o DEL mok, nagybet k, kisbet k helye Q: 0x5 9: 0x39 szóköz: 0x20 WALL: 0x5744C4C Amit érdemes megjegyezni A szóköz (0x 20) után állnak a m veleti jelek és az írásjelek (.,!?;:) a számok (0x 300x 39) körül, majd el ször a nagy (0x 4-t l), majd kisbet k (0x 6-t l). A 7 bites ASCII-ban nincsenek ékezetes bet k; a 8 bitesben valahol a 28=0b =0x 80 érték felett, ahol a legértékesebb bit (MSB) -es érték. A pontos intervallumot nem kell megjegyezni, a sorrendet, ha egy feladatban kell, megadom. Ha a következ karaktersorozatot a Human-algoritmussal tömörítem, akkor mi lesz az egyes jelekhez rendelt bitsorozat? BENEDEK ELEK Az üzenethez tartozó bitsorozat: A Human-kódban hány bit jut átlagosan egy jelre? ( d k ) Mekkora lesz az egyes karakterek egyedi információtartalma (I k )? Milyen alsó határt számolhatunk a szükséges bitek számára (H)? Mi lesz a bitsorozathoz tartozó üzenet? A Human-kóddal kapcsolatos eredmények k n k kód d k kódhossz [bit] n k d k B D L 4 4 N K E jel 30 bit d k = 30bit = 2, 5bit/jel 2jel

12 A bitsorozathoz tartozó üzenet: KEND LE Ha egy forrásban olyan valószín ségekkel jönnének a jelek, mint a BENEDEK ELEK szóban az arányuk, mindig az el z jelt l függetlenül valószín séggel (IRD forrás), akkor nem lehet az entrópiánál kevesebb átlagos bittel kódolni akárhogy trükközök. Általános információelméleti eredmények: entrópia k jel n k p k I k = log 2 (/p k ) [bit] p k I k /2 log 2 2/ = 3, 585 0,2987 B /2 3,585 0,2987 D /2 3,585 0,2987 L /2 3,585 0,2987 N /2 3,585 0,2987 K 2 2/2 log 2 2/2 = 2, 585 0,4308 E 5 5/2 log 2 2/5 =, 263 0,5262 össz n = 2 H=2,45 bit/jel H = p k log 2 = p k I k p k k k H = 4 0, , , 5262 = 2, 45 bit/jel Általános információelméleti eredmények: hatásfok Az IRD forrás entrópiája H = 2, 45 bit/jel 7 jel esetén a maximális entrópia (amikor minden jel /7 valószín séggel jön) H 7,max = log 2 7 = 2, 807 bit/jel A hatásfok: A redundancia η = H H 7,max = 0, % R = η 3% Adaptív Human-kódolás A Human-kódolás esetén el re kellene tudnom, hogy milyen a forrás statisztikája. Gyakorlatban gyakran nem tehetem meg, hogy végigvárom a jelsorozatot, és csak utána kezdek el kódolni. S t ez a statisztika id ben változhat. Van olyan változata a Human-kódolásnak, amely a kódszavakat id ben változtatva hozzáigazítja a közelmúltbeli statisztikához. Tehát a kódhosszak úgy változnak, hogy várhatóan egyre hatékonyabb lesz a kódolás. Általában adaptív kódolásnak nevezzük az olyan kódolásokat, amelynél a forrás tulajdonságainak gyelembe vételével egyre hatékonyabban tudom kódolni a szöveget. A hatékonyabb alatt azt értem, hogy átlagosan kevesebb bittel jelenként. 2

13 2.2. Aritmetikai kódolás Aritmetikai kód: kódolás Az aritmetikai kódolásnál a [0; [ intervallumot sz kítgetjük az egymás utáni jelekkel. A xpontos szám alakja 0,bbbbbbbb 2 ahol a b-k bináris számjegyeket ( vagy 0) jelölnek (itt például 8 darabot). (A kezd nullát felesleges tárolni.) Az aritmetikai kód hatékonyabb... A nulla utáni 8 bináris számjegy esetén például a következ értékek tárolhatóak: 0, 256, 2 256, 3 256, , A következ példában ennek a lépésköznek az eléréséig A-ból 8-at, L-b l csak 4-et kódolhatunk (8 bit szükséges az AAAAAAAA és az LLLL üzenethez is), tehát egy A-ra bit, egy L-re 2 bit jut, mint a Hamming-kódolásnál. Olyan valószín ségeknél viszont, ahol az információtartalom nem egész bit, az aritmetikai kód kevesebb bitb l áll, mint a Hamming-kód. 3

14 Egyszer példa aritmetikai kódolásra A fenti példában az intervallumok hossza annak felel meg, hogy az adott üzenet milyen valószín séggel áll el, ha a forrásban a jelek az el z jelekt l függetlenül mindig a fenti valószín ségekkel érkeznek (IRD forrás). p A = /2 p AL = /2 /4 = /8 p ALM = /2 /4 /4 = /32 p ALMA = /2 /4 /4 /2 = /64 p LMLM = /4 /4 /4 /4 = /256 A továbbiakban a sz kítés során az üzenet feldolgozott szakaszának valószín ségét fogjuk p_üzenet-tel jelölni. Ha egy lépés során a k jel jön, akkor p_üzenet értéke a k jel valószín - ségével fog szorzódni: p_üzenet p_üzenet * p[k] Kódolás algoritmusa (egyszer sített) Be: üzenet az üzenet k jeleinek ABC-sorrendbe rakása p[k] valószínűségek meghatározása 4

15 a[k] alsó határok meghatározása alsó 0 # kezdőintervallum alsó határa p_üzenet # kezdőintervallum hossza Ciklus az összes k jelre az üzenetben: alsó alsó + p_üzenet * a[k] p_üzenet p_üzenet * p[k] felső alsó + p_üzenet Ki: k, alsó, felső Ciklus vége Ki: kód egy szám a legutolsó intervallumból Kódolás algoritmusa rövidebb változónevekkel Be: üzenet az üzenet k jeleinek ABC-sorrendbe rakása p[k] valószínűségek meghatározása a[k] alsó határok meghatározása ah 0 # kezdőintervallum alsó határa pü # kezdőintervallum hossza Ciklus az összes k jelre az üzenetben: ah ah + pü * a[k] pü pü * p[k] f ah + pü Ki: k, ah, f Ciklus vége Ki: kód egy szám a legutolsó intervallumból Egyes jelek kódjai A [0; [ intervallumot osztjuk fel az egyes jelek között. A jeleket ABC-rendbe (adott kódlap szerinti rendbe) rakjuk, és mindegyiknek a valószín ségével egyez nagyságú intervallum jut az egységnyi hosszúságú intervallumon. Az ALMA illetve MIKKAMAKKA üzenetek esetén itt láthatóak az egyes k jelekhez tartozó p k valószín ségek és a k alsó határok. k A L M k A I K M p k /2 /4 /4 p k 0,3 0, 0,4 0,2 a k 0 /2 3/4 a k 0 0,3 0,4 0,8 Jelsorozat kódja Az aritmetikai kódolásnál a [0; [ intervallumot sz kítgetjük az egymás utáni jelekkel. 5

16 M [ 0,8 ; [ MI [ 0,86 ; 0,88 [ MIK [ 0,868 ; 0,876 [ MIKK [ 0,872 ; 0,8744 [ MIKKA [ 0,872 ; 0,8726 [ MIKKAM [ 0,87968 ; 0,8726 [ MIKKAMA [ 0,87968 ; 0, [ MIKKAMAK [ 0, ; 0, [ MIKKAMAKK [ 0, ; 0, [ MIKKAMAKKA [ 0, ; 0, [ MIKKAMAKKA 0, Aritmetikai kód: kódolt üzenet visszafejtése Be: jelek és valószínűségek (k, p[k]) a[k] alsó határok kiszámítása Be: kód # az üzenet kódja Be: hossz # az üzenet hossza Ciklus hossz-szor: k a jel, aminek az intervallumában van a kód Ki: k kód (kód - a[k]) / p[k] Ciklus vége Visszafejtés 0, M 0,36000 I 0,60000 K 0, K 0, A 0,83547 M 0,77083 A 0, K 0, K 0,89236 A Egy gyakorlati alkalmazás A képek JPEG kódolásánál választható az aritmetikai és Human-kódolás az adatok egyik tömörítési lépéséhez. A Human-kódolás gyorsabb, de a tömörítés mértéke elmarad az aritmetikai kódoláshoz képest. Lack János: Parabola Kitekintés 6

17 Parabola, parabola antenna, nézzünk tévét éppen ma! Parabola, parabola futbalmeccs, lassított gól, sípcsont reccs! Parabola, parabola sminkreklám. Bőröd fittyed? Kend ezt rá! Parabola, parabola bankrablók, lő, fut, robban, égből lóg. Parabola, parabola popcsillag, rázós ritmus popsidnak. Parabola, parabola antenna, űrlény caplat álmodba! Ezt már azért nagyobb falat lenne kódolni, de erre lesznek hatékonyabb módok is, amelyek kihasználják, hogy a szövegekre nem igaz az IRD-modell, és sok ismétl d jelsorozat van benne. Ezek lesznek a szótár alapú tömörítések. 7