Az Informatika Elméleti Alapjai dr. Kutor László Az üzenet információ-tartalma, redundanciája Minimális redundanciájú kódok http://mobil.nik.bmf.hu/tantárgyak/iea.html Felhasználónév: iea Jelszó: IEA07 BMF NIK dr. Kutor László IEA 7/1 Az Információ értelmezése Az információ szó szinonimái a köznapi használatban: Tájékoztatás Hír, Újság Adat Felvilágosítás Közlés Tudás Bejelentés Jellemzés Értesülés Tudományos értelemben: Az információ olyan mennyiség amely egy eseményrendszer egyik vagy másik eseményének bekövetkezéséről, (illetve egy állapottér egyik vagy másik állapotáról) elemi szimbólumok sorozatával közölhető. Az információ a bizonytalanság csökkentésének mennyisége BMF NIK dr. Kutor László IEA 7/2
Egy kártya kiválasztásához tartozó információ. 4 5 2 3 1 BMF NIK dr. Kutor László IEA 7/3 R. Hartley formula az információ mérésére H= k * log n Ahol H = az információ mennyiség egy üzenet (szó) kiválasztásakor n = az üzenet - ABC betűinek száma k = a betűk száma az üzenetben (szóban) Az információ mértékegységei különböző logaritmusok estén: H = k * log 10 n [ Hartley] H = k * log 2 n [ Shannon, bit] H = k * log e n [ Nat ] BMF NIK dr. Kutor László IEA 7/4
C. E. Shannon és N.Wiener információ értelmezése Véges számú közleményből véletlenszerűen választunk ki egyet Kérdés: Milyen következtetést vonhatunk le az egész közlemény bizonytalanságára? H(S) = - p{ x i }* log 2 p{x i } Ahol H(S) = a közlemény információ tartalma S(x 1,x 2,x 3,.x i, x n ) = a közlemények P{x 1 }, P{x 2 }, P{x 3 }, P{x i }, P{x n } = az üzenetek előfordulási valószínűsége BMF NIK dr. Kutor László IEA 7/5 Shannon információra vonatkozó összefüggése Kibocsátott üzenetek száma: M Xi előfordulásának száma: g i = M * X i I M = g1*i(x 1 ) + gi*i(xi) + gn*i(xn) IM= - M* p{ xi}* log 2 p{xi} H(S) = - p{ x i }* log 2 p{x i }? BMF NIK dr. Kutor László IEA 7/6
Az információ redundanciája 1. Redundancia köznapi értelmezése: terjengősség A redundancia információ elméleti értelmezése: n H S = - p{ xi}* log 2 p{xi} (Shannon) i=1 n H max = - 1/n * log (1/n)= - log (1/n) = log (n) i=1 (Hartley) H relatív = H S H max = az információ forrás jósága BMF NIK dr. Kutor László IEA 7/7 Az információ redundanciája 2. H S = a hírforrás információ tartalma (entrópiája) H max = a hírforrás maximális információ tartalma H relatív = H S H max = az információ forrás jósága H R S = 1 - S A hírforrás által közölt információ * 100 H hány százaléka felesleges max Példa: H S = 1.684 H max = 2 Hr = 1.684 = 0.842 2 R S = (1 0.842) * 100 = 15.8 ~ 16% BMF NIK dr. Kutor László IEA 7/8
Példa az írott szöveg redundancájára 1 ( a szöveg minden 3 karakteréből 2 elhagyva) A programozók (minden ellenkező híresztelés ellenére) emberek, akik éjnek éjjelén, teljesen alkalmatlan fejlesztőprogramokkal, hibáktól hemzsegő hardverek egymáshoz nem illeszthető konglomerátumán megkísérlik, hogy a feladatra alkalmatlan megbízóik megrendelésére megbízóik egymásnak ellentmondó kívánságait olyan programokká alakítsák át, amelyeket aztán a végén, senki sem fog használni. BMF NIK dr. Kutor László IEA 7/9 Példa az írott szöveg redundancájára 2 ( a szöveg minden 3 karakteréből 1 elhagyva) A programozók (minden ellenkező híresztelés ellenére) emberek, akik éjnek éjjelén, teljesen alkalmatlan fejlesztőprogramokkal, hibáktól hemzsegő hardverek egymáshoz nem illeszthető konglomerátumán megkísérlik, hogy a feladatra alkalmatlan megbízóik megrendelésére megbízóik egymásnak ellentmondó kívánságait olyan programokká alakítsák át, amelyeket aztán a végén, senki sem fog használni. BMF NIK dr. Kutor László IEA 7/10
Példa az írott szöveg redundancájára 1 ( a szöveg minden karaktere kiírva) A programozók (minden ellenkező híresztelés ellenére) emberek, akik éjnek éjjelén, teljesen alkalmatlan fejlesztőprogramokkal, hibáktól hemzsegő hardverek egymáshoz nem illeszthető konglomerátumán megkísérlik, hogy a feladatra alkalmatlan megbízóik megrendelésére megbízóik egymásnak ellentmondó kívánságait olyan programokká alakítsák át, amelyeket aztán a végén, senki sem fog használni. BMF NIK dr. Kutor László IEA 7/11 A magyar nyelv betűgyakorisága és információ tartalma 10 000 szavas újságszöveg alapján Gyakoriság Információ (% ) tartalom (bit) Fülöp Géza Gyakoriság Információ (% ) tartalom (bit) http://www.mek.oszk.hu/03100/03118/html/#5 Gyakoriság Információ (% ) tartalom (bit) A 9,35 3,43 Á 3,72 4,77 B 1,72 5,87 C 0,60 7,40 D 1,71 5,90 E 9,71 3,37 É 3,87 4,71 F 0,88 6,87 G 3,55 4,83 H 1,23 6,37 I 4,39 4,53 J 1,21 6,39 K 5,35 4,24 L 6,30 4,00 M 3,92 4,69 N 5,47 4,21 O 4,47 4,50 Ö 2,14 5,57 P 1,04 6,61 R 4,22 4,58 S 6,57 3,94 T 7,87 3,68 U 1,29 6,30 Ü 0,93 6,77 V 1,81 5,81 X 0,01 13,33 Y 2,21 5,52 Z 4,46 4,50 I átlag = 4.44 bit BMF NIK dr. Kutor László IEA 7/12
Tömörítő programok hatékonysága A kiinduló fájl típusa:.exe.img.txt A kiinduló fájl mérete: 277 766 168 974 151 579 Huffmann 103 408 57 383 42 576 LZW 117 811 55 108 48 322 Aritmetikai 177 042 79 870 101 322 PKZIP 96 525 56 380 39 953 ARJ 92 560 50 236 36 913 Koschek Vilmos BMF NIK dr. Kutor László IEA 7/13 Az angol nyelv betűgyakorisága Betű Betű Információ [bit] gyakoriság A 8,4966% 3,5570 B 2,0720% 5,5928 C 4,5388% 4,4615 D 3,3844% 4,8850 E 11,1607% 3,1635 F 1,8121% 5,7862 G 2,4705% 5,3391 H 3,0034% 5,0573 I 7,5448% 3,7284 J 0,1965% 8,9913 K 1,1016% 6,5043 L 5,4893% 4,1872 M 3,0129% 5,0527 Betű Betű Információ[bit] gyakoriság N 6,6544% 3,9095 O 7,1635% 3,8032 P 3,1671% 4,9807 Q 0,1961% 8,9942 R 7,5809% 3,7215 S 5,7351% 4,1240 T 6,9509% 3,8467 U 3,6308% 4,7836 V 1,0074% 6,6332 W 1,2899% 6,2766 X 0,2902% 8,4287 Y 1,7779% 5,8137 Z 0,2722% 8,5211 I átlag = 4.22 bit BMF NIK dr. Kutor László IEA 7/14
Tömörítő programok tesztje 1. Szövegfájlok méret szerint Kiinduló fájlok mérete: 1.22 MBájt BMF NIK dr. Kutor László IEA 7/15 Tömörítő programok tesztje 2. Szövegfájlok idő szerint Kiinduló fájlok mérete: 1.22 MBájt BMF NIK dr. Kutor László IEA 7/16
Tömörítő programok tesztje 3..doc fájlok méret szerint 12.34 MBájt BMF NIK dr. Kutor László IEA 7/17 Tömörítő programok tesztje 4..doc fájlok idő szerint 12.34 MBájt BMF NIK dr. Kutor László IEA 7/18
Tömörítő programok tesztje 2.. exe fájlok méret szerint 8.47 MBájt BMF NIK dr. Kutor László IEA 7/19 Tömörítő programok tesztje 6.. exe fájlok 8.47 MBájt BMF NIK dr. Kutor László IEA 7/20
Tömörítő programok tesztje 7. kép fájlok (.png) méret szerint 70.62 MBájt BMF NIK dr. Kutor László IEA 7/21 Tömörítő programok tesztje 8. kép fájlok (.png) idő szerint 70.62 MBájt BMF NIK dr. Kutor László IEA 7/22
Tömörítő programok tesztje 9. hang fájlok (.wav) méret szerint 15.66 MBájt BMF NIK dr. Kutor László IEA 7/23 Tömörítő programok tesztje 10. hang fájlok (.wav) idő szerint 15.66 MBájt BMF NIK dr. Kutor László IEA 7/24
Tömörítő programok tesztje 11. Tömörítvények (.zip) méret szerint 6.61 MBájt BMF NIK dr. Kutor László IEA 7/25 Tömörítő programok tesztje 12. Tömörítvények (.zip) idő szerint 6.61 MBájt BMF NIK dr. Kutor László IEA 7/26
A kódolás folyamata és fogalmai U A A* U* Forrás Kódoló Csatorna Dekódoló Vevő A kódolás céljai: U-nak A-ba történő leképezése minimális redundancia létrehozásával Forrás kódolás U-nak A-ba történő leképezése növelt redundancia létrehozásával Csatorna kódolás U-nak A-ba történő leképezése a kódrendszer titkos megváltoztatásával Titkosító kódolás BMF NIK dr. Kutor László IEA 7/27 A kódolással szemben támasztott követelmények 1. Egyértelmű dekódolhatóság: nem redukálható = irreducibilis kód! Feltétele: hogy egyik kódszó sem lehet a másik része 2. Forráskódolásnál a minimális szóhossz 3. Csatornakódolásnál a hibák észlelése és javítása 4. Titkosító kódolásnál a megfelelően nehéz dekódolhatóság BMF NIK dr. Kutor László IEA 7/28
Morse kód A.- J.--- B -... K -.- C -.-. L.-.. D -.. M -- E. N -. F..-. O --- G --. P.--. H... Q --.- I.. R.-. (redukálható) S... T - U..- V...- W.-- X -..- Y -.-- Z --.. 0 ----- 1.---- 2..--- 3...-- 4...- 5... 6 -... 7 --... 8 ---.. 9 ----. Fullstop.-.-.- Comma --..-- Query..--.. BMF NIK dr. Kutor László IEA 7/29 Statisztikára épülő adattömörítés Forrás Kódoló Csatorna Dekódoló Vevő Statisztika Statisztika Előnye: biztosítja a minimális átlagos szóhosszat (minimum redundanciát) Hátránya: a statisztikát is továbbítani kell BMF NIK dr. Kutor László IEA 7/30
Minimum redundanciájú kódok 1. Shannon-Fano kód Claude Snannon Bell Lab ~1950 R.M. Fano M.I.T. Az üzenetek (szimbólumok) előfordulási gyakoriságának (valószínűségének) ismeretében létrehozható olyan kód amely egyértelműen dekódolható változó (szó) hosszúságú a kódszavak hossza a kódolt szimbólumok előfordulási valószínűségétől függ Gyakori szimbólum Ritka szimbólum rövid kód hosszú kód BMF NIK dr. Kutor László IEA 7/31 A Shannon-Fano algoritmus 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. A szimbólumok gyakoriság szerinti csökkenő sorrendbe rendezése 3. A lista két részre osztása úgy, hogy a két részben lévő szimbólumok összesített gyakorisága (közel) egyenlő legyen 4. A lista felső részéhez 0 -át, az alsó részéhez 1 -et rendelünk (vagy fordítva) 5. A 3.-ik és 4.-ik eljárást addig ismételjük, amíg a kettéosztott lista mindkét részében csak 1-1 szimbólum található BMF NIK dr. Kutor László IEA 7/32
Példa a Shannon Fano algoritmusra Szimbólumok Előfordulások Információ Bitek száma száma tartalom A 15 1.38 20.68 B 7 2.48 17.35 C 6 2.7 16.2 D 6 2.7 16.2 E 5 2.96 14.82 A (15) B (7) C (6) D (6) E (5) (22) 0 (17) 1 A (15) B (7) C (6) D (6) E (5) 0 1 0 0 1 D (6) E (5) 1 A = 00 B = 01 C = 10 D = 110 E = 111 ASCII 39* 8 = 312 Shannon-Fano 89? BMF NIK dr. Kutor László IEA 7/33 Minimum redundanciájú kódok 2. Huffmann kód D.A. Huffmann (1952) 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. A szimbólumok gyakoriság szerinti csökkenő sorrendbe rendezése 3. A két legkevésbé gyakori szimbólumot összevonjuk és beírjuk a szimbólumok közé a gyakorisági sorba 4. A 3.-ik pontot addig ismételjük, amíg 2 elemű lesz a lista. Ekkor az egyik elemhez 0 -át a másikhoz 1 -et rendelünk. 5. Visszalépünk az előző összevont szimbólumhoz, és az előbbivel azonos sorrendben a két szimbólumhoz 0 -át és 1 -etrendelünk, mindaddig, míg vissza nem jutunk az egyes szimbólumokhoz BMF NIK dr. Kutor László IEA 7/34
Példa a Huffmann algoritmusra Szimbólumok Előfordulások Információ Bitek száma száma tartalom A 15 1.38 20.68 B 7 2.48 17.35 C 6 2.7 16.2 D 6 2.7 16.2 E 5 2.96 14.82 A (15) B (7) C (6) D (6) E (5) A (15) DE (11) B (7) 1 1 C (6) 0 0 A (15) BC(13) 1 DE (11) 0 BCDE(24) A (15) 1 0 A = 0 B = 111 C = 110 D = 101 E = 100 ASCII 39* 8 = 312 Huffmann 87? BMF NIK dr. Kutor László IEA 7/35 1/2 példa a Huffmann algoritmusra: Dekódolás Dekódolandó üzenet: 1101001010111101000110 Kódtábla: A = 0 B = 111 C = 110 D = 101 E = 100 C Visszafejtett kód: CEDABDAAAC E D A B D AAAC BMF NIK dr. Kutor László IEA 7/36
A kódolási példa fa szerkezete BCDE 1 0 DE 1 0 BC D 1 0 E B 1 0 C A gyökér A = 0 B = 111 C = 110 D = 101 E = 100 D E B C A levelek BMF NIK dr. Kutor László IEA 7/37 2. példa a Huffmann algoritmusra: Kódolás Kódolandó szöveg: Semmi nem olyan egyszerű, mint amilyennek látszik 1. A karakterek gyakoriságának meghatározása = 2, S=1, e=6, m=5, i=4, _=6, n=5, o=1, l=3, y=3, a=2, g=1, s=2, z=2, r=1, ű=1,,=1, t=2, k=2 =50 2. Gyakoriság szerinti rendezés 3. A kevésbé gyakori karaktereket kettesével összevonjuk és beírjuk a gyakorisági sorba, ami két elemű lesz a lista 4. A lista elemekhez rendre 0-át és 1-et rendelve létrehozzuk, majd kiolvassuk a kódot e(6) (6) m(5) n(5) i(4) l(3) y(3) (2) a(2) s(2) z(2) t(2) k(2) o(1) r(1) ű(1) g(1),(1) BMF NIK dr. Kutor László IEA 7/38