Az Informatika Elméleti Alapjai

Az Informatika Elméleti Alapjai Dr. Kutor László Az üzenet információ-tartalma és redundanciája Minimális redundanciájú kódok Statisztika alapú tömörítő algoritmusok http://mobil.nik.bmf.hu/tantargyak/iea.html Felhasználónév: iea Jelszó: IEA07 OE NIK Dr. Kutor László IEA 8/1 C. E. Shannon és N.Wiener információ értelmezése Kérdés: Véges számú közleményből véletlenszerűen kiválasztunk ki egyet, és ebből milyen következtetést vonhatunk le az egész közlemény bizonytalanságára? Hány bit szükséges egy üzenet továbbításához?! Legyen: x 1,x 2,x 3,.x i, x n = az egyedi közlemények S = x 1 +x 2 +x 3 + +x i +.. x n (Az összes üzenet) H(S) = a közlemény információ tartalma P{x 1 }, P{x 2 }, P{x 3 }, P{x i }, P{x n } = az üzenetek előfordulási valószínűsége OE NIK Dr. Kutor László IEA 8/2

A Shannon összefüggés magyarázata Ha a kibocsátott üzenetek száma: M, akkor X i előfordulásának száma: g i = M * p(x i ) I M = g 1 *I(x 1 ) + g i *I(x i ) + g n *I(X n ) I(x i ) = az i-ik üzenet információ tartalma = -log 2 p(x i ) I M = - M* p( x i }ó)* log 2 p(x i ) H(S) = - p( x i )* log 2 p(x i )?! OE NIK Dr. Kutor László IEA 8/3 Az információ redundanciája 1. Redundancia köznapi értelmezése: terjengősség A redundancia információ elméleti értelmezése: n H S = - p{ x i }* log 2 p{x i } (Shannon) i=1 n H max = - 1/n * log (1/n)= - log (1/n) = log (n) i=1 (Hartley) H relatív = H S H max = az információ-forrás jósága OE NIK Dr. Kutor László IEA 8/4

Az információ redundanciája 2. H S = a hírforrás információ tartalma (entrópiája) H max = a hírforrás maximális információ tartalma H relatív = H S H max = az információ forrás jósága H R S = 1 - S A hírforrás által közölt információ * 100 H hány százaléka felesleges max Példa: H S = 1.684 H max = 2 Hr = 1.684 = 0.842 2 R S = (1 0.842) * 100 = 15.8 ~ 16% OE NIK Dr. Kutor László IEA 8/5 Példa az írott szöveg redundancájára 1 ( a szöveg minden 3 karakteréből 2 elhagyva) A programozók (minden ellenkező híresztelés ellenére) emberek, akik éjnek éjjelén, teljesen alkalmatlan fejlesztőprogramokkal, hibáktól hemzsegő hardverek egymáshoz nem illeszthető konglomerátumán megkísérlik, hogy a feladatra alkalmatlan megbízóik megrendelésére megbízóik egymásnak ellentmondó kívánságait olyan programokká alakítsák át, amelyeket aztán a végén, senki sem fog használni. OE NIK Dr. Kutor László IEA 8/6

Példa az írott szöveg redundancájára 2 ( a szöveg minden 3 karakteréből 1 elhagyva) A programozók (minden ellenkező híresztelés ellenére) emberek, akik éjnek éjjelén, teljesen alkalmatlan fejlesztőprogramokkal, hibáktól hemzsegő hardverek egymáshoz nem illeszthető konglomerátumán megkísérlik, hogy a feladatra alkalmatlan megbízóik megrendelésére megbízóik egymásnak ellentmondó kívánságait olyan programokká alakítsák át, amelyeket aztán a végén, senki sem fog használni. OE NIK Dr. Kutor László IEA 8/7 Példa az írott szöveg redundancájára 1 ( a szöveg minden karaktere kiírva) A programozók (minden ellenkező híresztelés ellenére) emberek, akik éjnek éjjelén, teljesen alkalmatlan fejlesztőprogramokkal, hibáktól hemzsegő hardverek egymáshoz nem illeszthető konglomerátumán megkísérlik, hogy a feladatra alkalmatlan megbízóik megrendelésére megbízóik egymásnak ellentmondó kívánságait olyan programokká alakítsák át, amelyeket aztán a végén, senki sem fog használni. OE NIK Dr. Kutor László IEA 8/8

A magyar nyelv betűgyakorisága és információ tartalma 10 000 szavas újságszöveg alapján Gyakoriság Információ (% ) tartalom (bit) Fülöp Géza Gyakoriság Információ (% ) tartalom (bit) http://www.mek.oszk.hu/03100/03118/html/#5 Gyakoriság Információ (% ) tartalom (bit) A 9,35 3,43 Á 3,72 4,77 B 1,72 5,87 C 0,60 7,40 D 1,71 5,90 E 9,71 3,37 É 3,87 4,71 F 0,88 6,87 G 3,55 4,83 H 1,23 6,37 I 4,39 4,53 J 1,21 6,39 K 5,35 4,24 L 6,30 4,00 M 3,92 4,69 N 5,47 4,21 O 4,47 4,50 Ö 2,14 5,57 P 1,04 6,61 R 4,22 4,58 S 6,57 3,94 T 7,87 3,68 U 1,29 6,30 Ü 0,93 6,77 V 1,81 5,81 X 0,01 13,33 Y 2,21 5,52 Z 4,46 4,50 I átlag = 4.44 bit OE NIK Dr. Kutor László IEA 8/9 Az angol nyelv betűgyakorisága Betű Betű Információ [bit] gyakoriság A 8,4966% 3,5570 B 2,0720% 5,5928 C 4,5388% 4,4615 D 3,3844% 4,8850 E 11,1607% 3,1635 F 1,8121% 5,7862 G 2,4705% 5,3391 H 3,0034% 5,0573 I 7,5448% 3,7284 J 0,1965% 8,9913 K 1,1016% 6,5043 L 5,4893% 4,1872 M 3,0129% 5,0527 Betű Betű Információ[bit] gyakoriság N 6,6544% 3,9095 O 7,1635% 3,8032 P 3,1671% 4,9807 Q 0,1961% 8,9942 R 7,5809% 3,7215 S 5,7351% 4,1240 T 6,9509% 3,8467 U 3,6308% 4,7836 V 1,0074% 6,6332 W 1,2899% 6,2766 X 0,2902% 8,4287 Y 1,7779% 5,8137 Z 0,2722% 8,5211 I átlag = 4.22 bit OE NIK Dr. Kutor László IEA 8/10

Tömörítő programok hatékonysága A kiinduló fájl típusa:.exe.img.txt A kiinduló fájl mérete: 277 766 168 974 151 579 Huffman 103 408 57 383 42 576 LZW 117 811 55 108 48 322 Aritmetikai 177 042 79 870 101 322 PKZIP 96 525 56 380 39 953 ARJ 92 560 50 236 36 913 Koschek Vilmos OE NIK Dr. Kutor László IEA 8/11 Tömörítő programok tesztje 1. Szövegfájlok méret szerint Kiinduló fájlok mérete: 1.22 MBájt OE NIK Dr. Kutor László IEA 8/12

Tömörítő programok tesztje 2. Szövegfájlok idő szerint Kiinduló fájlok mérete: 1.22 MBájt OE NIK Dr. Kutor László IEA 8/13 Tömörítő programok tesztje 3..doc fájlok méret szerint Kiinduló fájl mérete: 12.34 MBájt OE NIK Dr. Kutor László IEA 8/14

Tömörítő programok tesztje 4..doc fájlok idő szerint Kiinduló fájl mérete: 12.34 MBájt OE NIK Dr. Kutor László IEA 8/15 Tömörítő programok tesztje 2.. exe fájlok méret szerint Kiinduló fájl mérete: 8.47 MBájt OE NIK Dr. Kutor László IEA 8/16

Tömörítő programok tesztje 6.. exe fájlok Kiinduló fájl mérete: 8.47 MBájt OE NIK Dr. Kutor László IEA 8/17 Tömörítő programok tesztje 7. kép fájlok (.png) méret szerint Kiinduló fájl mérete: 70.62 MBájt OE NIK Dr. Kutor László IEA 8/18

Tömörítő programok tesztje 8. kép fájlok (.png) idő szerint Kiinduló fájl mérete: 70.62 MBájt OE NIK Dr. Kutor László IEA 8/19 Tömörítő programok tesztje 9. hang fájlok (.wav) méret szerint Kiinduló fájl mérete: 15.66 MBájt OE NIK Dr. Kutor László IEA 8/20

Tömörítő programok tesztje 10. hang fájlok (.wav) idő szerint Kiinduló fájl mérete: 15.66 MBájt OE NIK Dr. Kutor László IEA 8/21 Tömörítő programok tesztje 11. Tömörítvények (.zip) méret szerint Kiinduló fájl mérete: 6.61 MBájt OE NIK Dr. Kutor László IEA 8/22

Tömörítő programok tesztje 12. Tömörítvények (.zip) idő szerint Kiinduló fájl mérete: 6.61 MBájt OE NIK Dr. Kutor László IEA 8/23 A kódolás folyamata és fogalmai U A A* U* Forrás Kódoló Csatorna Dekódoló Vevő A kódolás céljai: U-nak A-ba történő leképezése minimális redundancia létrehozásával Forrás kódolás U-nak A-ba történő leképezése növelt redundancia létrehozásával Csatorna kódolás U-nak A-ba történő leképezése a kódrendszer titkos megváltoztatásával Titkosító kódolás OE NIK Dr. Kutor László IEA 8/24

A kódolással szemben támasztott követelmények 1. Egyértelmű dekódolhatóság: nem redukálható = irreducibilis kód! Feltétele: hogy egyik kódszó sem lehet a másik kódszó része 2. Forráskódolásnál a minimális szóhossz 3. Csatornakódolásnál a hibák észlelése és javítása 4. Titkosító kódolásnál a megfelelően nehéz dekódolhatóság OE NIK Dr. Kutor László IEA 8/25 Morse kód A.- J.--- B -... K -.- C -.-. L.-.. D -.. M -- E. N -. F..-. O --- G --. P.--. H... Q --.- I.. R.-. (redukálható) S... T - U..- V...- W.-- X -..- Y -.-- Z --.. 0 ----- 1.---- 2..--- 3...-- 4...- 5... 6 -... 7 --... 8 ---.. 9 ----. Fullstop.-.-.- Comma --..-- Query..--.. OE NIK Dr. Kutor László IEA 8/26

Statisztikára épülő adattömörítés Forrás Kódoló Csatorna Dekódoló Vevő Statisztika Statisztika Előnye: biztosítja a minimális átlagos szóhosszat (minimum redundanciát) Hátránya: a statisztikát is továbbítani kell OE NIK Dr. Kutor László IEA 8/27 Minimum redundanciájú kódok 1. Shannon-Fano kód Claude Shannon Bell Lab. ~1950 R.M. Fano M.I.T. Az üzenetek (szimbólumok) előfordulási gyakoriságának (valószínűségének) ismeretében létrehozható olyan kód amely egyértelműen dekódolható változó (szó) hosszúságú a kódszavak hossza a kódolt szimbólumok előfordulási valószínűségétől függ Gyakori szimbólum Ritka szimbólum rövid kód hosszú kód OE NIK Dr. Kutor László IEA 8/28

A Shannon-Fano algoritmus 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. A szimbólumok gyakoriság szerinti csökkenő sorrendbe rendezése 3. A lista két részre osztása úgy, hogy a két részben lévő szimbólumok összesített gyakorisága (közel) egyenlő legyen 4. A lista felső részéhez 0 -át, az alsó részéhez 1 -et rendelünk (vagy fordítva) 5. A 3.-ik és 4.-ik eljárást addig ismételjük, amíg a kettéosztott lista mindkét részében csak 1-1 szimbólum található OE NIK Dr. Kutor László IEA 8/29 Példa a Shannon Fano algoritmusra Szimbólumok Előfordulások Információ Bitek száma száma tartalom A 15 1.38 20.68 B 7 2.48 17.35 C 6 2.7 16.2 D 6 2.7 16.2 E 5 2.96 14.82 A (15) B (7) C (6) D (6) E (5) (22) 0 (17) 1 A (15) B (7) C (6) D (6) E (5) 0 1 0 0 1 D (6) E (5) 1 A = 00 B = 01 C = 10 D = 110 E = 111 ASCII 39* 8 = 312 Shannon-Fano 89? OE NIK Dr. Kutor László IEA 8/30

Minimum redundanciájú kódok 2. Huffman kód D.A. Huffmann (1952) 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. A szimbólumok gyakoriság szerinti csökkenő sorrendbe rendezése 3. A két legkevésbé gyakori szimbólumot összevonjuk és beírjuk a szimbólumok közé a gyakorisági sorba 4. A 3.-ik pontot addig ismételjük, amíg 2 elemű lesz a lista. Ekkor az egyik elemhez 0 -át a másikhoz 1 -et rendelünk. 5. Visszalépünk az előző összevont szimbólumhoz, és az előbbivel azonos sorrendben a két szimbólumhoz 0 -át és 1 -etrendelünk, mindaddig, míg vissza nem jutunk az egyes szimbólumokhoz OE NIK Dr. Kutor László IEA 8/31 Példa a Huffman algoritmusra Szimbólumok Előfordulások Információ Bitek száma száma tartalom A 15 1.38 20.68 B 7 2.48 17.35 C 6 2.7 16.2 D 6 2.7 16.2 E 5 2.96 14.82 A (15) B (7) C (6) D (6) E (5) A (15) DE (11) B (7) 1 1 C (6) 0 0 A (15) BC(13) 1 DE (11) 0 BCDE(24) A (15) 1 0 A = 0 B = 111 C = 110 D = 101 E = 100 ASCII 39* 8 = 312 Huffmann 87? OE NIK Dr. Kutor László IEA 8/32

1/2 példa a Huffman algoritmusra: Dekódolás Dekódolandó üzenet: 1101001010111101000110 Kódtábla: A = 0 B = 111 C = 110 D = 101 E = 100 C E D A B D AAAC Visszafejtett kód: CEDABDAAAC OE NIK Dr. Kutor László IEA 8/33 A kódolási példa fa szerkezete BCDE 1 0 DE 1 0 BC D 1 0 E B 1 0 C A gyökér A = 0 B = 111 C = 110 D = 101 E = 100 D E B C A levelek OE NIK Dr. Kutor László IEA 8/34

2. példa a Huffman algoritmusra: Kódolandó szöveg: Semmi nem olyan egyszerű, mint amilyennek látszik 1. A karakterek gyakoriságának meghatározása = 2, S=1, e=6, m=5, i=4, _=6, n=5, o=1, l=3, y=3, a=2, g=1, s=2, z=2, r=1, ű=1,,=1, t=2, k=2 =50 2. Gyakoriság szerinti rendezés 3. A kevésbé gyakori karaktereket kettesével összevonjuk és beírjuk a gyakorisági sorba, ami két elemű lesz a lista 4. A lista elemekhez rendre 0-át és 1-et rendelve létrehozzuk, majd kiolvassuk a kódot e(6) (6) m(5) n(5) i(4) l(3) y(3) (2) a(2) s(2) z(2) t(2) k(2) o(1) r(1) ű(1) g(1),(1) OE NIK Dr. Kutor László IEA 8/35 FAX gépek adattömörítése CCITT szerint G1, G2, G3 (G4?) A4-es oldal felbontás átvitel továbbításához (vonal/mm) szükséges idő: vivő G1 6 perc 3.85 analóg (1300.1700 Hz) G2 3 perc 3.85 analóg (2100) G3 40-60 s 3.85(7.7) CCITT (2400 bit/s) A 215 mm hosszú sor 1728 pontból áll Egydimenziós kódolás Kétdimenziós kódolás (15 20 mp) OE NIK Dr. Kutor László IEA 8/36

Minimum redundanciájú kódok 3. Aritmetikai kód (1952) US Pat. #: 4,905,297 Az egész üzenetet egy számmal helyettesítjük Például: BILL GATES 0.2572167752 OE NIK Dr. Kutor László IEA 8/37 Az aritmetikai kódolás algoritmusa 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. Minden szimbólumhoz hozzárendelünk egy 0 1 közé eső számtartományt. A számtartomány nagysága arányos a szimbólum relatív gyakoriságával 3. A teljes karaktersorozatot egy számmá alakítjuk. Az átalakítást úgy végezzük, hogy az üzenetben egymás után következő karakterek által kijelölt számtartományt lépésről lépésre beszűkítjük, míg végül egy számhoz jutunk OE NIK Dr. Kutor László IEA 8/38

1. példa az aritmetikai kódolásra Kódolandó szöveg: ALMA Szimbólumok Előfordulások Relatív Számtartomány száma gyakoriság A 2 2/4 0 <=t A < 0.5 L 1 1/4 0.5 <=t L < 0.75 M 1 1/4 0.75<=t M < 1 A L M 0 <= t A < 0. 5 0.25 <= t AL < 0.375 0. <= t ALM < 0.. 0. <= t ALMA < 0.. OE NIK Dr. Kutor László IEA 8/39 2. példa az aritmetikai kódolásra Data Compression book Kódolandó szöveg: BILL_GATES Mark Nelson 1991 Szimbólumok Előfordulások Relatív Számtartomány száma gyakoriság -_ 1 1/10 0.00 <= t _ < 0.10 A 1 1/10 0.10 <= t A < 0.20 B 1 1/10 0.20 <= t B < 0.30 E 1 1/10 0.30 <= t E < 0.40 G 1 1/10 0.40 <= t G < 0.50 I 1 1/10 0.50 <= t I < 0.60 L 2 2/10 0.60 <= t L < 0.80 S 1 1/10 0.80 <= t S < 0.90 T 1 1/10 0.90 <= t T < 1.00 OE NIK Dr. Kutor László IEA 8/40

2/2. példa az aritmetikai kódolásra Kódolt szöveg: BILL_GATES 0.2572167752 Kódtáblázat 0.00 <= < 0.10 0.10 <= A < 0.20 0.20 <= B < 0.30 0.30 <= E < 0.40 0.40 <= G < 0.50 0.50 <= I < 0.60 0.60 <= L < 0.80 0.80 <= S < 0.90 0.90 <= T < 1.00 Számtartomány alsó érték felső érték B 0.2 0.3 I 0.25 0.26 L 0.256 0.258 L 0.2572 0.2576-0.25720 0.25724 G 0.257216 0.2572220 A 0.2572164 0.2572168 T 0.257216772 0.257216776 E 0.257216772 0.257216776 S 0.2572167752 0.2572167756 OE NIK Dr. Kutor László IEA 8/41 2/3. példa az aritmetikai kódolásra: Dekódolás Kiinduló kód: 0.2572167752 Kódtáblázat 0.00 <= < 0.10 0.10 <= A < 0.20 0.20 <= B < 0.30 0.30 <= E < 0.40 0.40 <= G < 0.50 0.50 <= I < 0.60 0.60 <= L < 0.80 0.80 <= S < 0.90 0.90 <= T < 1.00 1. 0.2572167752 B 0.2572167752 a 0.2 (a tartomány alsó értéke) b 0.0572167752 /0.1=0.57216 2. 0.572167752 I tartomány a 0.5 b 0.072167752 /0.1=0.7216. 3. 0.72167752 L a 0.6 b 0.12167752/0.2= 0.6083876 4. 0.6083876 L a 0.6 b 0.0083876/0.2=0.041938 5. 0.041938 _ a 0.0 b 0.041938/0.1=0.41938 6. 0.41938 G... OE NIK Dr. Kutor László IEA 8/42