Informatikai Rendszerek Alapjai Dr. Kutor László A redundancia fogalma és mérése Minimális redundanciájú kódok 1. http://uni-obuda.hu/users/kutor/ IRA 2014 könyvtár Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/1
Betű kiválasztása a 8 bites ASCII karakterkészletből H=log 2 256 = 8 Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/2
R. Hartley formula (egyenlő előfordulási valószínűségű) elemek kiválasztásához kapcsolódó információ mérésére (nagyságának kiszámolására) H= k * log n Ahol H = az információ (I) mennyiség egy üzenet (szó) kiválasztásakor n = az üzenet - ABC betűinek száma k = a betűk száma az üzenetben (szóban) Az információ mértékegységei különböző logaritmusok estén: I = k * log 10 n [ Hartley] I = k * log 2 n [ Shannon, bit] I = k * log e n [ Nat ] H = I!!! Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/3
Példák az egy elem kiválasztását leíró információ nagyságára I = 1, 2, 3, 4, 5 I(x i ) = log 2 (n), vagy - log 2 (1/n), vagy - log 2 (p(x i )) Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/4
C. E. Shannon formula R. Hartley formula (különböző előfordulási valószínűségű) elemek kiválasztásához kapcsolódó információ mérésére (nagyságának kiszámolására) vagyis Hány bit szükséges egy tetszőleges üzenet elem továbbításához?! Legyenek: x 1,x 2,x 3,.x i, x n egyedi közlemények S = x 1 +x 2 +x 3 + +x i +.. x n az összes üzenet I(S) = az összes üzenet információ tartalma p(x 1 ), p(x 2 ), p(x 3 ), p(x i ), p(x n ) = az üzenetek előfordulási Óbudai Egyetem, NIK Dr. Kutor László valószínűsége IEA 7/31/5
A Shannon formula magyarázata Ha a kibocsátott üzenetek száma: M, akkor X i előfordulásának száma: g i = M * p(x i ) I M = g 1 *I(x 1 ) + g i *I(x i ) + g n *I(X n ) I(x i ) = az i-ik üzenet információ tartalma = - log 2 p(x i ) I M = - M* p( x i ) * log 2 p(x i ) I (S) = - p(x i ) * log 2 p(x i )?! Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/6
A relatív információ. Redundancia köznapi értelmezése: terjengősség A redundancia információelméleti értelmezése: n I S = - p(x i )* log 2 p(x i ) i=1 n (Shannon) I max = - 1/n * log (1/n)= - log (1/n) = log (n) i=1 (Hartley) A kód információ tartalma, ha a kódban lévő elemek egyenlő előfordulási valószínűségűek lennének I relatív = I S I max A kód információ tartalma ténylegesen = az információ-forrás jósága Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/7
Az információ redundanciája 2. I S = a hírforrás információ tartalma I max = a hírforrás maximális információ tartalma I relatív = I S I max R S = (1 - I S I max ) * 100 = az információ forrás jósága A hírforrás által közölt információ hány százaléka felesleges 1.684 Példa: I S = 1.684 I max = 2 Irelatív = 2 R S = (1 0.842) * 100 = 15.8 ~ 16% = 0.842 Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/8
A magyar nyelv betűgyakorisága és információ tartalma 10 000 szavas újságszöveg alapján Gyakoriság Információ (% ) tartalom (bit) Fülöp Géza Gyakoriság Információ (% ) tartalom (bit) http://www.mek.oszk.hu/03100/03118/html/#5 Gyakoriság Információ (% ) tartalom (bit) A 9,35 3,43 Á 3,72 4,77 B 1,72 5,87 C 0,60 7,40 D 1,71 5,90 E 9,71 3,37 É 3,87 4,71 F 0,88 6,87 G 3,55 4,83 H 1,23 6,37 I 4,39 4,53 J 1,21 6,39 K 5,35 4,24 L 6,30 4,00 M 3,92 4,69 N 5,47 4,21 O 4,47 4,50 Ö 2,14 5,57 P 1,04 6,61 R 4,22 4,58 S 6,57 3,94 T 7,87 3,68 U 1,29 6,30 Ü 0,93 6,77 V 1,81 5,81 X 0,01 13,33 Y 2,21 5,52 Z 4,46 4,50 I átlag = 4.44 bit Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/9
Az angol nyelv betűgyakorisága Betű Betű Információ [bit] gyakoriság A 8,4966% 3,5570 B 2,0720% 5,5928 C 4,5388% 4,4615 D 3,3844% 4,8850 E 11,1607% 3,1635 F 1,8121% 5,7862 G 2,4705% 5,3391 H 3,0034% 5,0573 I 7,5448% 3,7284 J 0,1965% 8,9913 K 1,1016% 6,5043 L 5,4893% 4,1872 M 3,0129% 5,0527 Betű Betű Információ[bit] gyakoriság N 6,6544% 3,9095 O 7,1635% 3,8032 P 3,1671% 4,9807 Q 0,1961% 8,9942 R 7,5809% 3,7215 S 5,7351% 4,1240 T 6,9509% 3,8467 U 3,6308% 4,7836 V 1,0074% 6,6332 W 1,2899% 6,2766 X 0,2902% 8,4287 Y 1,7779% 5,8137 Z 0,2722% 8,5211 I átlag = 4.22 bit Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/10
Az információ redundanciája (példa) I S = a hírforrás információ tartalma (entrópiája) I max = a hírforrás maximális információ tartalma I relatív = I S I max R S = 1 - I S I max = az információ forrás jósága * 100 A hírforrás által közölt információ hány százaléka felesleges Példa: I S = 1.684 I max = 2 Hr = 1.684 2 R S = (1 0.842) * 100 = 15.8 ~ 16% = 0.842 Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/11
A kódolás folyamata és fogalmai U A A* U* Forrás Kódoló Csatorna Dekódoló Vevő A kódolás céljai: U-nak A-ba történő leképezése minimális redundancia létrehozásával Forrás kódolás U-nak A-ba történő leképezése növelt redundancia létrehozásával Csatorna kódolás U-nak A-ba történő leképezése a kódrendszer titkos megváltoztatásával Titkosító kódolás Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/12
A kódolással szemben támasztott követelmények 1. Egyértelmű dekódolhatóság: nem redukálható = irreducibilis kód! Feltétele: hogy egyik kódszó sem lehet a másik kódszó része 2. Forráskódolásnál a minimális szóhossz 3. Csatornakódolásnál a hibák észlelése és javítása 4. Titkosító kódolásnál a megfelelően nehéz dekódolhatóság Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/13
Morse távíró Óbudai Egyetem, NIK Dr. Kutor László
Morse kód A.- B -... C -.-. D -.. E. F..-. G --. H... I.. (redukálható) J.--- K -.- L.-.. M -- N -. O --- P.--. Q --.- R.-. S... T - U..- V...- W.-- X -..- Y -.-- Z --.. 0 ----- 1.---- 2..--- 3...-- 4...- 5... 6 -... 7 --... 8 ---.. 9 ----. Fullstop.-.-.- Comma --..-- Query..--.. Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/15
Tömörítő programok hatékonysága A kiinduló fájl típusa:.exe.img.txt A kiinduló fájl mérete: 277 766 168 974 151 579 Huffman 103 408 57 383 42 576 LZW 117 811 55 108 48 322 Aritmetikai 177 042 79 870 101 322 PKZIP 96 525 56 380 39 953 ARJ 92 560 50 236 36 913 Koschek Vilmos Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/16
Tömörítő programok tesztje 1. Szövegfájlok méret szerint Kiinduló fájlok mérete: 1.22 MBájt www.internews.hu Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/17
Tömörítő programok tesztje 3..doc fájlok méret szerint Kiinduló fájl mérete: 12.34 MBájt Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/18
Tömörítő programok tesztje 2.. exe fájlok méret szerint Kiinduló fájl mérete: 8.47 MBájt Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/19
Tömörítő programok tesztje 7. kép fájlok (.png) méret szerint Kiinduló fájl mérete: 70.62 MBájt Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/20
Tömörítő programok tesztje 9. hang fájlok (.wav) méret szerint Kiinduló fájl mérete: 15.66 MBájt www.internews.hu ( Kamil ) Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/21
Statisztikára épülő adattömörítés Forrás Kódoló Csatorna Dekódoló Vevő Statisztika Statisztika Előnye: biztosítja a minimális átlagos szóhosszat (minimum redundanciát) Hátránya: a statisztikát is továbbítani kell Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/22
Minimum redundanciájú kódok 1: Shannon-Fano kód Az üzenetek (szimbólumok) előfordulási gyakoriságának (valószínűségének) ismeretében létrehozható olyan kód amely egyértelműen dekódolható Claude Shannon Bell Lab. ~1950 R.M. Fano M.I.T. változó (szó) hosszúságú a kódszavak hossza a kódolt szimbólumok előfordulási valószínűségétől függ Gyakori szimbólum rövid kód Ritka szimbólum hosszú kód Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/23
A Shannon-Fano algoritmus 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. A szimbólumok gyakoriság szerinti csökkenő sorrendbe rendezése 3. A lista két részre osztása úgy, hogy a két részben lévő szimbólumok összesített gyakorisága (közel) egyenlő legyen 4. A lista felső részéhez 0 -át, az alsó részéhez 1 -et rendelünk (vagy fordítva) 5. A 3.-ik és 4.-ik eljárást addig ismételjük, amíg a kettéosztott lista mindkét részében csak 1-1 szimbólum található Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/24
Példa a Shannon Fano algoritmusra Szimbólumok Előfordulások Információ Bitek száma száma tartalom A 15 1.38 20.68 B 7 2.48 17.35 C 6 2.7 16.2 D 6 2.7 16.2 E 5 2.96 14.82 A (15) B (7) C (6) D (6) E (5) (22) (17) 0 1 A (15) B (7) C (6) D (6) E (5) 0 1 0 0 1 D (6) E (5) 1 A = 00 B = 01 C = 10 D = 110 E = 111 ASCII 39* 8 = 312 Shannon-Fano 89? Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/25
Minimum redundanciájú kódok 2: Huffman kód D.A. Huffman (1952) 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. A szimbólumok gyakoriság szerinti csökkenő sorrendbe rendezése 3. A két legkevésbé gyakori szimbólumot összevonjuk és beírjuk a szimbólumok közé a gyakorisági sorba 4. A 3.-ik pontot addig ismételjük, amíg 2 elemű lesz a lista. Ekkor az egyik elemhez 0 -át a másikhoz 1 -et rendelünk. 5. Visszalépünk az előző összevont szimbólumhoz, és az előbbivel azonos sorrendben a két szimbólumhoz 0 -át és 1 -etrendelünk, mindaddig, míg vissza nem jutunk az egyes szimbólumokhoz Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/26
Példa a Huffman algoritmusra Szimbólumok Előfordulások Információ Bitek száma száma tartalom A 15 1.38 20.68 B 7 2.48 17.35 C 6 2.7 16.2 D 6 2.7 16.2 E 5 2.96 14.82 A (15) B (7) C (6) D (6) E (5) 1 0 A (15) DE (11) B (7) C (6) 1 0 A (15) BC(13) DE (11) Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/27 1 0 BCDE(24) A (15) 1 0 A = 0 B = 111 C = 110 D = 101 E = 100 ASCII 39* 8 = 312 Huffmann 87?
1/2 példa a Huffman algoritmusra: Dekódolás Dekódolandó üzenet: 1101001010111101000110 Kódtábla: A = 0 B = 111 C = 110 D = 101 E = 100 C E D A B D AAAC Visszafejtett kód: CEDABDAAAC Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/28
A kódolási példa fa szerkezete D E B C A levelek D 1 0 E B 1 0 C DE 0 1 BC BCDE 1 0 A gyökér A = 0 B = 111 C = 110 D = 101 E = 100 Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/29
2. példa a Huffman algoritmusra: Kódolandó szöveg: Semmi nem olyan egyszerű, mint amilyennek látszik 1. A karakterek gyakoriságának meghatározása = 2, S=1, e=6, m=5, i=4, _=6, n=5, o=1, l=3, y=3, a=2, g=1, s=2, z=2, r=1, ű=1,,=1, t=2, k=2 =50 2. Gyakoriság szerinti rendezés 3. A kevésbé gyakori karaktereket kettesével összevonjuk és beírjuk a gyakorisági sorba, ami két elemű lesz a lista 4. A lista elemekhez rendre 0-át és 1-et rendelve létrehozzuk, majd kiolvassuk a kódot e(6) (6) m(5) n(5) i(4) l(3) y(3) (2) a(2) s(2) z(2) t(2) k(2) o(1) r(1) ű(1) g(1),(1) Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/30
Kérdések: - Hogyan befolyásolja a eseménytér egyes eseményeinek előfordulási valószínűsége a kiválasztásukhoz tartozó információ nagyságát? - Miért van nagy jelentősége a redundanciának az informatikában és az életben? - Miért lehet veszteségmentesen tömöríteni az emberi kommunikációból származó információkat? Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/31