Informatikai Rendszerek Alapjai

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Informatikai Rendszerek Alapjai"

Imre Boros
7 évvel ezelőtt
Látták:

1 Informatikai Rendszerek Alapjai Dr. Kutor László A redundancia fogalma és mérése Minimális redundanciájú kódok 1. IRA 2014 könyvtár Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/1

2 Betű kiválasztása a 8 bites ASCII karakterkészletből H=log = 8 Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/2

3 R. Hartley formula (egyenlő előfordulási valószínűségű) elemek kiválasztásához kapcsolódó információ mérésére (nagyságának kiszámolására) H= k * log n Ahol H = az információ (I) mennyiség egy üzenet (szó) kiválasztásakor n = az üzenet - ABC betűinek száma k = a betűk száma az üzenetben (szóban) Az információ mértékegységei különböző logaritmusok estén: I = k * log 10 n [ Hartley] I = k * log 2 n [ Shannon, bit] I = k * log e n [ Nat ] H = I!!! Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/3

4 Példák az egy elem kiválasztását leíró információ nagyságára I = 1, 2, 3, 4, 5 I(x i ) = log 2 (n), vagy - log 2 (1/n), vagy - log 2 (p(x i )) Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/4

5 C. E. Shannon formula R. Hartley formula (különböző előfordulási valószínűségű) elemek kiválasztásához kapcsolódó információ mérésére (nagyságának kiszámolására) vagyis Hány bit szükséges egy tetszőleges üzenet elem továbbításához?! Legyenek: x 1,x 2,x 3,.x i, x n egyedi közlemények S = x 1 +x 2 +x 3 + +x i +.. x n az összes üzenet I(S) = az összes üzenet információ tartalma p(x 1 ), p(x 2 ), p(x 3 ), p(x i ), p(x n ) = az üzenetek előfordulási Óbudai Egyetem, NIK Dr. Kutor László valószínűsége IEA 7/31/5

6 A Shannon formula magyarázata Ha a kibocsátott üzenetek száma: M, akkor X i előfordulásának száma: g i = M * p(x i ) I M = g 1 *I(x 1 ) + g i *I(x i ) + g n *I(X n ) I(x i ) = az i-ik üzenet információ tartalma = - log 2 p(x i ) I M = - M* p( x i ) * log 2 p(x i ) I (S) = - p(x i ) * log 2 p(x i )?! Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/6

7 A relatív információ. Redundancia köznapi értelmezése: terjengősség A redundancia információelméleti értelmezése: n I S = - p(x i )* log 2 p(x i ) i=1 n (Shannon) I max = - 1/n * log (1/n)= - log (1/n) = log (n) i=1 (Hartley) A kód információ tartalma, ha a kódban lévő elemek egyenlő előfordulási valószínűségűek lennének I relatív = I S I max A kód információ tartalma ténylegesen = az információ-forrás jósága Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/7

8 Az információ redundanciája 2. I S = a hírforrás információ tartalma I max = a hírforrás maximális információ tartalma I relatív = I S I max R S = (1 - I S I max ) * 100 = az információ forrás jósága A hírforrás által közölt információ hány százaléka felesleges Példa: I S = I max = 2 Irelatív = 2 R S = ( ) * 100 = 15.8 ~ 16% = Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/8

9 A magyar nyelv betűgyakorisága és információ tartalma szavas újságszöveg alapján Gyakoriság Információ (% ) tartalom (bit) Fülöp Géza Gyakoriság Információ (% ) tartalom (bit) Gyakoriság Információ (% ) tartalom (bit) A 9,35 3,43 Á 3,72 4,77 B 1,72 5,87 C 0,60 7,40 D 1,71 5,90 E 9,71 3,37 É 3,87 4,71 F 0,88 6,87 G 3,55 4,83 H 1,23 6,37 I 4,39 4,53 J 1,21 6,39 K 5,35 4,24 L 6,30 4,00 M 3,92 4,69 N 5,47 4,21 O 4,47 4,50 Ö 2,14 5,57 P 1,04 6,61 R 4,22 4,58 S 6,57 3,94 T 7,87 3,68 U 1,29 6,30 Ü 0,93 6,77 V 1,81 5,81 X 0,01 13,33 Y 2,21 5,52 Z 4,46 4,50 I átlag = 4.44 bit Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/9

10 Az angol nyelv betűgyakorisága Betű Betű Információ [bit] gyakoriság A 8,4966% 3,5570 B 2,0720% 5,5928 C 4,5388% 4,4615 D 3,3844% 4,8850 E 11,1607% 3,1635 F 1,8121% 5,7862 G 2,4705% 5,3391 H 3,0034% 5,0573 I 7,5448% 3,7284 J 0,1965% 8,9913 K 1,1016% 6,5043 L 5,4893% 4,1872 M 3,0129% 5,0527 Betű Betű Információ[bit] gyakoriság N 6,6544% 3,9095 O 7,1635% 3,8032 P 3,1671% 4,9807 Q 0,1961% 8,9942 R 7,5809% 3,7215 S 5,7351% 4,1240 T 6,9509% 3,8467 U 3,6308% 4,7836 V 1,0074% 6,6332 W 1,2899% 6,2766 X 0,2902% 8,4287 Y 1,7779% 5,8137 Z 0,2722% 8,5211 I átlag = 4.22 bit Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/10

11 Az információ redundanciája (példa) I S = a hírforrás információ tartalma (entrópiája) I max = a hírforrás maximális információ tartalma I relatív = I S I max R S = 1 - I S I max = az információ forrás jósága * 100 A hírforrás által közölt információ hány százaléka felesleges Példa: I S = I max = 2 Hr = R S = ( ) * 100 = 15.8 ~ 16% = Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/11

12 A kódolás folyamata és fogalmai U A A* U* Forrás Kódoló Csatorna Dekódoló Vevő A kódolás céljai: U-nak A-ba történő leképezése minimális redundancia létrehozásával Forrás kódolás U-nak A-ba történő leképezése növelt redundancia létrehozásával Csatorna kódolás U-nak A-ba történő leképezése a kódrendszer titkos megváltoztatásával Titkosító kódolás Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/12

13 A kódolással szemben támasztott követelmények 1. Egyértelmű dekódolhatóság: nem redukálható = irreducibilis kód! Feltétele: hogy egyik kódszó sem lehet a másik kódszó része 2. Forráskódolásnál a minimális szóhossz 3. Csatornakódolásnál a hibák észlelése és javítása 4. Titkosító kódolásnál a megfelelően nehéz dekódolhatóság Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/13

14 Morse távíró Óbudai Egyetem, NIK Dr. Kutor László

15 Morse kód A.- B -... C -.-. D -.. E. F..-. G --. H... I.. (redukálható) J.--- K -.- L.-.. M -- N -. O --- P.--. Q --.- R.-. S... T - U..- V...- W.-- X -..- Y -.-- Z Fullstop Comma Query Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/15

16 Tömörítő programok hatékonysága A kiinduló fájl típusa:.exe.img.txt A kiinduló fájl mérete: Huffman LZW Aritmetikai PKZIP ARJ Koschek Vilmos Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/16

17 Tömörítő programok tesztje 1. Szövegfájlok méret szerint Kiinduló fájlok mérete: 1.22 MBájt Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/17

18 Tömörítő programok tesztje 3..doc fájlok méret szerint Kiinduló fájl mérete: MBájt Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/18

19 Tömörítő programok tesztje 2.. exe fájlok méret szerint Kiinduló fájl mérete: 8.47 MBájt Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/19

20 Tömörítő programok tesztje 7. kép fájlok (.png) méret szerint Kiinduló fájl mérete: MBájt Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/20

21 Tömörítő programok tesztje 9. hang fájlok (.wav) méret szerint Kiinduló fájl mérete: MBájt ( Kamil ) Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/21

22 Statisztikára épülő adattömörítés Forrás Kódoló Csatorna Dekódoló Vevő Statisztika Statisztika Előnye: biztosítja a minimális átlagos szóhosszat (minimum redundanciát) Hátránya: a statisztikát is továbbítani kell Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/22

23 Minimum redundanciájú kódok 1: Shannon-Fano kód Az üzenetek (szimbólumok) előfordulási gyakoriságának (valószínűségének) ismeretében létrehozható olyan kód amely egyértelműen dekódolható Claude Shannon Bell Lab. ~1950 R.M. Fano M.I.T. változó (szó) hosszúságú a kódszavak hossza a kódolt szimbólumok előfordulási valószínűségétől függ Gyakori szimbólum rövid kód Ritka szimbólum hosszú kód Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/23

24 A Shannon-Fano algoritmus 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. A szimbólumok gyakoriság szerinti csökkenő sorrendbe rendezése 3. A lista két részre osztása úgy, hogy a két részben lévő szimbólumok összesített gyakorisága (közel) egyenlő legyen 4. A lista felső részéhez 0 -át, az alsó részéhez 1 -et rendelünk (vagy fordítva) 5. A 3.-ik és 4.-ik eljárást addig ismételjük, amíg a kettéosztott lista mindkét részében csak 1-1 szimbólum található Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/24

25 Példa a Shannon Fano algoritmusra Szimbólumok Előfordulások Információ Bitek száma száma tartalom A B C D E A (15) B (7) C (6) D (6) E (5) (22) (17) 0 1 A (15) B (7) C (6) D (6) E (5) D (6) E (5) 1 A = 00 B = 01 C = 10 D = 110 E = 111 ASCII 39* 8 = 312 Shannon-Fano 89? Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/25

26 Minimum redundanciájú kódok 2: Huffman kód D.A. Huffman (1952) 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. A szimbólumok gyakoriság szerinti csökkenő sorrendbe rendezése 3. A két legkevésbé gyakori szimbólumot összevonjuk és beírjuk a szimbólumok közé a gyakorisági sorba 4. A 3.-ik pontot addig ismételjük, amíg 2 elemű lesz a lista. Ekkor az egyik elemhez 0 -át a másikhoz 1 -et rendelünk. 5. Visszalépünk az előző összevont szimbólumhoz, és az előbbivel azonos sorrendben a két szimbólumhoz 0 -át és 1 -etrendelünk, mindaddig, míg vissza nem jutunk az egyes szimbólumokhoz Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/26

27 Példa a Huffman algoritmusra Szimbólumok Előfordulások Információ Bitek száma száma tartalom A B C D E A (15) B (7) C (6) D (6) E (5) 1 0 A (15) DE (11) B (7) C (6) 1 0 A (15) BC(13) DE (11) Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/ BCDE(24) A (15) 1 0 A = 0 B = 111 C = 110 D = 101 E = 100 ASCII 39* 8 = 312 Huffmann 87?

28 1/2 példa a Huffman algoritmusra: Dekódolás Dekódolandó üzenet: Kódtábla: A = 0 B = 111 C = 110 D = 101 E = 100 C E D A B D AAAC Visszafejtett kód: CEDABDAAAC Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/28

29 A kódolási példa fa szerkezete D E B C A levelek D 1 0 E B 1 0 C DE 0 1 BC BCDE 1 0 A gyökér A = 0 B = 111 C = 110 D = 101 E = 100 Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/29

30 2. példa a Huffman algoritmusra: Kódolandó szöveg: Semmi nem olyan egyszerű, mint amilyennek látszik 1. A karakterek gyakoriságának meghatározása = 2, S=1, e=6, m=5, i=4, _=6, n=5, o=1, l=3, y=3, a=2, g=1, s=2, z=2, r=1, ű=1,,=1, t=2, k=2 =50 2. Gyakoriság szerinti rendezés 3. A kevésbé gyakori karaktereket kettesével összevonjuk és beírjuk a gyakorisági sorba, ami két elemű lesz a lista 4. A lista elemekhez rendre 0-át és 1-et rendelve létrehozzuk, majd kiolvassuk a kódot e(6) (6) m(5) n(5) i(4) l(3) y(3) (2) a(2) s(2) z(2) t(2) k(2) o(1) r(1) ű(1) g(1),(1) Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/30

31 Kérdések: - Hogyan befolyásolja a eseménytér egyes eseményeinek előfordulási valószínűsége a kiválasztásukhoz tartozó információ nagyságát? - Miért van nagy jelentősége a redundanciának az informatikában és az életben? - Miért lehet veszteségmentesen tömöríteni az emberi kommunikációból származó információkat? Óbudai Egyetem, NIK Dr. Kutor László IEA 7/31/31

Hasonló dokumentumok

Az Informatika Elméleti Alapjai

Az Informatika Elméleti Alapjai dr. Kutor László Az üzenet információ-tartalma, redundanciája Minimális redundanciájú kódok http://mobil.nik.bmf.hu/tantárgyak/iea.html Felhasználónév: iea Jelszó: IEA07