Az Informatika Elméleti Alapjai

Átírás

1 Az Informatika Elméleti Alapjai dr. Kutor László Az üzenet információ-tartalma, redundanciája Minimális redundanciájú kódok Felhasználónév: iea Jelszó: IEA07 BMF NIK dr. Kutor László IEA 7/1 Az Információ értelmezése Az információ szó szinonimái a köznapi használatban: Tájékoztatás Hír, Újság Adat Felvilágosítás Közlés Tudás Bejelentés Jellemzés Értesülés Tudományos értelemben: Az információ olyan mennyiség amely egy eseményrendszer egyik vagy másik eseményének bekövetkezéséről, (illetve egy állapottér egyik vagy másik állapotáról) elemi szimbólumok sorozatával közölhető. Az információ a bizonytalanság csökkentésének mennyisége BMF NIK dr. Kutor László IEA 7/2

2 Egy kártya kiválasztásához tartozó információ BMF NIK dr. Kutor László IEA 7/3 R. Hartley formula az információ mérésére H= k * log n Ahol H = az információ mennyiség egy üzenet (szó) kiválasztásakor n = az üzenet - ABC betűinek száma k = a betűk száma az üzenetben (szóban) Az információ mértékegységei különböző logaritmusok estén: H = k * log 10 n [ Hartley] H = k * log 2 n [ Shannon, bit] H = k * log e n [ Nat ] BMF NIK dr. Kutor László IEA 7/4

3 C. E. Shannon és N.Wiener információ értelmezése Véges számú közleményből véletlenszerűen választunk ki egyet Kérdés: Milyen következtetést vonhatunk le az egész közlemény bizonytalanságára? H(S) = - p{ x i }* log 2 p{x i } Ahol H(S) = a közlemény információ tartalma S(x 1,x 2,x 3,.x i, x n ) = a közlemények P{x 1 }, P{x 2 }, P{x 3 }, P{x i }, P{x n } = az üzenetek előfordulási valószínűsége BMF NIK dr. Kutor László IEA 7/5 Shannon információra vonatkozó összefüggése Kibocsátott üzenetek száma: M Xi előfordulásának száma: g i = M * X i I M = g1*i(x 1 ) + gi*i(xi) + gn*i(xn) IM= - M* p{ xi}* log 2 p{xi} H(S) = - p{ x i }* log 2 p{x i }? BMF NIK dr. Kutor László IEA 7/6

4 Az információ redundanciája 1. Redundancia köznapi értelmezése: terjengősség A redundancia információ elméleti értelmezése: n H S = - p{ xi}* log 2 p{xi} (Shannon) i=1 n H max = - 1/n * log (1/n)= - log (1/n) = log (n) i=1 (Hartley) H relatív = H S H max = az információ forrás jósága BMF NIK dr. Kutor László IEA 7/7 Az információ redundanciája 2. H S = a hírforrás információ tartalma (entrópiája) H max = a hírforrás maximális információ tartalma H relatív = H S H max = az információ forrás jósága H R S = 1 - S A hírforrás által közölt információ * 100 H hány százaléka felesleges max Példa: H S = H max = 2 Hr = = R S = ( ) * 100 = 15.8 ~ 16% BMF NIK dr. Kutor László IEA 7/8

5 Példa az írott szöveg redundancájára 1 ( a szöveg minden 3 karakteréből 2 elhagyva) A programozók (minden ellenkező híresztelés ellenére) emberek, akik éjnek éjjelén, teljesen alkalmatlan fejlesztőprogramokkal, hibáktól hemzsegő hardverek egymáshoz nem illeszthető konglomerátumán megkísérlik, hogy a feladatra alkalmatlan megbízóik megrendelésére megbízóik egymásnak ellentmondó kívánságait olyan programokká alakítsák át, amelyeket aztán a végén, senki sem fog használni. BMF NIK dr. Kutor László IEA 7/9 Példa az írott szöveg redundancájára 2 ( a szöveg minden 3 karakteréből 1 elhagyva) A programozók (minden ellenkező híresztelés ellenére) emberek, akik éjnek éjjelén, teljesen alkalmatlan fejlesztőprogramokkal, hibáktól hemzsegő hardverek egymáshoz nem illeszthető konglomerátumán megkísérlik, hogy a feladatra alkalmatlan megbízóik megrendelésére megbízóik egymásnak ellentmondó kívánságait olyan programokká alakítsák át, amelyeket aztán a végén, senki sem fog használni. BMF NIK dr. Kutor László IEA 7/10

6 Példa az írott szöveg redundancájára 1 ( a szöveg minden karaktere kiírva) A programozók (minden ellenkező híresztelés ellenére) emberek, akik éjnek éjjelén, teljesen alkalmatlan fejlesztőprogramokkal, hibáktól hemzsegő hardverek egymáshoz nem illeszthető konglomerátumán megkísérlik, hogy a feladatra alkalmatlan megbízóik megrendelésére megbízóik egymásnak ellentmondó kívánságait olyan programokká alakítsák át, amelyeket aztán a végén, senki sem fog használni. BMF NIK dr. Kutor László IEA 7/11 A magyar nyelv betűgyakorisága és információ tartalma szavas újságszöveg alapján Gyakoriság Információ (% ) tartalom (bit) Fülöp Géza Gyakoriság Információ (% ) tartalom (bit) Gyakoriság Információ (% ) tartalom (bit) A 9,35 3,43 Á 3,72 4,77 B 1,72 5,87 C 0,60 7,40 D 1,71 5,90 E 9,71 3,37 É 3,87 4,71 F 0,88 6,87 G 3,55 4,83 H 1,23 6,37 I 4,39 4,53 J 1,21 6,39 K 5,35 4,24 L 6,30 4,00 M 3,92 4,69 N 5,47 4,21 O 4,47 4,50 Ö 2,14 5,57 P 1,04 6,61 R 4,22 4,58 S 6,57 3,94 T 7,87 3,68 U 1,29 6,30 Ü 0,93 6,77 V 1,81 5,81 X 0,01 13,33 Y 2,21 5,52 Z 4,46 4,50 I átlag = 4.44 bit BMF NIK dr. Kutor László IEA 7/12

7 Tömörítő programok hatékonysága A kiinduló fájl típusa:.exe.img.txt A kiinduló fájl mérete: Huffmann LZW Aritmetikai PKZIP ARJ Koschek Vilmos BMF NIK dr. Kutor László IEA 7/13 Az angol nyelv betűgyakorisága Betű Betű Információ [bit] gyakoriság A 8,4966% 3,5570 B 2,0720% 5,5928 C 4,5388% 4,4615 D 3,3844% 4,8850 E 11,1607% 3,1635 F 1,8121% 5,7862 G 2,4705% 5,3391 H 3,0034% 5,0573 I 7,5448% 3,7284 J 0,1965% 8,9913 K 1,1016% 6,5043 L 5,4893% 4,1872 M 3,0129% 5,0527 Betű Betű Információ[bit] gyakoriság N 6,6544% 3,9095 O 7,1635% 3,8032 P 3,1671% 4,9807 Q 0,1961% 8,9942 R 7,5809% 3,7215 S 5,7351% 4,1240 T 6,9509% 3,8467 U 3,6308% 4,7836 V 1,0074% 6,6332 W 1,2899% 6,2766 X 0,2902% 8,4287 Y 1,7779% 5,8137 Z 0,2722% 8,5211 I átlag = 4.22 bit BMF NIK dr. Kutor László IEA 7/14

8 Tömörítő programok tesztje 1. Szövegfájlok méret szerint Kiinduló fájlok mérete: 1.22 MBájt BMF NIK dr. Kutor László IEA 7/15 Tömörítő programok tesztje 2. Szövegfájlok idő szerint Kiinduló fájlok mérete: 1.22 MBájt BMF NIK dr. Kutor László IEA 7/16

9 Tömörítő programok tesztje 3..doc fájlok méret szerint MBájt BMF NIK dr. Kutor László IEA 7/17 Tömörítő programok tesztje 4..doc fájlok idő szerint MBájt BMF NIK dr. Kutor László IEA 7/18

10 Tömörítő programok tesztje 2.. exe fájlok méret szerint 8.47 MBájt BMF NIK dr. Kutor László IEA 7/19 Tömörítő programok tesztje 6.. exe fájlok 8.47 MBájt BMF NIK dr. Kutor László IEA 7/20

11 Tömörítő programok tesztje 7. kép fájlok (.png) méret szerint MBájt BMF NIK dr. Kutor László IEA 7/21 Tömörítő programok tesztje 8. kép fájlok (.png) idő szerint MBájt BMF NIK dr. Kutor László IEA 7/22

12 Tömörítő programok tesztje 9. hang fájlok (.wav) méret szerint MBájt BMF NIK dr. Kutor László IEA 7/23 Tömörítő programok tesztje 10. hang fájlok (.wav) idő szerint MBájt BMF NIK dr. Kutor László IEA 7/24

13 Tömörítő programok tesztje 11. Tömörítvények (.zip) méret szerint 6.61 MBájt BMF NIK dr. Kutor László IEA 7/25 Tömörítő programok tesztje 12. Tömörítvények (.zip) idő szerint 6.61 MBájt BMF NIK dr. Kutor László IEA 7/26

14 A kódolás folyamata és fogalmai U A A* U* Forrás Kódoló Csatorna Dekódoló Vevő A kódolás céljai: U-nak A-ba történő leképezése minimális redundancia létrehozásával Forrás kódolás U-nak A-ba történő leképezése növelt redundancia létrehozásával Csatorna kódolás U-nak A-ba történő leképezése a kódrendszer titkos megváltoztatásával Titkosító kódolás BMF NIK dr. Kutor László IEA 7/27 A kódolással szemben támasztott követelmények 1. Egyértelmű dekódolhatóság: nem redukálható = irreducibilis kód! Feltétele: hogy egyik kódszó sem lehet a másik része 2. Forráskódolásnál a minimális szóhossz 3. Csatornakódolásnál a hibák észlelése és javítása 4. Titkosító kódolásnál a megfelelően nehéz dekódolhatóság BMF NIK dr. Kutor László IEA 7/28

15 Morse kód A.- J.--- B -... K -.- C -.-. L.-.. D -.. M -- E. N -. F..-. O --- G --. P.--. H... Q --.- I.. R.-. (redukálható) S... T - U..- V...- W.-- X -..- Y -.-- Z Fullstop Comma Query BMF NIK dr. Kutor László IEA 7/29 Statisztikára épülő adattömörítés Forrás Kódoló Csatorna Dekódoló Vevő Statisztika Statisztika Előnye: biztosítja a minimális átlagos szóhosszat (minimum redundanciát) Hátránya: a statisztikát is továbbítani kell BMF NIK dr. Kutor László IEA 7/30

16 Minimum redundanciájú kódok 1. Shannon-Fano kód Claude Snannon Bell Lab ~1950 R.M. Fano M.I.T. Az üzenetek (szimbólumok) előfordulási gyakoriságának (valószínűségének) ismeretében létrehozható olyan kód amely egyértelműen dekódolható változó (szó) hosszúságú a kódszavak hossza a kódolt szimbólumok előfordulási valószínűségétől függ Gyakori szimbólum Ritka szimbólum rövid kód hosszú kód BMF NIK dr. Kutor László IEA 7/31 A Shannon-Fano algoritmus 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. A szimbólumok gyakoriság szerinti csökkenő sorrendbe rendezése 3. A lista két részre osztása úgy, hogy a két részben lévő szimbólumok összesített gyakorisága (közel) egyenlő legyen 4. A lista felső részéhez 0 -át, az alsó részéhez 1 -et rendelünk (vagy fordítva) 5. A 3.-ik és 4.-ik eljárást addig ismételjük, amíg a kettéosztott lista mindkét részében csak 1-1 szimbólum található BMF NIK dr. Kutor László IEA 7/32

17 Példa a Shannon Fano algoritmusra Szimbólumok Előfordulások Információ Bitek száma száma tartalom A B C D E A (15) B (7) C (6) D (6) E (5) (22) 0 (17) 1 A (15) B (7) C (6) D (6) E (5) D (6) E (5) 1 A = 00 B = 01 C = 10 D = 110 E = 111 ASCII 39* 8 = 312 Shannon-Fano 89? BMF NIK dr. Kutor László IEA 7/33 Minimum redundanciájú kódok 2. Huffmann kód D.A. Huffmann (1952) 1. Az üzenetekben előforduló szimbólumok előfordulási gyakoriságának meghatározása 2. A szimbólumok gyakoriság szerinti csökkenő sorrendbe rendezése 3. A két legkevésbé gyakori szimbólumot összevonjuk és beírjuk a szimbólumok közé a gyakorisági sorba 4. A 3.-ik pontot addig ismételjük, amíg 2 elemű lesz a lista. Ekkor az egyik elemhez 0 -át a másikhoz 1 -et rendelünk. 5. Visszalépünk az előző összevont szimbólumhoz, és az előbbivel azonos sorrendben a két szimbólumhoz 0 -át és 1 -etrendelünk, mindaddig, míg vissza nem jutunk az egyes szimbólumokhoz BMF NIK dr. Kutor László IEA 7/34

18 Példa a Huffmann algoritmusra Szimbólumok Előfordulások Információ Bitek száma száma tartalom A B C D E A (15) B (7) C (6) D (6) E (5) A (15) DE (11) B (7) 1 1 C (6) 0 0 A (15) BC(13) 1 DE (11) 0 BCDE(24) A (15) 1 0 A = 0 B = 111 C = 110 D = 101 E = 100 ASCII 39* 8 = 312 Huffmann 87? BMF NIK dr. Kutor László IEA 7/35 1/2 példa a Huffmann algoritmusra: Dekódolás Dekódolandó üzenet: Kódtábla: A = 0 B = 111 C = 110 D = 101 E = 100 C Visszafejtett kód: CEDABDAAAC E D A B D AAAC BMF NIK dr. Kutor László IEA 7/36

19 A kódolási példa fa szerkezete BCDE 1 0 DE 1 0 BC D 1 0 E B 1 0 C A gyökér A = 0 B = 111 C = 110 D = 101 E = 100 D E B C A levelek BMF NIK dr. Kutor László IEA 7/37 2. példa a Huffmann algoritmusra: Kódolás Kódolandó szöveg: Semmi nem olyan egyszerű, mint amilyennek látszik 1. A karakterek gyakoriságának meghatározása = 2, S=1, e=6, m=5, i=4, _=6, n=5, o=1, l=3, y=3, a=2, g=1, s=2, z=2, r=1, ű=1,,=1, t=2, k=2 =50 2. Gyakoriság szerinti rendezés 3. A kevésbé gyakori karaktereket kettesével összevonjuk és beírjuk a gyakorisági sorba, ami két elemű lesz a lista 4. A lista elemekhez rendre 0-át és 1-et rendelve létrehozzuk, majd kiolvassuk a kódot e(6) (6) m(5) n(5) i(4) l(3) y(3) (2) a(2) s(2) z(2) t(2) k(2) o(1) r(1) ű(1) g(1),(1) BMF NIK dr. Kutor László IEA 7/38