Zárthelyi dolgozat feladatainak megoldása õsz

Átírás

1 Zárthelyi dolgozat feladatainak megoldása õsz 1. Feladat 1. Milyen egységeket rendelhetünk az egyedi információhoz? Mekkora az átváltás közöttük? Ha 10-es alapú logaritmussal számolunk, a mértékegység hartley. Ha 2-es alapú logaritmussal számolunk, a mértékegység bit. Ha természetes (e) alapú logaritmussal számolunk, a mértékegység nat. A legfontosabb váltószám e mértékegységek között: 1 bit = 3,322 hartley. További váltószámok: 2. bit nat hartley bit 1 0,693 0,301 nat 1, ,434 hartley 3,322 2,303 1 Egy kéteseményes eseményrendszer entrópiájának maximuma van, amikor az egyik esemény valószínûsége: p 1 = A másik esemény valószínûsége pedig: p 2 = Az entrópia maximumának értéke ekkor: H max = 1 bit / szimbólum Mi a jelforrás hatásfoka, és mi a redundancia? Mi köze ezeknek a relevanciához? Hatásfok: e = H(x) / H max, azaz a forrásentrópia és annak lehetséges maximumának aránya Redundancia: R = 1 - e, azaz a forrás által kibocsájtott többletinformáció Relevancia: az információ szubjektív fontossága valamely szemlélõ számára. Nincs köze a hatásfokhoz és a redundanciához. Sorolja fel az entrópia függvény négy alapvetõ tulajdonságát. a. Minden változójában folytonos - a változókban bekövetkezõ kis változás a függvény értékének kis mértékû változását okozza. b. c. d. Szimmetrikus - a független változók tetszõlegesen felcserélhetõk, a függvény értéke nem függ azok sorrendjétõl. Additív - a függvény érték nem függ a független változók csoportosításától Szélsõérték - a függvénynek maximuma van, ha az egyes esemény ek valószínûségei valamennyien megegyeznek. Fogalmazza meg saját szavaival, hogy illesztõ kódolásnál mit jelent a kódolási arány! 6. A kódolási arány azt fejezi ki, hogy az egyes szimbólumok hoz rendelt - illesztõ -kód mennyire "rontotta el" az eredeti szimbólumok információ hordozõ képességét. Az átlagos szóhossz és a bit/szimbólumban kifejezett forrásentrópia hányadosa. Szokás a kódolás hatásfokának is nevezni. Az alapelvek tekintetében miben különbözik a Shanonn-Fano féle illesztõ kódolás a Huffmann-féle illesztõ kódolástól. A Shannon-Fano féle kódolás esetében az alapelvekbõl következik, hogy valamennyi szóhoz különbözõ hosszúságú kódot rendel, míg a Huffmann féle kódolás esetében alapelv, hogy a két legritkábban elõforduló szóhoz ugyanolyan hosszúságó kódot kell rendelni. 1 of :56

2 7. Van-e a Huffmann féle kódolásnak tömörítési tulajdonsága? (Feltétlenül indokolja és jellemezze!) 2. Feladat Igen, van tömörítési tulajdonsága. A Huffmann kód ugyanis a szóhosszúság tekintetében optimális kódot állít elõ, azaz bármely más kódolási stratégiáva l összevetve megállapíthatju, hogy az azzal elõállítható átlagos szóhossz legfeljebb olyan rövid, mint a Huffmann kódolással kapott átlagos szóhossz. Ebbõl következik, hogy a Huffmann kódolás bármely más kódoláshoz képest nem kevésbé "tömör" - általában tömörebb - kódot állít elõ, azaz tömörít. Rajzolja le egy kéteseményes eseményrendszer entrópia függvényét az egyik esemény valószínûségének függvényében. 3. feladat 1. Egy diszkrét információforrás hatelemû ábécéjének betûgyakoriságai a következõk: Betû Gyakoriság Valószínûség Egyedi információ A 53 C 80 D 97 E 81 Töltse ki a táblázat hiányzó oszlopait, azaz számítsa ki az egyes szimbólumok elõfordulási valószínûségeit, és a hozzájuk tartozó egyedi információ értékét. Számítsa ki a forrás entrópiát, a forrás hatásfokát és redundanciáját. (A számításokat legalább három tizedesjegy pontossággal végezze!) Valószínûség = Egyedi gyakoriság / szumma gyakoriság Egyedi információ = -log p i Betû Gyakoriság Valószínuség Egyedi információ A 53 0,141 0,850 Hartley 2,823 bit 0,067 1,176 Hartley 3,907 bit C 80 0,213 0,671 Hartley 2,229 bit D 97 0,259 0,587 Hartley 1,951 bit E 81 0,216 0,666 Hartley 2,211 bit 0,104 0,983 Hartley 3,265 bit 2 of :56

3 H(x) = - p i * log p i = 0,740 Hartley/betû = 2,457 bit/betû H max = log n = 0,778 Hartley/betû = 2,585 bit/betû e = H(x) / H max = 95,037 % R = 1-e = 4,963 % A kerekítésbõl származóan elképzelhetõk eltérések - pl. valaki 3 tizedesjegynél pontosabban pontosabban számolt, vagy kerekítés helyett csonkította az eredményt. Ez nem hiba. Az egy százalék potosságon belüli eredményeket elfogadtam. Szerkesszen ehhez a forráshoz Huffmann féle illesztõ kódot. (Ti.: a Huffmann fát és a kódkiosztást táblázatosan) A fa generálálásának lépései: a.) F és B összevonása D E C A b.) Újrarendezés - [F,B] és A megcserélése. [F,B] és A összevonása. D E C A c.) Újrarendezés - [F,B, A] legfelülre kerül. C és E összevonása A D E C d.) Újrarendezés - [E,C] legfelülre kerül. [F,B,A] és D összevonása. E C A D e.) Újrarendezés - [F,B,A,D] legfelülre kerül. 3 of :56

4 A D E C f.) A kód kiosztása a generált táblázat alapján: F B A 001 D 01 E 10 C A táblázat alapján még egy kódkiosztást létre lehet hozni: ebben a '0' és '1' bitek szerepe felcserélõdik, azaz minden egyes kódszó a fenti táblázatban szereplõ megfelelõ kódszó negáltja. A dolgozatokban mindkét kódkiosztást helyesnek fogadtam el - de csakis ezeket! Határozza meg az illesztõ kód entrópiáját, hatásfokát és redundanciáját, valamint a kódolási arányt. A számításokat legalább három tizedesjegy pontossággal végezze. a.) A kódolási arány kiszámításához 2. pontban generált kód alapján meg kell határoznunk meg az egyes kódszavak hosszát és elõfordulási gyakoriságukat vagy valószínûségüket. Emellett az illesztõ kód karakterisztikájának meghatározásához szükségünk lesz az egyes kódszavak által tartalmazott '0' és '1' bitek számára is. Szükségünk lesz tehát az alábbi táblázatra: Betû Gyakoriság Valószínuség Kód Szóhossz 0 bitek 1 bitek A 53 0, bit 2 1 0, bit 3 1 C 80 0, bit 0 2 D 97 0, bit 1 1 E 81 0, bit 1 1 0, bit 4 0 Átlagos szóhossz: L = 2,483 bit/betû Kódolási arány: H(x) / L = 2,457 / 2,483 = 98,953 % 0 bitek elõfordulási aránya: 55,317% 0 bitek által hordozott információ: I 0 = 0,854 bit 1 bitek elõfordulási aránya: 44,683% 1 bitek által hordozott információ: I 1 = 1,162 bit Az illesztõ kódolás entrópiája: H ill = 0,55317*0, ,44683*1,162 = 0,992 bit / számjegy A kód lehetséges entrópiájának maximuma: H max = 1 bit/számjegy (mint az közismert) A kód hatásfoka: e = 99,2% A kód redundanciája: R = 1-e= 0,8% [Tóth Gergely] 4 of :56

5 Kódelmélet vizsga: 1. Felbontható-e a következõ kód? Indokold! {10,11,011,010,001} 2. Adj prefix kódot az ismert algoritmus szerint: {0.5;0.25;0.125;0.125} 3. Egészítsd ki lineáris kóddá: {1001,1100} 4. Adj kódot, mely nem prefix, de felbontható 5. Adj hibajavító kódot, mely 2 hibát javít 10 biten! 6. Adj ekvivalens prefix kódot a következõ kódhoz: {01,011,0111}. A tanult algoritmust használd! 7. Adj optimális kódot, ha a valószínûségek: {0.5;0.25;0.125;0.125}. A Huffman algoritmust használd! 8. Adj kódot az egyszerûsített Shannon-Fano kódra, ha a valószínûségek {0.51;0.25;0.124;0.125} 9. Add meg egy generátor mátrixát a következõ lineáris kódnak: {1000,0001,1001,0000} 10. Mekkora minimum a következõ valószínûségekhez tartozó kód költsége?: {0.51;0.25;0.124;0.125}

6 Zárthelyi dolgozat feladatainak megoldása október 1. feladat - Fogalmak és definíciók - 20 pont Válaszoljon röviden az alábbi kérdésekre: a. Mit jelent az diszkrét véges valószínûségi modell? Mikor alkalmazható? Léteznek-e ezen kívül más forrásmodellek is? (Indokolja.) (2 pont) Diszkrét, véges valószínûségi modellben a lehetséges események száma véges, és a rendszer mûködését diszkrét pillanatokban vizsgáljuk. Ráadásul kikötöttük, hogy az egyes események egymástól függetlenül következnek be. Igen, léteznek más forrásmodellek is. Például tekinthetünk egy olyan információ forrást, amely folytonosan bocsájt ki magából "szimbólumokat", vagy olyat, ahol az egyes események nem függetlenek egymástól. Utóbbira jó példa például a képek tömörítésénél használt modell, amikor a szomszédos képpontok színe nem független egymástól. b. Mikor teljes egy eseményrendszer? (2 pont) Egy eseményrendszer teljes, ha az egyes elemi események bekövetkezési valószínûségeinek összege 1. Más szóval, ha az az esemény, hogy a felsorolt események valamelyike bekövetkezik, a biztos esemény. Más szóval, ha nincs olyan nem nulla valószínûségû esemény, amelyet az eseményrendszer megadásakor nem vettünnk figyelembe. c. Mi a Shannon-féle egyedi információ definíciója (képlettel), mi a mértéke és hogyan függenek össze a különbözõ egységei? (2 pont) Ha 10-es alapú logaritmussal számolunk, a mértékegység hartley. Ha 2-es alapú logaritmussal számolunk, a mértékegység bit. Ha természetes (e) alapú logaritmussal számolunk, a mértékegység nat. A legfontosabb váltószám e mértékegységek között: 1 bit = 3,322 hartley. d. Mi a jelforrás hatásfoka, és mi a redundancia? (2 pont) 1 of :16

7 Hatásfok: a tényleges entrópia és lehetséges maximumának viszonya: A "többletinformáció" - vagyis a lehetséges maximum eléréséhez szükséges információ - és az entrópia lehetséges maximumának arányát nevezzük relatív redundanciának. e. Sorolja fel az entrópiafüggvény négy alapvetõ tulajdonságát! (8 pont) i. ii. iii. iv. Minden változójában folytonos - a változókban bekövetkezõ kis változás a függvény értékének kis mértékû változását okozza. Szimmetrikus - a független változók tetszõlegesen felcserélhetõk, a függvény értéke nem függ azok sorrendjétõl. Additív - újabb független változók - események - bevezetésével az entrópia nem csökken Szélsõérték - a függvénynek maximuma van, ha az egyes esemény ek valószínûségei valamennyien megegyeznek. f. Fogalmazza meg saját szavaival, hogy illesztõ kódolásnál mit jelent a kódolási arány! (2 pont) A kódolási arány azt fejezi ki, hogy az egyes szimbólumokhoz rendelt - illesztõ - kód mennyire "rontotta el" az eredeti szimbólumok információ hordozõ képességét. Az átlagos szóhossz és a bit/szimbólumban kifejezett forrásentrópia hányadosa. Szokás a kódolás hatásfokának is nevezni. g. Melyek a Shannon-Fano féle illesztõ kódolás alapelvei? Miben különböznek ettõl a Huffman-féle illesztõ kódolás elvei? (2 pont) A Shannon-Fano kódolás két alapelve: 1. A forrásszimbólumokhoz változó hosszúságú (bináris) kódszavakat rendel, méghozzá a gyakoriságok függvényében (Gyakoribb szimbólumhoz rövidebb kódszó tartozik) 2. A kódnak irreducibilisnak (azaz egyértelmuen megfejthetonek, szeparábilisnak) kell lennie akkor is, ha a kódszavakat semmilyen megkülönbözteto jel nem választja el egymástól. Az irreducibilitás feltétele, hogy egyik kódszó se forduljon elõ más kódszó kezdeteként. A Huffmann kódolás még egy alapelvvel egészül ki:. 3. A két legkisebb gyakoriságú forrásszimbólumhoz azonos hosszúságú kódszavakat kell hozzárendelni 2. Feladat - Számítási példa - 30 pont Egy diszkrét információforrás ötelemû forrásábécével rendelkezik és a forrásábécé egyes 2 of :16

8 betûihez rendelt valószínûségek a következõk: p A = 10%; p B = 15%; p C = 20%; p D = 25% és p E = 30% a. Állapítsa meg, hogy teljes-e ez az eseményrendszer. (Indokolja is!) (5 pont) 10% + 15% + 20% + 25% + 30% = 100% tehát az eseményrendszer teljes b. Számítsa ki a forrás karakterisztikáját, azaz a forrásentrópia értékét, a forrás hatásfokát és a redundanciát! (20 pont) p i I i = -log 10 p i I i = -log 2 p i A 10% 1,0000 hartley 3,3219 bit B 15% 0,8239 hartley 2,7370 bit C 20% 0,6990 hartley 2,3219 bit D 25% 0,6021 hartley 2,0000 bit E 30% 0,5229 hartley 1,7370 bit H(x) = 0,6708 hartley/szimb H max = 0,6990 hartley/szimb e = 95,96% R = 4,04% 2,2282 bit/szimb 2,3219 bit/szimb A dolgozatban akár a hartley-ben, akár a bitben kiszámított eredményt elfogadom: nem volt kötelezõ mindkettõben kiszámolni. A kerekítésbõl származóan elképzelhetõk eltérések - pl. valaki 4 tizedesjegynél pontosabban pontosabban számolt, vagy kerekítés helyett csonkította az eredményt. Ez nem hiba. Az egy százalék potosságon belüli eredményeket elfogadtam. c. Hogyan változnak meg ezek a számított értékek akkor, ha az A esemény és a D esemény valószínûségeit felcseréli? (Indokolja is szóban.) (5 pont) Mivel az entrópia függvény szimmetrikus, az eredményt nem befolyásolja a változók sorrendje. Tehát az A és D események felcserésélével az entrópia értéke és az abból számított többi érték (hatásfok, redundancia) változatlan marad. 3. Feladat - Számítási példa - 50 pont a. Egy diszkrét információforrás ötelemû ábécéjének betûgyakoriságai a következõk: Betû Gyakoriság Számítsa ki a forrás karakterisztikáját, azaz a forrásentrópia értékét, a forrás hatásfokát és a redundanciát! (20 pont) 3 of :16

9 Az egyedi valószínûségek kiszámításához a Valószínûség = Egyedi gyakoriság / szumma gyakoriság formulát kell használnunk BetûGyakoriság p i I i = -log 10 p i I i = -log 2 p i 0,20 0,6990 hartley 2,3219 bit 0,35 0,4559 hartley 1,5146 bit 0,10 1,0000 hartley 3,3219 bit 0,30 0,5229 hartley 1,7370 bit 0,05 1,3010 hartley 4,3219 bit 300 H(x) = 0,6213 hartley/szimb H max = 0,6990 hartley/szimb e = 88,89% R = 11,11% 2,0639 bit/szimb 2,3219 bit/szimb A részfeladat megoldását akár hartley-ban, akár bitben kifejezve elfogadom. Viszont felhívom a figyelmet, hogy a (c) részfeladatban a kódolási arány számításához az entrópia értékét mindenképpen át kell váltani bitbe! A kerekítésbõl származóan elképzelhetõk eltérések - pl. valaki 4 tizedesjegynél pontosabban pontosabban számolt, vagy kerekítés helyett csonkította az eredményt. Ez nem hiba. Az egy százalék potosságon belüli eredményeket elfogadtam. b. Szerkesszen ehhez a forráshoz Huffman féle illesztõ kódot - azaz adja meg a Huffman fát és a kódkiosztást. (20 pont) A fa generálálásának lépései: 1. Rendezzük a szimbólumokat gyakoriságuk szerint csökkenõ sorrendbe: 2. Vonjuk össze az utolsó két szimbólumot (C-t és E-t), majd a következõ két legisebb értéket (A-t és CE-t)! Rendezzük a táblát a jobb oldali oszlop értékei szerint csökkenõ sorrendbe, majd vonjuk össze a két legkisebb elemet! A rendezésnél teljesen mindegy, hogy a két azonos értékû elem (B és ACE) közül melyiket vesszük elõbbre. Így viszont két lehetséges fát kapunk, amelyek mindegyikét elfogadtam helyes megoldásnak! 4 of :16

10 1. változat: változat: Végül illik még egyszer rendezni a táblázatot: 1. változat: változat: A táblázatok alapján a kódkiosztás: 1. változat: A 0 C E 1 D 1 B változat: B 0 D 1 A 0 C 0 E A : 000 B : 1 C : 0010 D : 01 E : 0011 A : 10 B : 00 C : 110 D : 01 E : 111 c. Határozza meg az illesztõ kódolás hatásfokát, valamint a kód kiegyenlítettségét! (10 pont) Az átlagos kódszóhosszúság az egyes esetekben az alábbiak szerint alakul: L = 0,2*3 + 0,35*1 + 0,1*4 + 0,3*2 + 0,05*4 = 2,15 bit/kódszó L = 0,2*2 + 0,35*2 + 0,1*3 + 0,3*2 + 0,05*3 = 2,15 bit/kódszó Látható, hogy mindkét kódra ugyanaz az átlagos kódszó hosszúság, ezért mindketten lehetnek optimális kódszóhosszúságú kódok A kódolás hatásfoka: e kód = H(x)/L = 2,0639 / 2,1500 = 95,99% A kód kiegyenlítettsége: Betû p i kódszó 0 bitek 1 bitek Betû pi kódszó 0 bitek 1 bitek A 0, A 0, B 0, B 0, C 0, C 0, D 0, D 0, E 0, E 0, of :16

11 1,3 0,85 1,4 0,75 Innen a 0 és 1 bitek relatív gyakoriságára adódik: Innen a 0 és 1 bitek relatív gyakoriságára adódik: p 0 = 1,3 / (1,3+0,85) = 60,47% p 1 = 0,85 / (1,3+0,85) = 39,53 % Az egyes bitek által hordozott egyedi információ: I 0 = 0,7258 bit I 1 = 1,3388 bit p 0 = 1,4 / (1,4+0,75) = 65,12% p 1 = 0,75 / (1,4+0,75) = 34,88 % Az egyes bitek által hordozott egyedi információ: I 0 = 0,6189 bit I 1 = 1,5194 bit Az illesztõ kódolás entrópiája: H ill = 0,6047*0,7258Az illesztõ kódolás entrópiája: H ill = 0,6512*0, ,3953*1,3388 = 0,9682 bit / számjegy + 0,3488*1,5194 = 0,9330 bit / számjegy A kód lehetséges entrópiájának maximuma: H max A kód lehetséges entrópiájának maximuma: H max = 1 bit/számjegy = 1 bit/számjegy (mint az közismert) (mint az közismert) A kód hatásfoka: e = 96,82% A kód redundanciája: R = 1-e= 3,18% A kód hatásfoka: e = 93,30% A kód redundanciája: R = 1-e= 6,70% [Tóth Gergely] 6 of :16