Információelmélet Szemináriumi gyakorlatok

Információelmélet Szemináriumi gyakorlatok. feladat. Adott az alábbi diszkrét valószínűségi változó: ( ) a b c d X = Számítsuk ki az entróiáját: H(X ) =?. feladat. Adott az alábbi diszkrét valószínűségi változó: ( ) alma körte szilva X = Számítsuk ki az entróiáját: H(X ) =? 3. feladat. Tekintsük a és ( q = 3 4 6 9 = (,..., i,..., j,..., n ),..., i + j,..., ) i + j,..., n eloszlásokat. Mutassuk meg, hogy a eloszlás entróiája nem lehet nagyobb mint a q entróiája. 4. feladat. Bizonyítsuk be, hogyha X és Y független valószínűségi változók, akkor H(X, Y ) = H(X) + H(Y ). feladat. Bizonyítsuk be, hogy H() = log n D( u), ahol H() a entróiáját, u az egyenletes eloszlást az {,,..., n} halmazon, D() edig a Kullbach Leibler-távolság, D( q) = n i= i log i q i

6. feladat. Egy szabályos énzérmét addig dobunk fel, amíg írást nem kaunk. Az X val. változó jelölje a dobások számát. Mennyi X entróiája? 7. feladat. A bajnoki döntő az A és B csaat között addig tart, amíg az egyik meg nem nyer két meccset. Jelölje az X val. vált. a döntő mérkőzéseinek győzteseit (vagyis a lehetséges értékek: AA, ABA, BAA, BB, BAB, ABB), Y edig a lejátszott összes meccsek számát, (azaz értéke vagy 3). Feltéve, hogy a két csaat egyformán teljesít és a meccsek függetlenek, határozzuk meg H(X) és H(Y )-t. 8. feladat. Tekintsük a következő grafikus modellt: Láz P (L) / Hűlés L P (H L) / 7/. Adjuk meg az X és Y diszkrét valószínűségi változók eloszlását.. Írjuk fel az együttes eloszlást. 3. Számítsuk ki a következőket: (a) H(X) (b) H(Y ) (c) I(X; Y ) (d) I(Y ; X) Definíció szerint: H(X) = x X (x) log (x) H(Y X) = x X I(X; Y ) = x X y Y (x, y) log (y x) y Y (x, y) (x, y) log (x)(y) I(X; Y ) = H(X) H(X Y ) = H(Y ) H(Y X) = H(X)+H(Y ) H(X, Y ) 9. feladat. Adott a következő két diszkrét valószínűségi változó: X: egy kétdimenziós (x, y) ont, x független y-tól, x, y [, ] az (, ) közéontú és sugarú kör belsejébe esik

Y : egy kétdimenziós (x, y) ont, x független y-tól, x, y [, ] az (, ) közéontú és 4 sugarú kör belsejébe esik. Határozzuk meg az X és Y eloszlásait.. Rajzoljuk fel az Y X grafikus modellt a megfelelő valószínűségi táblázatokkal (P (Y ) és P (X Y )). 3. Írjuk fel az együttes eloszlásukat. 4. Számítsuk ki a következőket: (a) H(X) (b) H(Y ) (c) I(X; Y ). feladat. Adott két urna: A és B. A három golyót tartalmaz: feketét és fehéret. B is három golyót tartalmaz: feketét és fehéret. Véletlenszerűen kiválasztunk egy urnát és kihúzunk egy golyót. A kihúzott golyó fekete. Mi annak a valószínűsége, hogy az A urnából húztunk?. feladat. Egy urna w darab fehér és b darab fekete golyót tartalmaz. Kétszer húzunk visszatevés nélkül. Mutassuk meg, hogy annak a valószínűsége, hogy az első golyó fehér megegyzik azzal a valószínűséggel, hogy a második golyó fehér.. feladat. Bizonyítsuk be a Jensen-egyenlőtlenséget, amely szerint adott f konvex függvény és X valószínűségi változó esetén E[f(X)] f(e[x]) 3. feladat. Legyen = (,,..., m ) egy valószínűségi eloszlás. Értelmezzünk egy q eloszlást m elem felett a következőkéen: q = (q :=, q :=,..., q m := m + m ). Bizonyítsuk be, hogy ( ) m m H() = H(q) + ( m + m )H, m + m m + m 4. feladat. Legyen X, X,..., X m egy stacionárius (homogén) Markov-lánc. Bizonyítsuk be, hogy H(X,..., X m ) = (m )H(X X ) + H(X ). 3

. ábra. Pletyka a faluban. Mivel homogén Markov-láncról van szó, fennállnak a köv. összefüggések: P (X k = x k X = x,..., X k = x k ) = P (X k = x k X k = x k ) P (X m = x m,..., X = x ) = m (x i x i ) (x ), i= P (X k = a X k = b) = P (X t = a X t = b), k, t, a, b. feladat. Tekintsük az. ábrán szerelő Markov-láncot. Egy faluban egy adott hír szájról szájra terjed és az ábrán szerelő módon változik. Az X valószínűségi változó eloszlása: ( ) I N X = Számítsuk ki a H(X) és H(X X ) entróiákat. 3 6. feladat. Adott egy urna, melyben w fehér és b fekete golyó található. Vegyünk ki k golyót, először visszatevéssel, majd visszatevés nélkül. Melyik esetben lesz nagyobb az entróia? Ha visszatevéses vagy visszatevés nélküli húzásokat végzünk? 7. feladat. Legyen X és X két diszkrét valószínűségi változó, ( ) és ( ) eloszlással X = {,,..., m} és X = {m +,..., n} értékek felett. Legyen továbbá { X, α valószínűséggel, X = X, α valószínűséggel. Határozzuk meg H(X)-et H(X ), H(X ) és α függvényében. 8. feladat (Bináris szimmetrikus csatorna). Bizonyítsuk be, hogy egy bináris szimmetrikus csatorna esetén I(X; Y ) H(), ahol P ( ) = P ( ) =, ezért a csatorna kaacitása C = H() (lásd a. ábrát). 4

- - - - - - - - - (a) (b) (c). ábra. (a) Bináris szimmetrikus csatorna, (b) törléses csatorna és (c) Z- csatorna. 9. feladat. Adott az alábbi ismétléses kód: - Hány hibát tud észlelni? () Miért? Hány hibát tud javítani? () Miért?. feladat. Tekintsük a. ábrát. Adott tehát a három csatorna, ahol a hiba valószínűsége =.. Az X valószínűségi változó eloszlása ( :=.9, :=.). Feltételezzük, hogy a vevő oldalon egy -est kaunk. Mi valószínűsége mindhárom esetben, hogy a küldött szimbólum azonos ezzel?. feladat. Adott az alábbi aritáskód: Hány hibát tud észlelni? () Hány hibát tud javítani? () (Megjegyzés: Kétféle aritásbit létezik: áros és áratlan. Páros =, ha az -esek száma áros, áratlan =, ha az -esek száma áratlan.). feladat. Adott a következő forrás- és kódábécé: X = {a, b, c, d}, Y = {, }, tekintsük továbbá a szimbólumok következő valószínűségeit: (a) =., (b) =., (c) =., (d) =.. Kódoljuk ezt Shannon Fano kódolással. 3. feladat. Adott a következő forrás- és kódábécé: X = {x, y, z, w, q}, Y = {, }, tekintsük továbbá a szimbólumok következő valószínűségeit: (x) =., (y) =., (z) =., (w) =., (q) =.3. Kódoljuk ezt Shannon Fano kódolással.

4. feladat. Határozzuk meg a Huffman-kódot a 3. éldában megadott adatok esetére.. feladat. Adott a következő kód:. Egyértelmű-e az adott kód?. Prefix-e az adott kód? a b c d e 3. Egészítsük ki a kódszavakat minimális számú -val és -essel úgy, hogy refix kódot kajunk (kiegészítés = a kódszavak végéhez való ragasztás). 6. feladat. Adjunk éldát egyértelműen dekódolható kódra, amely nem refix kód. Indokoljuk meg a választ. 7. feladat. Adott a következő forrás és kódábécé: X = {a, b, c, d, e}, Y = {, }, adottak továbbá a következő valószínűségek: (a) =.3, (b) =.4, (c) =., (d) =., (e) =.. Kódoljuk az abeced üzenetet aritmetikai kódolással, majd dekódoljuk azt. 8. feladat. Adott a következő üzenet: ababbc. Éítsünk adatív Huffman-kódolót. 9. feladat. Adott a következő üzenet: balalajka. Kódoljuk az LZ77, LZ78 és LZW algoritmusokkal (h k =, h e = 3). 3. feladat. Tekintsük a következő két kódszóhalmazt: C = {,,, }, C = {,,, }.. C refix kód?. C refix kód? 3. C egyértelműen dekódolható? 4. C egyértelműen dekódolható? Indokoljuk meg a válaszainkat. 6

3. feladat. Adott a következő kód:. Határozzuk meg a G generátor- és H aritásmátrixokat.. Lineáris-e a kód? 3. Szisztematikus-e a kód/generátormátrix? 4. Mennyi a d min és a w min?. Éítsük meg a standard elrendezési táblázatot a szindróma dekódoláshoz. 6. A táblázat alaján dekódoljuk szindróma dekódolással a következő kódszavakat: és. és. 3. feladat. Adott a következő kód:. Határozzuk meg a G generátor- és H aritásmátrixokat.. Lineáris-e a kód? 3. Szisztematikus-e a kód/generátormátrix? 4. Mennyi a d min és a w min?. Éítsük meg a standard elrendezési táblázatot a szindróma dekódoláshoz. 6. A táblázat alaján dekódoljuk szindróma dekódolással a következő kódszavakat: és. 33. feladat. Adott a következő kód: 7

. Határozzuk meg a G generátor- és H aritásmátrixokat.. Lineáris-e a kód? 3. Szisztematikus-e a kód/generátormátrix? 4. Mennyi a d min és a w min?. Éítsük meg a standard elrendezési táblázatot a szindróma dekódoláshoz. 6. A táblázat alaján dekódoljuk szindróma dekódolással a következő kódszavakat:,. 34. feladat (Reed Solomon-kódolás). Legyen a véges test GF (7), azaz Q = {,,, 3, 4,, 6} a modulo + és aritmetikával. Válasszuk az n = 6 kódszóhosszt. Mivel n k = kell legyen ( hibát javító kódot akarunk), ezért k = 4. Válasszuk továbbá az a elemet úgy, hogy az elem rendje egyenlő legyen a kód hosszával, vagyis legyen a = 3, mivel ekkor a 6 =.. Határozzuk meg a G és H mátrixokat.. Teszteljük az (,,, 4, 6, ) (,,, ) üzenethez tartozó kódszót. 3. Legyen a vett kódszó v = (,, 6, 4, 6, ). Határozzuk meg a hiba értékét és ozícióját, majd keressük meg a helyes kódszót. 3. feladat (Ismétléses kód). Legyen a véges test GF ( ), azaz Q = {,,, 3} a modulo + és aritmetikával. Válasszuk az n = 3 kódszóhosszt. Mivel n k = kell legyen ( hibát javító kódot akarunk), ezért k =. Válasszuk továbbá az a elemet úgy, hogy az elem rendje egyenlő legyen a kód hosszával.. Határozzuk meg a + és táblázatokat. Használjuk az x +x+ irreducíbilis olinomot.. Határozzuk meg a G és H mátrixokat. 3. Teszteljük a (3, 3, 3) kódszót (az üzenet 3). 4. Legyen a vett kódszó v = (3,, 3). Határozzuk meg a hiba értékét és ozícióját, majd keressük meg a helyes kódszót. 36. feladat. Adott a következő kód: 8

. Határozzuk meg a G generátor- és H aritásmátrixokat.. Lineáris-e a kód? 3. Szisztematikus-e a kód/generátormátrix? 4. Mennyi a d min és a w min?. Éítsük meg a standard elrendezési táblázatot a szindróma dekódoláshoz. 6. A táblázat alaján dekódoljuk szindróma dekódolással a következő kódszavakat:,. 37. feladat. Adott a következő, (, 3) araméterű, GF (4) felett értelmezett generátormátrixa: G = 3. H =?. Ha (? 3?) a vett, akkor mi volt a küldött kódszó? 3. Melyek a kód bináris kódszavai? 4. Igazoljuk, hogy ezek lineáris részkódot alkotnak.. Adjuk meg ezek generátormátrixát. 38. feladat. Adott az alábbi generátormátrix: G =. Adjuk meg egy ekvivalens szisztematikus generátor- és aritásmátrixát.. A duális kód kódszavait. (Duális kódnak nevezzük a aritásmátrix generátormátrixként való alkalmazása által kaott kódot.) 39. feladat. Adott a 3. ábrán látható 7-szintű kvantáló és a következő sorozat: 6., 4.3,,,,.,.. Kvantáljuk a sorozatot. egyszerűen a kvantáló szerint. naiv különbségi kódolással 9

Q(x) -6-4 - 6 4 - -4-6 4 6 x Q(x) 3. ábra. Kvantáló a 39. éldához. x 8 y 6 x 3. rediktív különbségi kódolással, 7 n = ˆx n 4. rediktív kódolással, n = ˆx n + ˆx n. rediktív kódolással, n = (ˆx n + ˆx x 3 n )/ y y y 3 6 /3 4 /3 /3 - - 3 Q(x) 6. rediktív kódolással, n = (ˆx n + ˆx n )/3 x 6 x y 4 A kódolás után dekódoljuk a sorozatot, azaz adjuk meg a visszaállított értékeket. 4 Adjuk meg a hibák értékét is. x 4 x x - /3-4 /3 Q(x) -6 /3 y y 6 y 7 6 x x -3 - - / 3 7 / / 3 / 4 - / 3-3 / - / -7 / 6 7 8 x 4. ábra. Kvantáló a 4. éldához. 4. feladat. Adott a 4. ábrán látható 8-szintű Jayant-kvantáló. Az intervallumokhoz rendelt szorzótényezők legyenek M = M 8 =., M = M 7 =, M 3 = M 6 =.8, M 4 = M =.6, a kezdeti léésköz edig =.. Kvantáljuk a.,.3,.7,.,.,.,.3,. sorozatot.

6 /3 4 /3 /3 - - Q(x) 4 6 3 - /3-4 /3-6 /3 x. ábra. Kvantáló a 4. éldához. 4. feladat. Adott a. ábrán látható 6-szintű Jayant-kvantáló. Az intervallumokhoz rendelt szorzótényezők legyenek M = M 6 =.3, M = M =, M 3 = M 4 =.7, a kezdeti léésköz edig =.. Kvantáljuk a.,.3,.7,.,.,.,.3,. sorozatot. 4. feladat (Bináris lineáris D aritáskód). Az üzenetet D mátrixba helyezzük feltételezzük, hogy az üzenetre igaz, hogy u = m n, vagyis a hossza felírható két szám szorzataként. Minden sorra és oszlora kiszámoljuk a aritásbiteket, azaz a megfelelő elemek összegét. A jobb alsó sarokba a aritásbitek aritását írjuk.. Igazoljuk, hogy a jobb alsó sarokba mindegy, hogy az oszlook aritásbitjeinek vagy a sorok aritásbitjeinek aritását írjuk.. Mennyi a d min? 43. feladat. Adjuk meg a G = ( ) generátormátrixú GF (4) feletti kód szindróma dekódolási táblázatát. 44. feladat. Adott a következő forrás és kódábécé: X = {a, b, c}, Y = {, }, adottak továbbá a következő valószínűségek: (a) =., (b) =.4, (c) =.3. Kódoljuk a cbba üzenetet:. Shannon Fano-kódolással,. Huffman-kódolással, 3. aritmetikai kódolással, majd dekódoljuk azt.

4. feladat. Adott a következő üzenet: babca. Éítsünk adatív Huffman-kódolót. 46. feladat. Adott a következő üzenet: kaitalista. Kódoljuk az LZ77, LZ78 és LZW algoritmusokkal (h k =, h e = 3).