Iformácós redszerek elmélet alaja Iformácóelmélet
A forrás kódolása csatora jelekké 6.4.5. Molár Bált Beczúr Adrás NMMMNNMNfffyyxxfNNNNxxMNN verzazazthatóvsszaálímdeveszteségcsaakkorfüggvéykódolásaakódsorozat:eredméyekódolássorozatváltozó:forás
A forrás kódolása csatora jelekké 6.4.5. Molár Bált Beczúr Adrás 3 t.etróájámaxmálscsatoraameghaladhatjaemetróájaforásműködődegtksebb.etróaazezértészlelhetőemezkmeetécsatoraaálaotalusszegymégvakautomatáakódolóaakkorkódoluk(vda)lautomatávasztkusdetzermvégesamaxmáls.aetróasesetbeazebbekmeetécsatoraa:értéksmertembelsőlyekorálaotaautomataaz:maxmálsaesetéeloszlásegyeletesetróájaeloszlásegyeletesazojelsorozataezemeg.jelekjelsorozatkmeetécsatoraaakkormegydegmdeaesetbeetesveszteségmebből TCfxxyyxxfCTTNlogTNlogTTlmCCTTNTNNNNxxMNNMNMNNCTMN
A zajmetes csatora alatételéek bzoyítása Az alatétel bzoyítása: Forrás: bt/szmbólum etróa V szmbólum/sec sebesség Csatora: C bt/sec Tétel: a) Nem lehet a forrást C/-ál agyobb sebességgel működtet hogy a csatorá mde veszteségmetese átvhető legye. b) Tetszőleges δ>-hoz létezk kódolás hogy C/δ működtetve a forrást mde veszteségmetese átvhető legye. 6.4.5. Molár Bált Beczúr Adrás 4
A zajmetes csatora alatételéek bzoyítása Legye a sebesség V T TV a dő alatt -ρtv ρ A csatora jelek TV Tehát -ρ T C -ρ T C TV a forrás etróa : közé esk. száma : C C V -ρ C T C A csatora kmeeté az etróa legfeljebb T amből N T bztos veszteséges T C lehet. 6.4.5. Molár Bált Beczúr Adrás 5
A zajmetes csatora alatételéek bzoyítása b) A N hosszú üzeethez mey az átlagos átvtel dő Kétféle hosszúságú kód lesz: tkus sorozatokra rövdebb a léyegtelere hosszabb (Függetle azoos eloszlás!) <A ks görög betűk tetszőlegese kcs meységeket jeleteek N T elég agy számokat> 6.4.5. Molár Bált Beczúr Adrás 6
A zajmetes csatora alatételéek bzoyítása A N hosszú sorozatok jellemzése szert 6.4.5. Molár Bált Beczúr Adrás 7 C N C N T T N C T N log N számajelekátvhetőazkódolássalcsatoráa(kódhossz)dő:hez-()dőbekódhosszszámaaelemeekégűvalószíűslegfeljebb:halmazléyegtele()számaaelemeekégűvalószíűsagyobbál--halmaztkusa()n
A zajmetes csatora alatételéek bzoyítása () - höz egy secáls T (hosszú jellel kódoljuk a em tkus üzeeteket) T log log T N N C C Az átvtel dő várható értéke T T T amből log N N C C egy szmbólumr a jutó dő : hosszú kód majd T log C C A másod ercekét szmbólumo k száma eek V C C N log C. Q.E.D. / : N dő a recroka 6.4.5. Molár Bált Beczúr Adrás 8
Nevezetes kódolások 6.4.5. Molár Bált Beczúr Adrás 9. l. l l j x x x abc x x P j e kódolásratóvertálhayekövetkezméalatétel-csatoraak.jelemezzüértékévelvárhatókódhosszajóságátkódolásahosszaazhaek-(refxe)tekezdőszeleem)(kódfa!kódolásmetes-refx:feltételelégségeslegye.thatóvsszaálíkódbólazkódolástóivertálhakódjaszavakkalbársvégest-azkódoljukeloszlás.aadot:feladatkódolás
Nevezetes kódolások bajavító kódok ammg Ttkosítás RSA elltkus uffma kód tömörítés jelleg Előre meg kell határoz hogy mt mvel kódoluk Ajövőbe véletle eloszlás szert érkezek a szmbólumok 6.4.5. Molár Bált Beczúr Adrás
Nevezetes kódolások x x lehetséges szmbólumok Bárs kód : x Feladat vsszafejthetőség x x szmbólumok eloszlása - Kódhossz várható értéke : bárs kód. ebből az eredet sorozat vsszaállítható legye Prefx metes kód garatálja a vsszafejthetőséget j l l x x em kezdőszelete - ek. véges teljes kódredszer (Kraft egyelőtleség: végtele kódredszer) l - kód hossza. valószíűségekkel j l 6.4.5. Molár Bált Beczúr Adrás
Nevezetes kódolások 6.4.5. Molár Bált Beczúr Adrás az etróát tudjuk megközelíte veszteséggel bt refx - metes kódolás am : lemma matt szummácós eloszlásra a logartmkus ;. l q log... q log log ; log q log q re q a b alog a b log a q. l :... l Állítás Tétel
Nevezetes kódolások Nevezetes kódok : Shao - Fao kód : Feltesszük :. Legye Q megadása : fejtsük k hosszba amre Q j j bársa a Q t olya l -l Ebből l l log legye l 6.4.5. Molár Bált Beczúr Adrás 3
Nevezetes kódolások A Kódhossz várható értéke : l log log Bzoyítadó a refx metesség : A kódszavak mt bárs törtek foghatók fel mooto övekvő értékek - hosszuk s mooto övekszk - Egy kódszó csak a agyobb dexű refxe lehet de akkor már a rákövetkezőek s refxe hsze az kevesebbel őtt értékbe mt a több rákövetkező 6.4.5. Molár Bált Beczúr Adrás 4
Nevezetes kódolások Elég és ω hossza l Tehát hez utolsó értékes ezért az első l első értékes véges Q l - re bzoyítahogy és olya hogy Q jegye vagys hosszú btbe jegyéél btje ée agyobb s lesz változás. em refxe ω az l dadkus tört a végéről a értéket dk aduk sok - t - ek. elhagyjuk 6.4.5. Molár Bált Beczúr Adrás 5
Nevezetes kódolások Szmbólumok gyakorság szert csökkeő sorredbe való redezése Lsta két részre osztása úgy hogy a két részbe a szmbólumok gyakorságáak összege közel egyelő legye (- kód hozzáredelése) A felezés addg tart amíg csak egy szmbólum marad az tervallumba 6.4.5. Molár Bált Beczúr Adrás 6
szemléltetés Q Q Q 3 /4 / 3/4 Q Jobbra bt Balra bt Q -k az tervallumok kezdőotja Addg felezük amíg az tervallumba csak egy Q marad átráya redez kell az eloszlásokat Kódfa éíthető (refx kód) gyakrabba szerelő elemek kódja rövdebb
Shao kód élda
Matematka ktérő A valószíűségszámítás alafogalmaról k m Dadkus törtek: a k ahol a a k m bárs alakú m j a j racoáls m akkor k m j m m k ábrázoláss al számok. m a tehát mk m mde dadkus tört felírható és között felírható egy véges" bárs" rerezetá cóval a végé végtele sok zéróval kegészítv e. Megfordítv a mde és között szám véges j k a dadkus j j.a m tört. k N a 6.4.5. Molár Bált Beczúr Adrás 9 tehát