Informácós rendszerek elmélet alaja Informácóelmélet
Irodalom Irodalomjegyzék. J. Aczél, Z. Daróczy. On Measures of Informaton and Ther Characterzaton. Academc Press, New York. 975.. R. B. Ash. Informaton Theory. Interscence, New York. 965. 3. J. Berstel, D. Perrn. Theory of Codes. Academc Press, New York. 00. 4. G. Brkhoff, T.C. Bartee. A modern algebra a számítógétudományban. Műszak Könyvkadó, Budaest. 964. 5. T. M. Cover, J.A. Thomas. Elements of nformaton theory. Wley, New York. 99. 6. Csszár I., Frtz József. Informácóelmélet. Tankönyvkadó, Budaest. 980. 7. C. E. Shannon, W.Weaver. A kommunkácó matematka elmélete. OMIKK, Budaest. 986. 8. Györf László, Győr Sándor, Vajda István: Informácóelmélet és kódelmélet, Tyotex, 000 9. Lnder Tamás, Lugos Gábor: Bevezetés az nformácóelméletbe, Tankönyvkadó 990 07.0.9. Molnár Bálnt, Benczúr András
Az nformácóelmélet kezdete 07.0.9. Molnár Bálnt, Benczúr András 3
Informácólemélet alaja. Kommunkácó. Informácós rendszerek vlága. Véletlen jelenségekre éít. Shannon féle entróa. Jövőre vonatkozk 3. Kolmogorov entróa. Számításelméletre éül, múltra vonatkozk. Kommunkácó lényege ember elmék (tudatok) kölcsönhatása. 07.0.9. Molnár Bálnt, Benczúr András 4
Shannon hírközlés modellje nformácófor rás adó csatorna vevő rendeltet és hely zajforrás Címzett 07.0.9. Molnár Bálnt, Benczúr András 5
Shannon hírközlés modellje A hírközlés során egy üzenetet juttatunk el egy tér és dőbel ontból egy máskba. forrás/adó b c y z Kódoló/ adó csatorna zaj Dekódoló/ vevő vevő/nyelő tényleges forrás a mntavételezés kvantálás forráskódolás b Lehet folytonos jel A forrás jelét dszkrét jellé alakítja át és tömörít 07.0.9. Molnár Bálnt, Benczúr András 6
Shanon kommunkácós modellje W. Weaver : A kommunkácó felölel mndazokat az eljárásokat, amelyekkel az egyk ember elme a máskra hatn kées forrás/adó (Tudat) kódoló b c y z Adó csatorna dekódoló Vevő Címzett vevő/nyelő (Tudat) Kválasztás Üzenet Jel Jel Üzenet Kódolás Átvtel terjedés Dekódolás Észlelés 07.0.9. Molnár Bálnt, Benczúr András 7
Szntek. Mennység sznt:. Mennyre vhető át rekonstruálhatóan a kbocsátott üzenet az adott csatornán (mennység jellemzők, és csatorna kaactás).. Megértés sznt (jelentés, szemantka). 3. Hatékonyság sznt (a kívánt hatás elérése, hatásosság, eredményesség; effectvty/effcacy ; szemotka, ragmatka). 07.0.9. Molnár Bálnt, Benczúr András 8
Kommunkácó modellje Valós környezet Forrás Tudat Valós környezet Való vlág Rendeltetés hely Változás a való vlágban Felsmerhető legyen Tudat Észlelés Csatorna Valamt észlelünk a valós környezetben; kacsolatba kerül a tudatunkkal; üzenet kbocsátás történk;változást vált k a valós vlágban; észlel a címzett; kacsolatba kerül a tudattal. A terjedés dőben történk > torzulások lehetnek. A kommunkácó működőkéességének alavető feltétele, hogy különböző üzenetekhez olyan különböző változás legyen létrehozható a valós vlágban, hogy az észlelő s különbözőnek smerhesse fel. Hatékonyság: emlékek megőrződése. 07.0.9. Molnár Bálnt, Benczúr András 9
Történet állomások Beszéd kalakulása Hangkézés, megfelelő fnomságú, hallás, tudat/agy, gesztkulálás, testbeszéd Hanghullám terjedése A közös smeretek egy része van mndenknél, csak élő tudatban létezk Egy részét elérhetővé tesszük mások számára. Feljegyzés írás, rajz, ké Írás megmarad, tartósság [jövő számára tudattól függetlenül megőrződk] Nyomtatás (könnyű sokszorosítás) Közékor, kódexek Irattár, levéltár Könyvtár, szolgáltatás Rögzített üzenetek azonos formában Többszörösen, elérhetővé válk Közös smeretetek, Bürokráca 07.0.9. Molnár Bálnt, Benczúr András 0
Az nformácóelmélet kezdete Állatvlágról Ember nformácócsere fontosabb léése közvetlen nformácócsere távol személyek közt nformácócsere Géek közvetítésével való hírközlés géek által generált adatforgalom Az nformácóelmélet kezdete, Hartley, Shannon Az nformácóelmélet a gyakorlatban 07.0.9. Molnár Bálnt, Benczúr András
Jelek Rádófrekvencás műsorszórás > hírközlés Telefon >adatátvtel, távközlés (telematka) Fényké > dgtáls műszerek Írógé Számítógé > adattárolás, adatelérés, számítások (érzékszervek jelentősége csökken) Közös észlelés: nem szükséges, hogy egy dőben történjen mndenknél. 07.0.9. Molnár Bálnt, Benczúr András
Zajos csatornák 07.0.9. Molnár Bálnt, Benczúr András 3
Shannon hírközlés modellje A hírközlés során egy üzenetet juttatunk el egy tér és dőbel ontból egy máskba. forrás b c y z kódoló/ adó csatorna zaj vevő/ dekódoló nyelő Csatornakódolás avagy hbajavító kódolás: lehetővé tesz a zajos csatornán való bztonságos(abb) üzenetátvtelt, a keletkező hbák jelzését kjavítását. 07.0.9. Molnár Bálnt, Benczúr András 4
Shannon hírközlés modellje A hírközlés során egy üzenetet juttatunk el egy tér és dőbel ontból egy máskba. forrás b c y z Kódoló /adó csatorna zaj vevő/ dekódoló nyelő c modulátor csatorna x demodulátor, döntő y Átalakítja a kódolt üzenetet a csatornán átvhető jellé. zaj torzul a jel Eldönt, hogy a lehetséges leadott jelalakok közül melyket adhatták. 07.0.9. Molnár Bálnt, Benczúr András 5
Shannon hírközlés modellje A hírközlés során egy üzenetet juttatunk el egy tér és dőbel ontból egy máskba. forrás b c y z Kódoló /adó csatorna zaj vevő/ dekódoló nyelő Kjavítja és/vagy jelz a vett jelek hbát. Elvégz a csatornakódolás nverz műveletét. 07.0.9. Molnár Bálnt, Benczúr András 6
Shannon hírközlés modellje A hírközlés során egy üzenetet juttatunk el egy tér és dőbel ontból egy máskba. forrás b c y z Kódoló /adó z csatorna zaj a forráskódolás nverze a helyreállított üzenetet kbontja Dekódoló/ vevő vevő nyelő 07.0.9. Molnár Bálnt, Benczúr András 7 a ' értelmez az üzenetet a vevő a csatorna végén levő "műszak" berendezés, leemel a jeleket a csatornáról, ezeket fogja a dekódoló az üzenetnek megfelelő szmbólumokká alakítan
Matematka ktérő A valószínűségszámítás alafogalmaról Esemény: sokszor végrehajtható kísérlet eredménye. Kísérlet, ll. kmenetel lehet éldául: Egy dobozból golyókat veszünk k, és vzsgáljuk a színüket. Esemény, hogy ros, zöld, lla, golyót találtunk. Fej vagy írást játszunk egy érmével. Esemény: a fej vagy az írás oldal van felül. Mnden kedden reggel 7 és 8 óra között vzsgáljuk egy buszmegállóban a megálló buszok számát. Esemény: 0 busz állt meg,,, busz állt meg. Egy hírközlés csatornára bocsátunk egy bzonyos jelet és vzsgáljuk a kmenet jelet. Esemény: a vett jel azonos a leadottal, a vett jel amltúdója azonos a leadottéval, de a frekvencája kétszeres, 07.0.9. Molnár Bálnt, Benczúr András 8
Matematka ktérő A valószínűségszámítás alafogalmaról Az A esemény ellentett eseménye (komlementer eseménynek) a kísérlet mnden A n kívül kmenetele. Jelölés: Ā. Egy A esemény valószínűsége: nagyon sokszor elvégezve a kísérletet (Ez a nagy számok törvénye, ezzel közelítjük az esemény valószínűségét) (A) azon kísérletek száma, amkor A bekövetkezk az összes kísérlet száma lm ksérletekszáma azon kísérletek száma, amkor A bekövetkezk az összes kísérlet száma 07.0.9. Molnár Bálnt, Benczúr András 9
Matematka ktérő A valószínűségszámítás alafogalmaról A valószínűség jellemző: (A) 0, az valószínűségű esemény bztosan bekövetkezk, a 0 valószínűségű sohasem következk be. (A)+(Ā) =. 07.0.9. Molnár Bálnt, Benczúr András 0
Matematka ktérő A valószínűségszámítás alafogalmaról A Kolmogorov féle valószínűség axómákról: Eseménytér: Az elem események összessége: ; a teljes esemény Események halmaza: S Lehetetlen esemény:. Az S halmaz akkor és csak akkor algebra, ha S és S, ha A S re, akkor A S ha A S és A S, akkor A A S A megszámlálható metszet (szorzás) műveletre zárt (és az unó (összeadás) műveletére s), azaz N 07.0.9. Molnár Bálnt, Benczúr András
Matematka ktérő A valószínűségszámítás alafogalmaról A Kolmogorov féle valószínűség axómákról: Mnden AS eseményhez rendelhető egy (A) szám, az A valószínűsége, melyre a következők gazak: 0 (A) ()= ha A A j = 0 j re, akkor A = A (A és egy B esemény szorzatán/metszetén azt értjük, ha A és B s bekövetkezk) 07.0.9. Molnár Bálnt, Benczúr András
Egy dobozban 5 sárga, 6 lla, 4 fehér és kék golyó van. M a valószínűsége, hogy ha egyetlen golyót veszünk k a dobozból (nem odanézve), akkor az kék lesz: Matematka ktérő A valószínűségszámítás alafogalmaról (kék )= = 5+6+4+ 74 sárga lesz: nem sárga lesz: kék vagy lla lesz: (sárga )= 5 = 5 5 +6+4+ 74 (sárga )= 6+4+ = 59 5 +6+4+ 74 = (sárga ) (kék vagy lla )= 6+4 = 48 5 +6+4+ 74 ros lesz: (ros )=0 07.0.9. Molnár Bálnt, Benczúr András 3
Matematka ktérő A valószínűségszámítás alafogalmaról Egy A és egy B esemény szorzatán azt értjük, ha A és B s bekövetkezk. A és B együttes bekövetkezés valószínűsége: (AB)/(AB). Egy A és egy B esemény összege/unója az, ha vagy A, vagy B (vagy mndkettő) bekövetkezk. Valószínűsége: (A+B )/(AB). Az A és B események függetlenek, ha semmféle befolyással nncs A nak a bekövetkezése a B bekövetkezésére. Ekkor (AB )= (A ) (B ). 07.0.9. Molnár Bálnt, Benczúr András 4
Matematka ktérő A valószínűségszámítás alafogalmaról Egyéb esetekben (AB ) (A) (B ), csak azt lehet tudn, hogy (A+B ) = (A) + (B) (AB ), (AB ) = (A) + (B) (AB) és (A B ) mn ((A ), (B )) 07.0.9. Molnár Bálnt, Benczúr András 5
Egy dobozban 5 sárga, 6 lla, 4 fehér és kék golyó van. M a valószínűsége, hogy ha két golyót veszünk k a dobozból (nem odanézve), akkor az. kék lesz, a. fehér: mndkettő sárga lesz: valamelyk sárga lesz: egyk sem lesz sárga: Matematka ktérő A valószínűségszámítás alafogalmaról.sárga +.sárga.kék.fehér 07.0.9. Molnár Bálnt, Benczúr András 6 = 74 4 73 ((.sárga) (.sárga))= 5 74 4 73 5 4 5 4 5 5 = + + 74 73 74 73 74 73 5 5.sárga.sárga = 74 73 ( = ((.sárga)+(.sárga)) )
Matematka ktérő A valószínűségszámítás alafogalmaról Az s érdekes, hogy ha ξ=a jelet adok, mlyen η=b kerül a csatorna kmenetére, ez η=b nek ξ=a feltétel mellett feltételes valószínűségével, (η=b ξ=a ) val írható le: AB B A = A Az együttes feltételes valószínűségek között fennáll: (AB )=(B ) ( A B )= (A ) ( B A ) 07.0.9. Molnár Bálnt, Benczúr András 7
Egy dobozban 5 sárga, 6 lla, 4 fehér és kék golyó van. M a feltételes valószínűsége annak, hogy ha az első khúzott golyó kék volt, akkor a másodk fehér: kék: nem kék: Matematka ktérő A valószínűségszámítás alafogalmaról.fehér.kék =.kék.kék.kék.fehér.kék = 4 = 74 73 74.kék.kék =.kék 74.kék.kék.kék.kék =.kék = 74 0 73 74 74 0 73 07.0.9. Molnár Bálnt, Benczúr András 8
Matematka ktérő A valószínűségszámítás alafogalmaról Ha az eseményekhez (kísérlet kmenetehez) számértékek rendelhetők, (l. árammérés), akkor kíváncsak lehetünk a kísérlet eredményének várható értékére. Legyen X={x, x, x n } számhalmaz a kísérlet kmenetének értékkészlete; A kísérlet eredménye egy ξ valószínűség változó értéke A valószínűség változók lehetnek dszkrétek, folytonosak vagy kevertek. Egy valószínűség változót dszkrétnek nevezünk, ha értékkészlete véges (vagy megszámlálhatóan végtelen). az x kmenet valószínűsége P(ξ =x ), az x n é P(ξ =x n ). Ekkor ξ várható értéke (súlyozott átlag) E n = P x x = x n = = 07.0.9. Molnár Bálnt, Benczúr András 9
Matematka ktérő A valószínűségszámítás alafogalmaról Eloszlás P(ξ =x )=, =,,n, valószínűségeket a valószínűség változó eloszlásának nevezzük. 07.0.9. Molnár Bálnt, Benczúr András 30
Matematka ktérő A valószínűségszámítás alafogalmaról Az s érdekelhet mnket, hogy átlagosan mennyre fog eltérn az eredmény a várhatóértéktől, ezt a szórással jellemezhetjük: D A E E E E Ha több kísérletet vzsgálunk, A és B korrelácója írja le az, hogy mennyre függ a kettő egymástól E R, = E( ) E( ) D D 07.0.9. Molnár Bálnt, Benczúr András 3
htt://xkcd.com/55/ 07.0.9. Molnár Bálnt, Benczúr András 3
Az nformácó Az nformácó valamely véges számú, előre smert esemény közül annak megnevezése, hogy melyk következett be. Alternatív megfogalmazás: az nformácó mértéke azonos azzal a bzonytalansággal, amelyet megszüntet. Hartley: m számú, azonos valószínűségű esemény közül egy megnevezésével nyert nformácó: I=log m (log m kérdéssel azonosítható egy elem) Megjegyzés: Ha két eseményt egybevonunk, annak megnevezése bttel lesz rövdebb, hszen m/ számú árból egy. 07.0.9. Molnár Bálnt, Benczúr András 33
Az nformácó Az nformácó valamely véges számú, előre smert esemény közül annak megnevezése, hogy melyk következett be. Alternatív megfogalmazás: az nformácó mértéke azonos azzal a bzonytalansággal, amelyet megszűntet. Shannon: mnél váratlanabb egy esemény, bekövetkezése annál több nformácót jelent, annál több bzonytalanságot kell kküszöböln. Legyen A={A, A, A m } esemény halmaz, az A esemény valószínűsége, az A m é m. Ekkor az A megnevezésekor nyert nformácó: I ( A )=log = log. Megjegyzés: ha =/m, mnden -re, vsszakajuk Hartley defnícóját. 07.0.9. Molnár Bálnt, Benczúr András 34
Az nformácó tulajdonsága. Csak az esemény valószínűségének függvénye.. Nem negatív: I 0 3. Addtív: ha m = m m, I(m m ) = I(m ) + I(m ) Megjegyzés: Ezek már a függvényegyenlet megoldásaként a logartmus függvényt adják.. Monoton: ha j, akkor I(A ) I(A j ). Normálás: legyen I(A)=, ha (A)=0,5. Ekkor kettes alaú logartmus használandó és az nformácóegysége a bt. I(m )=log ( / ) [bt] bnary unt/dgt Megjegyzés: ha tízes alaú logartmust (lg t) használunk, a hartley, az egység. Ekkor a normálás: I(=0,)=. Ha természetes alaú logartmussal defnáljuk az nformácót (I= ln ), akkor a natban mérjük az nformácót, a normálás edg I(=/e)=. bt = ln nat hartley = 3,39 bt =,306 nat bt = 0,693 nat = 0,300 hartley nat =,447 bt = 0,4343 hartley 07.0.9. Molnár Bálnt, Benczúr András 35
Az nformácó A forrásunk a következő üzenetet adta le: ccndnddnnncdnndncdncdncdncdnnnncdcdncdcnnncd cccdcddcdccccnnn ( db c, db n, 7 db d ) Mekkora lesz az nformácótartalma, ha a következő szmbólum c lesz? (c) = /(++7) = /60 = 0,35 I(c) = log 0,35 = ln 0,35/ln =,5 07.0.9. Molnár Bálnt, Benczúr András 36
Az nformácó A forrásunk a,,,, szmbólumokat bocsátja k =0,, =0,37, =0,06, =0,, =0,4 valószínűséggel. Mekkora lesz az nformácótartalma, ha a következő szmbólum a jel? I() = log 0,37 = ln 0,37/ln =,43 07.0.9. Molnár Bálnt, Benczúr András 37
DISZKRÉT FORRÁS, DISZKRÉT, ZAJMENTES CSATORNA Példa legegyszerűbb csatornával kezdjük (logka, formáls lehet) 07.0.9. Molnár Bálnt, Benczúr András 38
Bnárs, szmmetrkus csatorna Jele: 0, Átvtel dő: mndkettőre: /C sec (Hasonlóak a dgtáls csatornák). Egy forrás: gen nem üzeneteket választ a)szabályos énzérme feldobása c szer. Időegység alatt. a) c egyforma lehetőség. Kódolás: a) Igen >0 b) Nem > b) c különböző kódszó, egységny dő hosszú. 07.0.9. Molnár Bálnt, Benczúr András 39
Bnárs, szmmetrkus csatorna c különböző kódszó, egységny dő hossz alatt. Pl. c=04= 0, 04, 07.0.9. Molnár Bálnt, Benczúr András 40
Bnárs, szmmetrkus csatorna Lottó húzás Igen: létezk ötös találat a szelvényemen Nem: nncs ötös találat a szelvényemen 04= 0, két hosszú húzássorozat eredményét mlyen rövd dő alatt tudjuk csatornánk segítségével a címzetthez juttatn. 07.0.9. Molnár Bálnt, Benczúr András 4
Bnárs, szmmetrkus csatorna 3 eset : Nncs ötös egyszer sem: kódszó, 0 =( P(ötös találat)) 04 ; Egy ötös van, k dk: 0 (a kódszó) sorszám (0 bt, 04= 0 ) [log k]; =( P(ötös találat)) 03 P(ötös találat); 03=04 = 0 Ha több ötös van : (a kódszó) 04 hosszú kódban jelöljük az ötös találatokat. (k bt) A teljes sorozat = 0 P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) 07.0.9. Molnár Bálnt, Benczúr András 4
Bnárs, szmmetrkus csatorna Ötös lottó: szelvény ktöltésével az ötös valószínűsége = :43 949 68 = 90 0.0000075%, 5 a négyes valószínűsége = :03 40 = 0.000967% a hármas valószínűsége = : 3 = 0.08% a kettes valószínűsége = :44 =.73% egy vagy nulla találat valószínűsége = 97.65% 07.0.9. Molnár Bálnt, Benczúr András 43
Bnárs, szmmetrkus csatorna Átvtel bt mennység várható értéke: ( 0 ()+ (+0)+ (+04)) ; Posson eloszlás közelítése, bnomáls eloszlás határeloszlása n=λ ; λ =04* 90 =,33 *0 5 5 0 =0,999977 =,33*0 5 0 = e λ = λ e λ számítás hbánál ksebb 07.0.9. Molnár Bálnt, Benczúr András 44
Matematka ktérő A valószínűségszámítás alafogalmaról Posson eloszlás P(X k) k e k!. Kfejez az adott dő alatt smert valószínűséggel megtörténő események bekövetkezésének számát (éldául: egy telefonközontba adott dőszakban és dőtartamban beérkezett telefonhívások száma, vagy egy radoaktív anyag adott dő alatt elbomló atomjanak száma). A Posson eloszlás a ks valószínűségű, vagy rtka események eloszlása. Posson eloszlású a sajtóhbák száma egy újság lajan, egy öntvényben előforduló buborékok száma, egy telefonközontba beérkező hívások száma, adott dő alatt elbomlott radoaktív atomok száma stb. 07.0.9. Molnár Bálnt, Benczúr András 45
Mennységek. Csatorna kaactás: adott csatornához a kaactás- a bnárs szmmetrkus csatornával való ekvvalenca alaján: Egységny dő alatt átlag ugyananny különböző jelsorozat vhető át, mnt egy C bt/sec sebességű bnárs csatornán. Ekkor a csatorna kaactás C.. A forrás szmbólumok sorozatát választja, a választás bzonytalanságát jellemezzük az egy szmbólumra jutó átlagos mennységgel, ez lesz a Shannon-entróa. 3. N hosszú sorozatok lehetnek, n lehetséges szmbólum,, n N, eloszlás 07.0.9. Molnár Bálnt, Benczúr András 46
Mennységek N n -k = a valószínűségek = Shannon entróa:ξ valószínűség változó P(ξ=x )=, az események eloszlása, a ξ valószínűség változó által felvehető értékek {x,.., x,x nn }, =,, n N H n,,, N = E( I )= I x = log... n N hosszú forrás egy szmbólumra jutó átlagos bzonytalansága N n H,,..., = N = n N = n log N = Hbt/szmbólum, entróa; = /N H(az N hosszú üzenetek eloszlása) 07.0.9. Molnár Bálnt, Benczúr András 47
Shannon csatorna kódolás alatétele Cbt/seccsatorna kaactás, a H bt/szmbólum a Shannon entróa, V szmbólum /sec forrás sebessége Megválasztható e a forrás sebessége; hány szmbólumot választ másodercenként? Mennység feladat megoldhatósága? Veszteségmentesen átvhető e mnden üzenet? Vagys az átvtt üzenet egyértelműen rekonstruálható e. 07.0.9. Molnár Bálnt, Benczúr András 48
Shannon csatorna kódolás alatétele (Shannon ) Nem lehet veszteségmentesen működtetn a kommunkácós rendszert ha: V> C/H ; Tetszőleges ε> 0 hoz kódolás: V < C/H ε sebességgel veszteségmentesen működtethető a csatorna, rendszer (Ennek formáls bzonyítása a legelembb esetre később). 07.0.9. Molnár Bálnt, Benczúr András 49
A csatorna kaactás Dszkrét, zajmentes csatorna S, S, S m a jelek t, t, t m átvtel dő jelenként. Szmmetrkus csatorna t =t = = t m = t Szmmetrkus bnárs csatorna m=, a jelek a btek,{ megnt! bnary dgt (de ez nem ugyanaz mnt az nformácó mértékegysége)}. Kaactás a másodercenként átvhető btek száma. Nylván C=t, ha t egész szám. Ha nem, és t és nem összemérhető, akkor T dő alatt N(T) jelsorozatot lehet, ahol T t T t N ( T ) teljesül tetszőleges ε >0, ha T elég nagy 07.0.9. Molnár Bálnt, Benczúr András 50
A csatorna kaactás A logartmust kéezve ( es alaú logartmust használunk a továbbakban) és T vel osztva: t log N(T ) t T azaz a határérték C=t 07.0.9. Molnár Bálnt, Benczúr András 5
A csatorna kaactás Intutív: Két csatorna ekvvalens, ha T hosszú sorozatak száma mnden T re (határértékben) megegyezk. A T hosszú kód-szavak kölcsönösen megfeleltethetők egymásnak Pontos defnícó: Legyen N(T) egy csatorna T hosszú, (T-nél nem hosszabb, T maxmáls hosszú) jelsorozatanak száma A csatorna kaactás: T lm log C N ( T T Következmény: Mnden C kaactású csatorna ekvvalens a C kaactású bnárs csatornával. Ezért C dmenzója bt/sec. 07.0.9. Molnár Bálnt, Benczúr András 5 )
Példa: A csatorna kaactás. Szmmetrkus csatorna, m db. szmbólum, t egy szmbólum átvtel deje: N(T ) m T / t C T lm log T m T / t t log m 07.0.9. Molnár Bálnt, Benczúr András 53
A csatorna kaactás. Egyszerű nem szmmetrkus csatorna, t, t, t m átvtel dő jelenként; (S, S,..S m, szmbólumkészlet; nncs megszorítás a jelsorozatra), N(T) el jelöljük a T átvtel dő tartamú sorozatok számát, akkor N(T)= N(T- t ) + N(T- t ) + + N(T- t m ) (dfferenca egyenlet), a sorozatok számának teljes összege (amely sorozatok S, S,..S m szmbólummal/ban végződnek) A véges dfferenca egyenletek elmélete alaján N(T) (aszmtotkusan nagy T kre) jellemezhető karaktersztkus olnommal: (Shannon-HrkozlesMatElm948-magy.df, 5.o.) t t t x x... x m 07.0.9. Molnár Bálnt, Benczúr András 54 0
A csatorna kaactás x 0 :a legnagyobb oztív megoldás (ks gyökök elhanyagolható adalékokat adnak. N(T)=k x 0 T m m t T 0 t T 0 t T 0 T 0 t 0 t 0 t 0 T 0 x... x x x ) x... x x ( x x 0 hatványa úgy vselkednek mnt N(T). C x log T ) T ( N log T lm C 0 T lneárs növelés exonencáls növekedést okoz N(T) ben. 07.0.9. Molnár Bálnt, Benczúr András 55
A forrás bzonytalanságának mérőszáma a Shannon-entróa A hírközlő rendszer mnden lehetséges üzenet választásra (sokszor smétlődő választásra) működjön. Nem az a fontos az átvtelben, hogy mt választunk, hanem az, hogy mlyen bzonytalan a választás. (A szmbólumokat a forrás átnevezhet, ettől független a hírközlés mennység vselkedése) Aforrás N hosszú választásat a n szmbólumból egy n N elemű valószínűség eloszlás jellemz. Az eloszlás meghatározása emrkus alaokon, közelítőleg, történhet. (Később megnézzük az alaeseteket). 07.0.9. Molnár Bálnt, Benczúr András 56
A forrás bzonytalanságának mérőszáma a Shannon-entróa Feladatunk: Keressük a dszkrét valószínűség-eloszlások halmazán a H(,,, m ) függvényt, Σ =, =,,m, 0; A függvénnyel kacsolatban támasztott természetes elvárások (Shannon axómák):. H mnden argumentumában legyen folytonos;. A(n)=H( /n,/n, /n ) H( /m,/m, /m )=A(m), ha n < m (monoton növekedő függvény) 3. Elágazás szabály 07.0.9. Molnár Bálnt, Benczúr András 57
A forrás bzonytalanságának mérőszáma a Shannon-entróa Elágazás szabály: ha egy választás lehetőség, két rákövetkező választás lehetőségbe ágaztatunk szét. Az eredet H függvényértékhez hozzá kell adnunk az elágazás valószínűségével súlyozva az elágazás után események feltételes eloszlásának H függvényét. H( /,/3,/6 ) = H(/, /) + / H(/3, /3 ) 07.0.9. Molnár Bálnt, Benczúr András 58
A forrás bzonytalanságának mérőszáma a Shannon-entróa 3. Elágazás szabály (groung axom) (ábra) : H(, n-, n- H(,,,, n- n ) n ) ( n- n ) H( Általános elágazás szabály : (ndukcóval) legyen, Σ = nj j, =q j,, j=,,m, Σ j=m q j =, akkor n- n- n, n- n n ) H( H( q,,, q,n,,, q m,, ), n m j,,, q jh( q j, j m,,,,, j q, n j m,n j m ) ) 07.0.9. Molnár Bálnt, Benczúr András 59
A forrás bzonytalanságának mérőszáma a Shannon-entróa Tétel: Az 3 axómákat kelégítő függvény csak a K Σ log, =, n alakú függvények lehetnek, ahol K < 0 konstans. Bzonyítás: () H(½, ½)=, egységny entróa => K ( )= => K= raconáls értékű eloszlás esetén. 07.0.9. Molnár Bálnt, Benczúr András 60
A forrás bzonytalanságának mérőszáma a Shannon-entróa Bzonyítás: () H(½, ½)=, egységny entróa => K ( )= => K= raconáls értékű eloszlás esetén. = q /m re, =, n, és Σ q =m, Σ =. Fejezzük k H(, n, n, n ) et, A(m) és A(q ) segítségével. H(,, n elágazásg A(m)- n ) A(q H(,..., )- m m ) - teljes n (A(q n H(,,, ) q q q elágazás ) A(m)). után n 07.0.9. Molnár Bálnt, Benczúr András 6
A forrás bzonytalanságának mérőszáma a Shannon-entróa Az m elemű egyenletes eloszlásból ndulva, csoortok kézése, elágozás szabály felhasználásával A(m) H(,, ) m m m n darab q q n q n H(,.., ) H( m,..., m ) m m m q q elágazásg m m q H(,.., m q H(,.., m - n q m (A(q q n q n ) A(q ) m m qn ) H(,, n m teljes ) A(m)) elágazás után n q ) A(m) A(q ) m elágazásg elágazás után 07.0.9. Molnár Bálnt, Benczúr András 6
A forrás bzonytalanságának mérőszáma a Shannon-entróa () Lemma: A(n) =c log n, ahol c> 0 tetszőleges Bz: Elágazás szabállyal A(nm) H(,,, nm nm m,..., ) H(,..., ) n nm nm n n m elágazásg n H(,..., ) m m elágazás után A(n) Ebből A(n m )=ma(n) adódk, mvel A(nm)=A(m)+A(n) A(n) =k log n A(m) 07.0.9. Molnár Bálnt, Benczúr András 63
A forrás bzonytalanságának mérőszáma a Shannon-entróa Legyen s> 0, rögzített egész szám, t re, és n re, m, () s m <t n s m+ ; Az A függvény monoton, A(s m )<A(t n ) A(s m+ ) [felhasználva () t]. () ma(s)<na(t) (m+)a(s) ebből m A( t) m n A( s) n n re 4 m log t m n log s n n re log 3 függvényre 07.0.9. Molnár Bálnt, Benczúr András 64
A forrás bzonytalanságának mérőszáma a Shannon-entróa (3), (4) egyenlőtlenségekből, n >, A( t) A( s) log log t s adódk tehát, A( s) C választással A(t) C log log s bzonyítja a lemma állítását t 07.0.9. Molnár Bálnt, Benczúr András 65
A forrás bzonytalanságának mérőszáma a Shannon-entróa () () lemma és a raconáls elemű eloszlásokra az () alatt kaott kfejezés együttesen C H( n,, log n ) n (A(q ) A(m)) C Ezzel a tételt raconáls értékű eloszlásokra gazoltuk. Tetszőleges eloszlásokra a folytonosságból és log folytonosságából következk a tétel. 07.0.9. Molnár Bálnt, Benczúr András 66 n log q m
A forrás bzonytalanságának mérőszáma a Shannon-entróa H(½, ½)=, egységny entróa => K ( )= => K= K log log ) K ( ) K ( Defncó: (,,, m ), Σ =,,m =, =,,m, >0; eloszlás bzonytalansága a Shannonentróa H(,, n ) log n 07.0.9. Molnár Bálnt, Benczúr András 67
Az entróa Az entróa az nformácó várható értéke:,,, = E( I )= I x = log... H m = = Az entróa tulajdonkéen annak a kjelentésnek a várható nformácó mennysége, hogy az m db egymást kzáró esemény közül az egyk bekövetkezett. A log kfejezés 0 esetén: lm 0 log = lm 0 ln ln = ln m lm 0 ln m ln lm 0 L Hostalszabály szernt 0 07.0.9. Molnár Bálnt, Benczúr András 68
Az entróa A forrásunk a következő üzenetet adta le: ccndnddnnncdnndncdncdncdncdnnnncdcdncdcnnncdcccdcddcdccccnnn ( db c, db n, 7 db d ) Hc,n,d =,57 Mekkora az üzenet entróája?(ha a relatív gyakorság adja a valószínűségeloszlást) (c)=/60=0,35 (n)=/60=0,37 (d)=7/60=0,8 H(c) = 0,35 log 0,35 = 0,35 (ln 0,35/ln )= = 0,35 (,5) = 0,53 H(n) = 0,37 log 0,37 = 0,37 (ln 0,37/ln )= = 0,37 (,43) = 0,53 H(d) = 0,8 log 0,8 = 0,8 (ln 0,8/ln )= = 0,8 (,84) = 0,5 07.0.9. Molnár Bálnt, Benczúr András 69
Az entróa A forrásunk a,,,, szmbólumokat bocsátja k egyforma, = = = = = 0, valószínűséggel. Menny a forrás, mnt halmaz entróája? H(,,,, ) = ( 0, log 0,) 5 =,3 07.0.9. Molnár Bálnt, Benczúr András 70
Az entróa A forrásunk a,,,, szmbólumokat bocsátja k =0,, =0,37, =0,06, =0,, =0,4 valószínűséggel. Menny a forrás, mnt halmaz entróája? H(,,,, ) = 0, log 0, 0,37 log 0,37 0,06 log 0,06 0, log 0, 0,4 log 0,4 = = 0,37+0,53+0,4+0,47+0,49 = =, 07.0.9. Molnár Bálnt, Benczúr András 7
Az entróa tulajdonsága. Nem negatív: H(,,, m ) 0. Az események valószínűségenek folytonos függvénye. 3. H(,,, m, 0 ) = H(,,, m ) 4. Ha =, a több k = 0, ( k=,,, +,, m ), akkor H(,,, m ) =0. 5. H(,,, m ) H( /m,/m, /m ) Egyenlőség csak egyenletes eloszlásra, a legnagyobb bzonytalanságú eloszlásra. 6. H(,, k, l, k+,, l, k, l+,, m ) = H(,,, m ), k, l ; azaz az entróa szmmetrkus változónak cseréjére. 07.0.9. Molnár Bálnt, Benczúr András 7
Az együttes entróa Legyen ξ={x,, x m } az elsőnek leadott jelek halmaza, η={y,, y m } edg a másodknak leadott jelek halmaza. Vzsgáljuk azt az összetett eseményt, hogy egy ξ bel és egy η bel esemény s bekövetkezk. x és y j együttes bekövetkezés valószínűsége,j = (x y j ), P(ξ=x, η=y j ) a két esemény együttes bekövetkezésekor nyert nformácó I(x y j )= log (x y j )= log,j. Mndg gaz a együttes nformácóra, hogy I(x y j ) I(x ), és I(x y j ) I(y j ). 07.0.9. Molnár Bálnt, Benczúr András 73
A együttes entróa a két esemény együttes bekövetkezésekor nyert nformácó I(x y j )= log (x y j )= log,j. η és ξ valószínűség változók együttes entróája: H x, y j =,j log,j. m = m j= 07.0.9. Molnár Bálnt, Benczúr András 74
A feltételes entróa Legyen ξ={x,, x m } a lehetséges leadott jelek halmaza, η={y,, y } edg a vehető jelek halmaza. m Mnden ξ bel esemény bekövetkezése maga után von egy η bel eseményt. x nek y j re vonatkoztatott feltételes valószínűsége (x y j ). Az ξ halmaz η halmazra vonatkoztatott feltételes entróája: H = z x y log x y = m j= m m j m = x y log x y. j j j= = 07.0.9. Molnár Bálnt, Benczúr András 75 j j =
A feltételes entróa } a lehetséges leadott jelek Legyen ξ={x,, x m halmaza, η={y,, y m } edg a vehető jelek halmaza. Mnden ξ bel esemény bekövetkezése maga után von egy η bel eseményt. x nek y j re vonatkoztatott feltételes valószínűsége (x y j ). Mvel (x y j )=(y j ) ( x y j ) mnden re és j re, H(ξη)= H(η) H(ξ η)= H(ξ) H(η ξ ). Így H(ξ) H(ξ η) 0 07.0.9. Molnár Bálnt, Benczúr András 76
Aendx
Matematka ktérő A valószínűségszámítás alafogalmaról Egy hírközlés csatorna bemenetén és kmenetén megjelenő jelek nem függetlenek egymástól. Ha B jelet vettünk akkor annak a valószínűsége, hogy A jel volt a csatorna bemenetén: A nak B feltétel mellett feltételes valószínűsége A B = AB B AB B 07.0.9. Molnár Bálnt, Benczúr András 78
Összetett ksérlet 07.0.9. Molnár Bálnt, Benczúr András 79
Elágazás szabály magyarázat X valsz. vált., változó értékeket A és B csoortra bontjuk, A x, x,, x r ; P(A)= r = B x r+, x r+,, x M ; P(B)= M =r+ P(X=x x A)= /( r = ); P(X=x x B)= /( M =r+ ); Az összetett kísérlet (ábra) az X valsz. vált. eredet kísérletével ekvvalens. 07.0.9. Molnár Bálnt, Benczúr András 80
Elágazás szabály magyarázat Y valsz. vált., az összetett kísérlet (és annak kmenete), P(Y=x )= P {A t választottuk, x t választottuk k }= P {A t választottuk}, P { x t választottuk k A t választottuk }=( r = ) /( r = )= ; P(Y=x ) = Y és X valsz. Eloszlása u.a. Az összetett kísérlet (ábra) az X valsz. vált. eredet kísérletével ekvvalens. 07.0.9. = r Molnár Bálnt, Benczúr András 8
Elágazás szabály magyarázat Az összetett kísérlet előtt, az átlagos bzonytalanság: H(,, M ) Ha feltárjuk, hogy A és B csoort közül melyket választottuk, akkor megszüntetünk átlagosan H( r, r M bzonytalanságot A t választouk ( r = ) valószínűséggel, a maradvány bzonytalanság 07.0.9. Molnár Bálnt, Benczúr András 8 ) H r, r,, r r ;
Elágazás szabály magyarázat B t választouk ( =r+ M ) valószínűséggel, a maradvány bzonytalanság Az átlagos maradvány bzonytalanság valamelyk csoort kválasztása után 07.0.9. Molnár Bálnt, Benczúr András 83 ;,,, M r M M r r M r r H ;,,,,,, M r M M r r M r r M r r r r r r H H
Elágazás szabály magyarázat A harmadk követelmény H val (az átlagos bzonytalansággal szemben) 07.0.9. Molnár Bálnt, Benczúr András 84 ;,,,,,,, ),, ( M r M M r r M r r M r r r r r r M r r M H H H H
Elágazás szabály magyarázat Numerkus élda 07.0.9. Molnár Bálnt, Benczúr András 85, 4 3, 3 4 3 4, 4 3 ) 8, 8, 4, ( H H H H B A