Információs rendszerek elméleti alapjai. Információelmélet

Átírás

1 Informácós rendszerek elmélet alaja Informácóelmélet

2 Irodalom Irodalomjegyzék. J. Aczél, Z. Daróczy. On Measures of Informaton and Ther Characterzaton. Academc Press, New York R. B. Ash. Informaton Theory. Interscence, New York J. Berstel, D. Perrn. Theory of Codes. Academc Press, New York G. Brkhoff, T.C. Bartee. A modern algebra a számítógétudományban. Műszak Könyvkadó, Budaest T. M. Cover, J.A. Thomas. Elements of nformaton theory. Wley, New York Csszár I., Frtz József. Informácóelmélet. Tankönyvkadó, Budaest C. E. Shannon, W.Weaver. A kommunkácó matematka elmélete. OMIKK, Budaest Györf László, Győr Sándor, Vajda István: Informácóelmélet és kódelmélet, Tyotex, Lnder Tamás, Lugos Gábor: Bevezetés az nformácóelméletbe, Tankönyvkadó Molnár Bálnt, Benczúr András

3 Az nformácóelmélet kezdete Molnár Bálnt, Benczúr András 3

4 Informácólemélet alaja. Kommunkácó. Informácós rendszerek vlága. Véletlen jelenségekre éít. Shannon féle entróa. Jövőre vonatkozk 3. Kolmogorov entróa. Számításelméletre éül, múltra vonatkozk. Kommunkácó lényege ember elmék (tudatok) kölcsönhatása Molnár Bálnt, Benczúr András 4

5 Shannon hírközlés modellje nformácófor rás adó csatorna vevő rendeltet és hely zajforrás Címzett Molnár Bálnt, Benczúr András 5

6 Shannon hírközlés modellje A hírközlés során egy üzenetet juttatunk el egy tér és dőbel ontból egy máskba. forrás/adó b c y z Kódoló/ adó csatorna zaj Dekódoló/ vevő vevő/nyelő tényleges forrás a mntavételezés kvantálás forráskódolás b Lehet folytonos jel A forrás jelét dszkrét jellé alakítja át és tömörít Molnár Bálnt, Benczúr András 6

7 Shanon kommunkácós modellje W. Weaver : A kommunkácó felölel mndazokat az eljárásokat, amelyekkel az egyk ember elme a máskra hatn kées forrás/adó (Tudat) kódoló b c y z Adó csatorna dekódoló Vevő Címzett vevő/nyelő (Tudat) Kválasztás Üzenet Jel Jel Üzenet Kódolás Átvtel terjedés Dekódolás Észlelés Molnár Bálnt, Benczúr András 7

8 Szntek. Mennység sznt:. Mennyre vhető át rekonstruálhatóan a kbocsátott üzenet az adott csatornán (mennység jellemzők, és csatorna kaactás).. Megértés sznt (jelentés, szemantka). 3. Hatékonyság sznt (a kívánt hatás elérése, hatásosság, eredményesség; effectvty/effcacy ; szemotka, ragmatka) Molnár Bálnt, Benczúr András 8

9 Kommunkácó modellje Valós környezet Forrás Tudat Valós környezet Való vlág Rendeltetés hely Változás a való vlágban Felsmerhető legyen Tudat Észlelés Csatorna Valamt észlelünk a valós környezetben; kacsolatba kerül a tudatunkkal; üzenet kbocsátás történk;változást vált k a valós vlágban; észlel a címzett; kacsolatba kerül a tudattal. A terjedés dőben történk > torzulások lehetnek. A kommunkácó működőkéességének alavető feltétele, hogy különböző üzenetekhez olyan különböző változás legyen létrehozható a valós vlágban, hogy az észlelő s különbözőnek smerhesse fel. Hatékonyság: emlékek megőrződése Molnár Bálnt, Benczúr András 9

10 Történet állomások Beszéd kalakulása Hangkézés, megfelelő fnomságú, hallás, tudat/agy, gesztkulálás, testbeszéd Hanghullám terjedése A közös smeretek egy része van mndenknél, csak élő tudatban létezk Egy részét elérhetővé tesszük mások számára. Feljegyzés írás, rajz, ké Írás megmarad, tartósság [jövő számára tudattól függetlenül megőrződk] Nyomtatás (könnyű sokszorosítás) Közékor, kódexek Irattár, levéltár Könyvtár, szolgáltatás Rögzített üzenetek azonos formában Többszörösen, elérhetővé válk Közös smeretetek, Bürokráca Molnár Bálnt, Benczúr András 0

11 Az nformácóelmélet kezdete Állatvlágról Ember nformácócsere fontosabb léése közvetlen nformácócsere távol személyek közt nformácócsere Géek közvetítésével való hírközlés géek által generált adatforgalom Az nformácóelmélet kezdete, Hartley, Shannon Az nformácóelmélet a gyakorlatban Molnár Bálnt, Benczúr András

12 Jelek Rádófrekvencás műsorszórás > hírközlés Telefon >adatátvtel, távközlés (telematka) Fényké > dgtáls műszerek Írógé Számítógé > adattárolás, adatelérés, számítások (érzékszervek jelentősége csökken) Közös észlelés: nem szükséges, hogy egy dőben történjen mndenknél Molnár Bálnt, Benczúr András

13 Zajos csatornák Molnár Bálnt, Benczúr András 3

14 Shannon hírközlés modellje A hírközlés során egy üzenetet juttatunk el egy tér és dőbel ontból egy máskba. forrás b c y z kódoló/ adó csatorna zaj vevő/ dekódoló nyelő Csatornakódolás avagy hbajavító kódolás: lehetővé tesz a zajos csatornán való bztonságos(abb) üzenetátvtelt, a keletkező hbák jelzését kjavítását Molnár Bálnt, Benczúr András 4

15 Shannon hírközlés modellje A hírközlés során egy üzenetet juttatunk el egy tér és dőbel ontból egy máskba. forrás b c y z Kódoló /adó csatorna zaj vevő/ dekódoló nyelő c modulátor csatorna x demodulátor, döntő y Átalakítja a kódolt üzenetet a csatornán átvhető jellé. zaj torzul a jel Eldönt, hogy a lehetséges leadott jelalakok közül melyket adhatták Molnár Bálnt, Benczúr András 5

16 Shannon hírközlés modellje A hírközlés során egy üzenetet juttatunk el egy tér és dőbel ontból egy máskba. forrás b c y z Kódoló /adó csatorna zaj vevő/ dekódoló nyelő Kjavítja és/vagy jelz a vett jelek hbát. Elvégz a csatornakódolás nverz műveletét Molnár Bálnt, Benczúr András 6

17 Shannon hírközlés modellje A hírközlés során egy üzenetet juttatunk el egy tér és dőbel ontból egy máskba. forrás b c y z Kódoló /adó z csatorna zaj a forráskódolás nverze a helyreállított üzenetet kbontja Dekódoló/ vevő vevő nyelő Molnár Bálnt, Benczúr András 7 a ' értelmez az üzenetet a vevő a csatorna végén levő "műszak" berendezés, leemel a jeleket a csatornáról, ezeket fogja a dekódoló az üzenetnek megfelelő szmbólumokká alakítan

18 Matematka ktérő A valószínűségszámítás alafogalmaról Esemény: sokszor végrehajtható kísérlet eredménye. Kísérlet, ll. kmenetel lehet éldául: Egy dobozból golyókat veszünk k, és vzsgáljuk a színüket. Esemény, hogy ros, zöld, lla, golyót találtunk. Fej vagy írást játszunk egy érmével. Esemény: a fej vagy az írás oldal van felül. Mnden kedden reggel 7 és 8 óra között vzsgáljuk egy buszmegállóban a megálló buszok számát. Esemény: 0 busz állt meg,,, busz állt meg. Egy hírközlés csatornára bocsátunk egy bzonyos jelet és vzsgáljuk a kmenet jelet. Esemény: a vett jel azonos a leadottal, a vett jel amltúdója azonos a leadottéval, de a frekvencája kétszeres, Molnár Bálnt, Benczúr András 8

19 Matematka ktérő A valószínűségszámítás alafogalmaról Az A esemény ellentett eseménye (komlementer eseménynek) a kísérlet mnden A n kívül kmenetele. Jelölés: Ā. Egy A esemény valószínűsége: nagyon sokszor elvégezve a kísérletet (Ez a nagy számok törvénye, ezzel közelítjük az esemény valószínűségét) (A) azon kísérletek száma, amkor A bekövetkezk az összes kísérlet száma lm ksérletekszáma azon kísérletek száma, amkor A bekövetkezk az összes kísérlet száma Molnár Bálnt, Benczúr András 9

20 Matematka ktérő A valószínűségszámítás alafogalmaról A valószínűség jellemző: (A) 0, az valószínűségű esemény bztosan bekövetkezk, a 0 valószínűségű sohasem következk be. (A)+(Ā) = Molnár Bálnt, Benczúr András 0

21 Matematka ktérő A valószínűségszámítás alafogalmaról A Kolmogorov féle valószínűség axómákról: Eseménytér: Az elem események összessége: ; a teljes esemény Események halmaza: S Lehetetlen esemény:. Az S halmaz akkor és csak akkor algebra, ha S és S, ha A S re, akkor A S ha A S és A S, akkor A A S A megszámlálható metszet (szorzás) műveletre zárt (és az unó (összeadás) műveletére s), azaz N Molnár Bálnt, Benczúr András

22 Matematka ktérő A valószínűségszámítás alafogalmaról A Kolmogorov féle valószínűség axómákról: Mnden AS eseményhez rendelhető egy (A) szám, az A valószínűsége, melyre a következők gazak: 0 (A) ()= ha A A j = 0 j re, akkor A = A (A és egy B esemény szorzatán/metszetén azt értjük, ha A és B s bekövetkezk) Molnár Bálnt, Benczúr András

23 Egy dobozban 5 sárga, 6 lla, 4 fehér és kék golyó van. M a valószínűsége, hogy ha egyetlen golyót veszünk k a dobozból (nem odanézve), akkor az kék lesz: Matematka ktérő A valószínűségszámítás alafogalmaról (kék )= = sárga lesz: nem sárga lesz: kék vagy lla lesz: (sárga )= 5 = (sárga )= 6+4+ = = (sárga ) (kék vagy lla )= 6+4 = ros lesz: (ros )= Molnár Bálnt, Benczúr András 3

24 Matematka ktérő A valószínűségszámítás alafogalmaról Egy A és egy B esemény szorzatán azt értjük, ha A és B s bekövetkezk. A és B együttes bekövetkezés valószínűsége: (AB)/(AB). Egy A és egy B esemény összege/unója az, ha vagy A, vagy B (vagy mndkettő) bekövetkezk. Valószínűsége: (A+B )/(AB). Az A és B események függetlenek, ha semmféle befolyással nncs A nak a bekövetkezése a B bekövetkezésére. Ekkor (AB )= (A ) (B ) Molnár Bálnt, Benczúr András 4

25 Matematka ktérő A valószínűségszámítás alafogalmaról Egyéb esetekben (AB ) (A) (B ), csak azt lehet tudn, hogy (A+B ) = (A) + (B) (AB ), (AB ) = (A) + (B) (AB) és (A B ) mn ((A ), (B )) Molnár Bálnt, Benczúr András 5

26 Egy dobozban 5 sárga, 6 lla, 4 fehér és kék golyó van. M a valószínűsége, hogy ha két golyót veszünk k a dobozból (nem odanézve), akkor az. kék lesz, a. fehér: mndkettő sárga lesz: valamelyk sárga lesz: egyk sem lesz sárga: Matematka ktérő A valószínűségszámítás alafogalmaról.sárga +.sárga.kék.fehér Molnár Bálnt, Benczúr András 6 = ((.sárga) (.sárga))= = sárga.sárga = ( = ((.sárga)+(.sárga)) )

27 Matematka ktérő A valószínűségszámítás alafogalmaról Az s érdekes, hogy ha ξ=a jelet adok, mlyen η=b kerül a csatorna kmenetére, ez η=b nek ξ=a feltétel mellett feltételes valószínűségével, (η=b ξ=a ) val írható le: AB B A = A Az együttes feltételes valószínűségek között fennáll: (AB )=(B ) ( A B )= (A ) ( B A ) Molnár Bálnt, Benczúr András 7

28 Egy dobozban 5 sárga, 6 lla, 4 fehér és kék golyó van. M a feltételes valószínűsége annak, hogy ha az első khúzott golyó kék volt, akkor a másodk fehér: kék: nem kék: Matematka ktérő A valószínűségszámítás alafogalmaról.fehér.kék =.kék.kék.kék.fehér.kék = 4 = kék.kék =.kék 74.kék.kék.kék.kék =.kék = Molnár Bálnt, Benczúr András 8

29 Matematka ktérő A valószínűségszámítás alafogalmaról Ha az eseményekhez (kísérlet kmenetehez) számértékek rendelhetők, (l. árammérés), akkor kíváncsak lehetünk a kísérlet eredményének várható értékére. Legyen X={x, x, x n } számhalmaz a kísérlet kmenetének értékkészlete; A kísérlet eredménye egy ξ valószínűség változó értéke A valószínűség változók lehetnek dszkrétek, folytonosak vagy kevertek. Egy valószínűség változót dszkrétnek nevezünk, ha értékkészlete véges (vagy megszámlálhatóan végtelen). az x kmenet valószínűsége P(ξ =x ), az x n é P(ξ =x n ). Ekkor ξ várható értéke (súlyozott átlag) E n = P x x = x n = = Molnár Bálnt, Benczúr András 9

30 Matematka ktérő A valószínűségszámítás alafogalmaról Eloszlás P(ξ =x )=, =,,n, valószínűségeket a valószínűség változó eloszlásának nevezzük Molnár Bálnt, Benczúr András 30

31 Matematka ktérő A valószínűségszámítás alafogalmaról Az s érdekelhet mnket, hogy átlagosan mennyre fog eltérn az eredmény a várhatóértéktől, ezt a szórással jellemezhetjük: D A E E E E Ha több kísérletet vzsgálunk, A és B korrelácója írja le az, hogy mennyre függ a kettő egymástól E R, = E( ) E( ) D D Molnár Bálnt, Benczúr András 3

32 htt://xkcd.com/55/ Molnár Bálnt, Benczúr András 3

33 Az nformácó Az nformácó valamely véges számú, előre smert esemény közül annak megnevezése, hogy melyk következett be. Alternatív megfogalmazás: az nformácó mértéke azonos azzal a bzonytalansággal, amelyet megszüntet. Hartley: m számú, azonos valószínűségű esemény közül egy megnevezésével nyert nformácó: I=log m (log m kérdéssel azonosítható egy elem) Megjegyzés: Ha két eseményt egybevonunk, annak megnevezése bttel lesz rövdebb, hszen m/ számú árból egy Molnár Bálnt, Benczúr András 33

34 Az nformácó Az nformácó valamely véges számú, előre smert esemény közül annak megnevezése, hogy melyk következett be. Alternatív megfogalmazás: az nformácó mértéke azonos azzal a bzonytalansággal, amelyet megszűntet. Shannon: mnél váratlanabb egy esemény, bekövetkezése annál több nformácót jelent, annál több bzonytalanságot kell kküszöböln. Legyen A={A, A, A m } esemény halmaz, az A esemény valószínűsége, az A m é m. Ekkor az A megnevezésekor nyert nformácó: I ( A )=log = log. Megjegyzés: ha =/m, mnden -re, vsszakajuk Hartley defnícóját Molnár Bálnt, Benczúr András 34

35 Az nformácó tulajdonsága. Csak az esemény valószínűségének függvénye.. Nem negatív: I 0 3. Addtív: ha m = m m, I(m m ) = I(m ) + I(m ) Megjegyzés: Ezek már a függvényegyenlet megoldásaként a logartmus függvényt adják.. Monoton: ha j, akkor I(A ) I(A j ). Normálás: legyen I(A)=, ha (A)=0,5. Ekkor kettes alaú logartmus használandó és az nformácóegysége a bt. I(m )=log ( / ) [bt] bnary unt/dgt Megjegyzés: ha tízes alaú logartmust (lg t) használunk, a hartley, az egység. Ekkor a normálás: I(=0,)=. Ha természetes alaú logartmussal defnáljuk az nformácót (I= ln ), akkor a natban mérjük az nformácót, a normálás edg I(=/e)=. bt = ln nat hartley = 3,39 bt =,306 nat bt = 0,693 nat = 0,300 hartley nat =,447 bt = 0,4343 hartley Molnár Bálnt, Benczúr András 35

36 Az nformácó A forrásunk a következő üzenetet adta le: ccndnddnnncdnndncdncdncdncdnnnncdcdncdcnnncd cccdcddcdccccnnn ( db c, db n, 7 db d ) Mekkora lesz az nformácótartalma, ha a következő szmbólum c lesz? (c) = /(++7) = /60 = 0,35 I(c) = log 0,35 = ln 0,35/ln =, Molnár Bálnt, Benczúr András 36

37 Az nformácó A forrásunk a,,,, szmbólumokat bocsátja k =0,, =0,37, =0,06, =0,, =0,4 valószínűséggel. Mekkora lesz az nformácótartalma, ha a következő szmbólum a jel? I() = log 0,37 = ln 0,37/ln =, Molnár Bálnt, Benczúr András 37

38 DISZKRÉT FORRÁS, DISZKRÉT, ZAJMENTES CSATORNA Példa legegyszerűbb csatornával kezdjük (logka, formáls lehet) Molnár Bálnt, Benczúr András 38

39 Bnárs, szmmetrkus csatorna Jele: 0, Átvtel dő: mndkettőre: /C sec (Hasonlóak a dgtáls csatornák). Egy forrás: gen nem üzeneteket választ a)szabályos énzérme feldobása c szer. Időegység alatt. a) c egyforma lehetőség. Kódolás: a) Igen >0 b) Nem > b) c különböző kódszó, egységny dő hosszú Molnár Bálnt, Benczúr András 39

40 Bnárs, szmmetrkus csatorna c különböző kódszó, egységny dő hossz alatt. Pl. c=04= 0, 04, Molnár Bálnt, Benczúr András 40

41 Bnárs, szmmetrkus csatorna Lottó húzás Igen: létezk ötös találat a szelvényemen Nem: nncs ötös találat a szelvényemen 04= 0, két hosszú húzássorozat eredményét mlyen rövd dő alatt tudjuk csatornánk segítségével a címzetthez juttatn Molnár Bálnt, Benczúr András 4

42 Bnárs, szmmetrkus csatorna 3 eset : Nncs ötös egyszer sem: kódszó, 0 =( P(ötös találat)) 04 ; Egy ötös van, k dk: 0 (a kódszó) sorszám (0 bt, 04= 0 ) [log k]; =( P(ötös találat)) 03 P(ötös találat); 03=04 = 0 Ha több ötös van : (a kódszó) 04 hosszú kódban jelöljük az ötös találatokat. (k bt) A teljes sorozat = 0 P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) P(ötös találat) Molnár Bálnt, Benczúr András 4

43 Bnárs, szmmetrkus csatorna Ötös lottó: szelvény ktöltésével az ötös valószínűsége = : = %, 5 a négyes valószínűsége = :03 40 = % a hármas valószínűsége = : 3 = 0.08% a kettes valószínűsége = :44 =.73% egy vagy nulla találat valószínűsége = 97.65% Molnár Bálnt, Benczúr András 43

44 Bnárs, szmmetrkus csatorna Átvtel bt mennység várható értéke: ( 0 ()+ (+0)+ (+04)) ; Posson eloszlás közelítése, bnomáls eloszlás határeloszlása n=λ ; λ =04* 90 =,33 * =0, =,33*0 5 0 = e λ = λ e λ számítás hbánál ksebb Molnár Bálnt, Benczúr András 44

45 Matematka ktérő A valószínűségszámítás alafogalmaról Posson eloszlás P(X k) k e k!. Kfejez az adott dő alatt smert valószínűséggel megtörténő események bekövetkezésének számát (éldául: egy telefonközontba adott dőszakban és dőtartamban beérkezett telefonhívások száma, vagy egy radoaktív anyag adott dő alatt elbomló atomjanak száma). A Posson eloszlás a ks valószínűségű, vagy rtka események eloszlása. Posson eloszlású a sajtóhbák száma egy újság lajan, egy öntvényben előforduló buborékok száma, egy telefonközontba beérkező hívások száma, adott dő alatt elbomlott radoaktív atomok száma stb Molnár Bálnt, Benczúr András 45

46 Mennységek. Csatorna kaactás: adott csatornához a kaactás- a bnárs szmmetrkus csatornával való ekvvalenca alaján: Egységny dő alatt átlag ugyananny különböző jelsorozat vhető át, mnt egy C bt/sec sebességű bnárs csatornán. Ekkor a csatorna kaactás C.. A forrás szmbólumok sorozatát választja, a választás bzonytalanságát jellemezzük az egy szmbólumra jutó átlagos mennységgel, ez lesz a Shannon-entróa. 3. N hosszú sorozatok lehetnek, n lehetséges szmbólum,, n N, eloszlás Molnár Bálnt, Benczúr András 46

47 Mennységek N n -k = a valószínűségek = Shannon entróa:ξ valószínűség változó P(ξ=x )=, az események eloszlása, a ξ valószínűség változó által felvehető értékek {x,.., x,x nn }, =,, n N H n,,, N = E( I )= I x = log... n N hosszú forrás egy szmbólumra jutó átlagos bzonytalansága N n H,,..., = N = n N = n log N = Hbt/szmbólum, entróa; = /N H(az N hosszú üzenetek eloszlása) Molnár Bálnt, Benczúr András 47

48 Shannon csatorna kódolás alatétele Cbt/seccsatorna kaactás, a H bt/szmbólum a Shannon entróa, V szmbólum /sec forrás sebessége Megválasztható e a forrás sebessége; hány szmbólumot választ másodercenként? Mennység feladat megoldhatósága? Veszteségmentesen átvhető e mnden üzenet? Vagys az átvtt üzenet egyértelműen rekonstruálható e Molnár Bálnt, Benczúr András 48

49 Shannon csatorna kódolás alatétele (Shannon ) Nem lehet veszteségmentesen működtetn a kommunkácós rendszert ha: V> C/H ; Tetszőleges ε> 0 hoz kódolás: V < C/H ε sebességgel veszteségmentesen működtethető a csatorna, rendszer (Ennek formáls bzonyítása a legelembb esetre később) Molnár Bálnt, Benczúr András 49

50 A csatorna kaactás Dszkrét, zajmentes csatorna S, S, S m a jelek t, t, t m átvtel dő jelenként. Szmmetrkus csatorna t =t = = t m = t Szmmetrkus bnárs csatorna m=, a jelek a btek,{ megnt! bnary dgt (de ez nem ugyanaz mnt az nformácó mértékegysége)}. Kaactás a másodercenként átvhető btek száma. Nylván C=t, ha t egész szám. Ha nem, és t és nem összemérhető, akkor T dő alatt N(T) jelsorozatot lehet, ahol T t T t N ( T ) teljesül tetszőleges ε >0, ha T elég nagy Molnár Bálnt, Benczúr András 50

51 A csatorna kaactás A logartmust kéezve ( es alaú logartmust használunk a továbbakban) és T vel osztva: t log N(T ) t T azaz a határérték C=t Molnár Bálnt, Benczúr András 5

52 A csatorna kaactás Intutív: Két csatorna ekvvalens, ha T hosszú sorozatak száma mnden T re (határértékben) megegyezk. A T hosszú kód-szavak kölcsönösen megfeleltethetők egymásnak Pontos defnícó: Legyen N(T) egy csatorna T hosszú, (T-nél nem hosszabb, T maxmáls hosszú) jelsorozatanak száma A csatorna kaactás: T lm log C N ( T T Következmény: Mnden C kaactású csatorna ekvvalens a C kaactású bnárs csatornával. Ezért C dmenzója bt/sec Molnár Bálnt, Benczúr András 5 )

53 Példa: A csatorna kaactás. Szmmetrkus csatorna, m db. szmbólum, t egy szmbólum átvtel deje: N(T ) m T / t C T lm log T m T / t t log m Molnár Bálnt, Benczúr András 53

54 A csatorna kaactás. Egyszerű nem szmmetrkus csatorna, t, t, t m átvtel dő jelenként; (S, S,..S m, szmbólumkészlet; nncs megszorítás a jelsorozatra), N(T) el jelöljük a T átvtel dő tartamú sorozatok számát, akkor N(T)= N(T- t ) + N(T- t ) + + N(T- t m ) (dfferenca egyenlet), a sorozatok számának teljes összege (amely sorozatok S, S,..S m szmbólummal/ban végződnek) A véges dfferenca egyenletek elmélete alaján N(T) (aszmtotkusan nagy T kre) jellemezhető karaktersztkus olnommal: (Shannon-HrkozlesMatElm948-magy.df, 5.o.) t t t x x... x m Molnár Bálnt, Benczúr András 54 0

55 A csatorna kaactás x 0 :a legnagyobb oztív megoldás (ks gyökök elhanyagolható adalékokat adnak. N(T)=k x 0 T m m t T 0 t T 0 t T 0 T 0 t 0 t 0 t 0 T 0 x... x x x ) x... x x ( x x 0 hatványa úgy vselkednek mnt N(T). C x log T ) T ( N log T lm C 0 T lneárs növelés exonencáls növekedést okoz N(T) ben Molnár Bálnt, Benczúr András 55

56 A forrás bzonytalanságának mérőszáma a Shannon-entróa A hírközlő rendszer mnden lehetséges üzenet választásra (sokszor smétlődő választásra) működjön. Nem az a fontos az átvtelben, hogy mt választunk, hanem az, hogy mlyen bzonytalan a választás. (A szmbólumokat a forrás átnevezhet, ettől független a hírközlés mennység vselkedése) Aforrás N hosszú választásat a n szmbólumból egy n N elemű valószínűség eloszlás jellemz. Az eloszlás meghatározása emrkus alaokon, közelítőleg, történhet. (Később megnézzük az alaeseteket) Molnár Bálnt, Benczúr András 56

57 A forrás bzonytalanságának mérőszáma a Shannon-entróa Feladatunk: Keressük a dszkrét valószínűség-eloszlások halmazán a H(,,, m ) függvényt, Σ =, =,,m, 0; A függvénnyel kacsolatban támasztott természetes elvárások (Shannon axómák):. H mnden argumentumában legyen folytonos;. A(n)=H( /n,/n, /n ) H( /m,/m, /m )=A(m), ha n < m (monoton növekedő függvény) 3. Elágazás szabály Molnár Bálnt, Benczúr András 57

58 A forrás bzonytalanságának mérőszáma a Shannon-entróa Elágazás szabály: ha egy választás lehetőség, két rákövetkező választás lehetőségbe ágaztatunk szét. Az eredet H függvényértékhez hozzá kell adnunk az elágazás valószínűségével súlyozva az elágazás után események feltételes eloszlásának H függvényét. H( /,/3,/6 ) = H(/, /) + / H(/3, /3 ) Molnár Bálnt, Benczúr András 58

59 A forrás bzonytalanságának mérőszáma a Shannon-entróa 3. Elágazás szabály (groung axom) (ábra) : H(, n-, n- H(,,,, n- n ) n ) ( n- n ) H( Általános elágazás szabály : (ndukcóval) legyen, Σ = nj j, =q j,, j=,,m, Σ j=m q j =, akkor n- n- n, n- n n ) H( H( q,,, q,n,,, q m,, ), n m j,,, q jh( q j, j m,,,,, j q, n j m,n j m ) ) Molnár Bálnt, Benczúr András 59

60 A forrás bzonytalanságának mérőszáma a Shannon-entróa Tétel: Az 3 axómákat kelégítő függvény csak a K Σ log, =, n alakú függvények lehetnek, ahol K < 0 konstans. Bzonyítás: () H(½, ½)=, egységny entróa => K ( )= => K= raconáls értékű eloszlás esetén Molnár Bálnt, Benczúr András 60

61 A forrás bzonytalanságának mérőszáma a Shannon-entróa Bzonyítás: () H(½, ½)=, egységny entróa => K ( )= => K= raconáls értékű eloszlás esetén. = q /m re, =, n, és Σ q =m, Σ =. Fejezzük k H(, n, n, n ) et, A(m) és A(q ) segítségével. H(,, n elágazásg A(m)- n ) A(q H(,..., )- m m ) - teljes n (A(q n H(,,, ) q q q elágazás ) A(m)). után n Molnár Bálnt, Benczúr András 6

62 A forrás bzonytalanságának mérőszáma a Shannon-entróa Az m elemű egyenletes eloszlásból ndulva, csoortok kézése, elágozás szabály felhasználásával A(m) H(,, ) m m m n darab q q n q n H(,.., ) H( m,..., m ) m m m q q elágazásg m m q H(,.., m q H(,.., m - n q m (A(q q n q n ) A(q ) m m qn ) H(,, n m teljes ) A(m)) elágazás után n q ) A(m) A(q ) m elágazásg elágazás után Molnár Bálnt, Benczúr András 6

63 A forrás bzonytalanságának mérőszáma a Shannon-entróa () Lemma: A(n) =c log n, ahol c> 0 tetszőleges Bz: Elágazás szabállyal A(nm) H(,,, nm nm m,..., ) H(,..., ) n nm nm n n m elágazásg n H(,..., ) m m elágazás után A(n) Ebből A(n m )=ma(n) adódk, mvel A(nm)=A(m)+A(n) A(n) =k log n A(m) Molnár Bálnt, Benczúr András 63

64 A forrás bzonytalanságának mérőszáma a Shannon-entróa Legyen s> 0, rögzített egész szám, t re, és n re, m, () s m <t n s m+ ; Az A függvény monoton, A(s m )<A(t n ) A(s m+ ) [felhasználva () t]. () ma(s)<na(t) (m+)a(s) ebből m A( t) m n A( s) n n re 4 m log t m n log s n n re log 3 függvényre Molnár Bálnt, Benczúr András 64

65 A forrás bzonytalanságának mérőszáma a Shannon-entróa (3), (4) egyenlőtlenségekből, n >, A( t) A( s) log log t s adódk tehát, A( s) C választással A(t) C log log s bzonyítja a lemma állítását t Molnár Bálnt, Benczúr András 65

66 A forrás bzonytalanságának mérőszáma a Shannon-entróa () () lemma és a raconáls elemű eloszlásokra az () alatt kaott kfejezés együttesen C H( n,, log n ) n (A(q ) A(m)) C Ezzel a tételt raconáls értékű eloszlásokra gazoltuk. Tetszőleges eloszlásokra a folytonosságból és log folytonosságából következk a tétel Molnár Bálnt, Benczúr András 66 n log q m

67 A forrás bzonytalanságának mérőszáma a Shannon-entróa H(½, ½)=, egységny entróa => K ( )= => K= K log log ) K ( ) K ( Defncó: (,,, m ), Σ =,,m =, =,,m, >0; eloszlás bzonytalansága a Shannonentróa H(,, n ) log n Molnár Bálnt, Benczúr András 67

68 Az entróa Az entróa az nformácó várható értéke:,,, = E( I )= I x = log... H m = = Az entróa tulajdonkéen annak a kjelentésnek a várható nformácó mennysége, hogy az m db egymást kzáró esemény közül az egyk bekövetkezett. A log kfejezés 0 esetén: lm 0 log = lm 0 ln ln = ln m lm 0 ln m ln lm 0 L Hostalszabály szernt Molnár Bálnt, Benczúr András 68

69 Az entróa A forrásunk a következő üzenetet adta le: ccndnddnnncdnndncdncdncdncdnnnncdcdncdcnnncdcccdcddcdccccnnn ( db c, db n, 7 db d ) Hc,n,d =,57 Mekkora az üzenet entróája?(ha a relatív gyakorság adja a valószínűségeloszlást) (c)=/60=0,35 (n)=/60=0,37 (d)=7/60=0,8 H(c) = 0,35 log 0,35 = 0,35 (ln 0,35/ln )= = 0,35 (,5) = 0,53 H(n) = 0,37 log 0,37 = 0,37 (ln 0,37/ln )= = 0,37 (,43) = 0,53 H(d) = 0,8 log 0,8 = 0,8 (ln 0,8/ln )= = 0,8 (,84) = 0, Molnár Bálnt, Benczúr András 69

70 Az entróa A forrásunk a,,,, szmbólumokat bocsátja k egyforma, = = = = = 0, valószínűséggel. Menny a forrás, mnt halmaz entróája? H(,,,, ) = ( 0, log 0,) 5 =, Molnár Bálnt, Benczúr András 70

71 Az entróa A forrásunk a,,,, szmbólumokat bocsátja k =0,, =0,37, =0,06, =0,, =0,4 valószínűséggel. Menny a forrás, mnt halmaz entróája? H(,,,, ) = 0, log 0, 0,37 log 0,37 0,06 log 0,06 0, log 0, 0,4 log 0,4 = = 0,37+0,53+0,4+0,47+0,49 = =, Molnár Bálnt, Benczúr András 7

72 Az entróa tulajdonsága. Nem negatív: H(,,, m ) 0. Az események valószínűségenek folytonos függvénye. 3. H(,,, m, 0 ) = H(,,, m ) 4. Ha =, a több k = 0, ( k=,,, +,, m ), akkor H(,,, m ) =0. 5. H(,,, m ) H( /m,/m, /m ) Egyenlőség csak egyenletes eloszlásra, a legnagyobb bzonytalanságú eloszlásra. 6. H(,, k, l, k+,, l, k, l+,, m ) = H(,,, m ), k, l ; azaz az entróa szmmetrkus változónak cseréjére Molnár Bálnt, Benczúr András 7

73 Az együttes entróa Legyen ξ={x,, x m } az elsőnek leadott jelek halmaza, η={y,, y m } edg a másodknak leadott jelek halmaza. Vzsgáljuk azt az összetett eseményt, hogy egy ξ bel és egy η bel esemény s bekövetkezk. x és y j együttes bekövetkezés valószínűsége,j = (x y j ), P(ξ=x, η=y j ) a két esemény együttes bekövetkezésekor nyert nformácó I(x y j )= log (x y j )= log,j. Mndg gaz a együttes nformácóra, hogy I(x y j ) I(x ), és I(x y j ) I(y j ) Molnár Bálnt, Benczúr András 73

74 A együttes entróa a két esemény együttes bekövetkezésekor nyert nformácó I(x y j )= log (x y j )= log,j. η és ξ valószínűség változók együttes entróája: H x, y j =,j log,j. m = m j= Molnár Bálnt, Benczúr András 74

75 A feltételes entróa Legyen ξ={x,, x m } a lehetséges leadott jelek halmaza, η={y,, y } edg a vehető jelek halmaza. m Mnden ξ bel esemény bekövetkezése maga után von egy η bel eseményt. x nek y j re vonatkoztatott feltételes valószínűsége (x y j ). Az ξ halmaz η halmazra vonatkoztatott feltételes entróája: H = z x y log x y = m j= m m j m = x y log x y. j j j= = Molnár Bálnt, Benczúr András 75 j j =

76 A feltételes entróa } a lehetséges leadott jelek Legyen ξ={x,, x m halmaza, η={y,, y m } edg a vehető jelek halmaza. Mnden ξ bel esemény bekövetkezése maga után von egy η bel eseményt. x nek y j re vonatkoztatott feltételes valószínűsége (x y j ). Mvel (x y j )=(y j ) ( x y j ) mnden re és j re, H(ξη)= H(η) H(ξ η)= H(ξ) H(η ξ ). Így H(ξ) H(ξ η) Molnár Bálnt, Benczúr András 76

77 Aendx

78 Matematka ktérő A valószínűségszámítás alafogalmaról Egy hírközlés csatorna bemenetén és kmenetén megjelenő jelek nem függetlenek egymástól. Ha B jelet vettünk akkor annak a valószínűsége, hogy A jel volt a csatorna bemenetén: A nak B feltétel mellett feltételes valószínűsége A B = AB B AB B Molnár Bálnt, Benczúr András 78

79 Összetett ksérlet Molnár Bálnt, Benczúr András 79

80 Elágazás szabály magyarázat X valsz. vált., változó értékeket A és B csoortra bontjuk, A x, x,, x r ; P(A)= r = B x r+, x r+,, x M ; P(B)= M =r+ P(X=x x A)= /( r = ); P(X=x x B)= /( M =r+ ); Az összetett kísérlet (ábra) az X valsz. vált. eredet kísérletével ekvvalens Molnár Bálnt, Benczúr András 80

81 Elágazás szabály magyarázat Y valsz. vált., az összetett kísérlet (és annak kmenete), P(Y=x )= P {A t választottuk, x t választottuk k }= P {A t választottuk}, P { x t választottuk k A t választottuk }=( r = ) /( r = )= ; P(Y=x ) = Y és X valsz. Eloszlása u.a. Az összetett kísérlet (ábra) az X valsz. vált. eredet kísérletével ekvvalens = r Molnár Bálnt, Benczúr András 8

82 Elágazás szabály magyarázat Az összetett kísérlet előtt, az átlagos bzonytalanság: H(,, M ) Ha feltárjuk, hogy A és B csoort közül melyket választottuk, akkor megszüntetünk átlagosan H( r, r M bzonytalanságot A t választouk ( r = ) valószínűséggel, a maradvány bzonytalanság Molnár Bálnt, Benczúr András 8 ) H r, r,, r r ;

83 Elágazás szabály magyarázat B t választouk ( =r+ M ) valószínűséggel, a maradvány bzonytalanság Az átlagos maradvány bzonytalanság valamelyk csoort kválasztása után Molnár Bálnt, Benczúr András 83 ;,,, M r M M r r M r r H ;,,,,,, M r M M r r M r r M r r r r r r H H

84 Elágazás szabály magyarázat A harmadk követelmény H val (az átlagos bzonytalansággal szemben) Molnár Bálnt, Benczúr András 84 ;,,,,,,, ),, ( M r M M r r M r r M r r r r r r M r r M H H H H

85 Elágazás szabály magyarázat Numerkus élda Molnár Bálnt, Benczúr András 85, 4 3, , 4 3 ) 8, 8, 4, ( H H H H B A