Információs rendszerek elméleti alapjai. Információelmélet

Információs rendszerek elméleti alapjai Információelmélet

Az információ nem növekedés törvénye Adatbázis x (x adatbázis tartalma) Kérdés : y Válasz: a = f(y, x) Mennyi az a információtartalma: 2017. 04. 11. Molnár Bálint, Benczúr András 2

Az információ nem növekedés törvénye C(a x) C(y)+h ui: C(a x)= C f (a x)+k f C(y)+ k f Ha egy y stringet transzformálunk egy parciális rekurzív fv. segítségével., akkor nem nyerhetünk több információt mint az y stringbeli információ plusz a transzformáció leírásához szükséges információ mennyisége. 2017. 04. 11. Molnár Bálint, Benczúr András 3

Az információ nem növekedés törvénye Motiváció: (Solomonoff) Algoritmikus bonyolultságot vezessük be mint egy univerzális, a priori valószínűséget minden véges bináris stringre. 2017. 04. 11. Molnár Bálint, Benczúr András 4

Az információ nem növekedés törvénye Az invariancia tétel bizonyításában használt U univerzális függvényt választva, U egy P (i) valószínűségi eloszlást indukál az egész számok fölött (ugyanígy {0,1} * fölött). 2017. 04. 11. Molnár Bálint, Benczúr András 5

p x P i i0 n i1 2 i P l Egész i Az információ nem növekedés törvénye p log p i 2 i v alószínűség l i x C kódhossz 2 l i i kódhossz számokon kódhossz, (nem jó val.szeg. Ha x - et rögzítjük, adjunk az összes mennyisége ket (Kolmogoro v esetben lehetséges meg egy val.szeg. f0 p x eloszlásna k) 2 l( p ) kódra vesszük az összeget rendeljük, ezt rendeljük) eloszlást Miért? Mert, amit az f 0 felhasznál, nem alkot prefix-mentes kódrendszert 2017. 04. 11. Molnár Bálint, Benczúr András 6

lf,l p f, Az információ nem növekedés törvénye Hax - etrögzítjük, P(x) U az univerzáli s TuringGép bem enet: 0 U f,p x az összes lehetséges kódravesszük az összeget l(p) 2, azoptim álisfv., f,p,két kód,a kódokhossza am elyika legrövidebb kódhos s zú p meghatározásáhozszükséges 2017. 04. 11. Molnár Bálint, Benczúr András 7

Az információ nem növekedés törvénye P(x) xet kiszámító függvény leírása (bináriskódja/indexe) l f0 2 konstans 2 * p 0, 1 az lehetséges x-et összes, előállító vesszük kódra az összeget l( p ) 2017. 04. 11. Molnár Bálint, Benczúr András 8

Az információ nem növekedés törvénye Hax figyelem be, amely előállítjax P(x) 2 C P x x log x x C x P(x) 1 x - etrögzítjük,m os tcs aka legrövidebb program okat x log x, m ajdnemm indenx re, l. x 1,, m ajdnemm indenx re, x,x N vegyük - et. (harmonikus sor) 2017. 04. 11. Molnár Bálint, Benczúr András 9

Az információ nem növekedés törvénye f 0 univerzális T-gép segítségével definiáljuk egy bináris string univerzális valószínűségét ( M(x)) U(i,p) = T i (p). Pénzfeldobással állítsuk elő a T-gép menetét (input) és állítsa elő az x-el kezdődő stringet Def: Annak a valószínűsége, hogy egy pénzfeldobási sorozatra az x-el kezdődő stringet kapjuk kimenetként legyen M(x)) 2017. 04. 11. Molnár Bálint, Benczúr András 10

Az információ nem növekedés törvénye A pénzfeldobási sorozat legyen az univerzális a priori valószínűség, ebből a Bayes szabály segítségével extrapolálható a valószínűség. És ez legyen ez a valószínűségi eloszlás Annak a valószínűsége, hogy x-et 1 követi: M(x1)/[(M(x0) + M(x1))] Nem jó, mert. Nem egyértelmű, hogy mire vezetett a pénzfeldobás. 2017. 04. 11. Molnár Bálint, Benczúr András 11

Prefix Kolmogorov bonyolultság Csak prefix-mentes függvényeket használunk. f: N N, Ha az f értelmezve van p-n és q-n, akkor egyik sem prefixe a másiknak (p,q N) (Kraft egyenlőtlenség: {p 1,,} prefix-mentes rendszer (prefix-mentes kódfa), akkor : 2017. 04. 11. Molnár Bálint, Benczúr András 12 i0 2 l p i 1

Prefix Kolmogorov bonyolultság Ha f prefix-mentes, akkor a C f (x) értelmezhető. Létezik optimális g 0 :, prefix-mentes fv., amire f prefix-mentes fv. k f konstans C g0 (x) C f (x) + k f ui. létezik univerzális felsoroló fv. Tetszőleges () h: : parciális rekurzív függvény, h p : prefix-mentes fv. Idő- tér konstansnak tekintve, futtatjuk a kiértékelést, (átlósan), és ha találtunk értelmezett helyen értelmezett értéket, akkor az tartozik a kódhoz, ha a következő prefixe az előzőnek, akkor kihagyjuk. 2017. 04. 11. Molnár Bálint, Benczúr András 13

Prefix Kolmogorov bonyolultság T p prefix-mentes T-gép véletlen sorozatok k bit hosszú helyen, 2 -k valószínűséggel áll meg. 2017. 04. 11. Molnár Bálint, Benczúr András 14

Prefix Kolmogorov bonyolultság i0 K i0 2 x x 2 k K 1 2 x K 0 x bonyolults ág * Cg x 1 Kraft l p x : 2 valószínűs égek, g0 p x xg 0 szerinti összes - prefix - mentes Kolmogorov lehetséges kódja 1 2017. 04. 11. Molnár Bálint, Benczúr András 15

Prefix Kolmogorov bonyolultság g 0 -t képzeljük el T-gépnek, akkor annak a valószínűsége, hogy x-et ad éppen az a mennyiség Azaz: a megállás valószínűsége x eredménnyel. (Azok fordulnak elő nagyobb valószínűséggel, amit egyszerűbben tudunk jellemezni) 2017. 04. 11. Molnár Bálint, Benczúr András 16

Prefix Kolmogorov bonyolultság A (x), * (x) az egész számok fölött értelmezett valószínűség eloszlás. A legnagyobb bizonytalanság: az egyenletes eloszlás Tudunk-e az egész számok halmazán egyenletes eloszlást megadni? Nem! Mi a lehető legegyenletesebb eloszlás (Ami a lehető leglassabban csökken). A félig kiszámítható ( semi ) eloszlások között a lehető legegyenletesebb eloszlás a (x), * (x) Félig kiszámítható: nem tudom megmondani, de tetszőlegesen jól közelítem a pontos értéket. 2017. 04. 11. Molnár Bálint, Benczúr András 17

Prefix Kolmogorov bonyolultság Ha p(x) félig kiszámítható eloszlás, akkor c konstans, hogy p(x)< c(x) (nem tud (x)- nél gyorsabban nőni). Majoráló eloszlásnak nevezik ezt a tulajdonságot. (algoritmikus tanulás hátterében ez van.) Probléma: nem tudjuk kiszámolni a (x), csak közelítő értékkel dolgozhatunk 2017. 04. 11. Molnár Bálint, Benczúr András 18

Feltételes prefix (Kolmogorov) bonyolultság C K x k p : f0p x és l p k x gp f0p x p prefix -mentes kód l p 2 log2 k k x nx, l x n, l x 2log2 n l x 1 2log 2l x l x 1 K x C x 2 log C x k Kolmogorov prefix bonyolultság Emlékeztet ő : Feltételes f C g C x, p f 2 0 g 0 : N y x C f y x kf K y x K x A, x A - nak Van értelme : prefix -bonyolultság. p -ben prefix mentes y x (feltétele 2 N 2 s K. bonyolultság) optimális 2017. 04. 11. Molnár Bálint, Benczúr András 19

Feltételes prefix (Kolmogorov) bonyolultság Shannon - entrópia x,yrendezett párra : x,y Cx,y Cxy C ugyanez K K x,y C y x Cx túl Ez az addítiv x,y Kx Ky x 2log Kx x,y Kx K y x,k x addítiv Kolmogorov l nagy * * : g0x * x Kx x lehet v an esetében : H bonyolults x x-nek tanúja xy tulajdonsá g nem teljesül, ha tudnám az x bonyolults ágát, 2, H H ágra : de K - ra akkor konstans erejéig : 2017. 04. 11. Molnár Bálint, Benczúr András 20

Összenyomhatatlanság K(x)l(x) véletlenszerű string

Matematikai kitérő 2017. 04. 11. Molnár Bálint, Benczúr András 22