Információs rendszerek elméleti alapjai. Információelmélet

Átírás

1 Információs rendszerek elméleti alapjai Információelmélet

2 Az információ nem növekedés törvénye Adatbázis x (x adatbázis tartalma) Kérdés : y Válasz: a = f(y, x) Mennyi az a információtartalma: Molnár Bálint, Benczúr András 2

3 Az információ nem növekedés törvénye C(a x) C(y)+h ui: C(a x)= C f (a x)+k f C(y)+ k f Ha egy y stringet transzformálunk egy parciális rekurzív fv. segítségével., akkor nem nyerhetünk több információt mint az y stringbeli információ plusz a transzformáció leírásához szükséges információ mennyisége Molnár Bálint, Benczúr András 3

4 Az információ nem növekedés törvénye Motiváció: (Solomonoff) Algoritmikus bonyolultságot vezessük be mint egy univerzális, a priori valószínűséget minden véges bináris stringre Molnár Bálint, Benczúr András 4

5 Az információ nem növekedés törvénye Az invariancia tétel bizonyításában használt U univerzális függvényt választva, U egy P (i) valószínűségi eloszlást indukál az egész számok fölött (ugyanígy {0,1} * fölött) Molnár Bálint, Benczúr András 5

6 p x P i i0 n i1 2 i P l Egész i Az információ nem növekedés törvénye p log p i 2 i v alószínűség l i x C kódhossz 2 l i i kódhossz számokon kódhossz, (nem jó val.szeg. Ha x - et rögzítjük, adjunk az összes mennyisége ket (Kolmogoro v esetben lehetséges meg egy val.szeg. f0 p x eloszlásna k) 2 l( p ) kódra vesszük az összeget rendeljük, ezt rendeljük) eloszlást Miért? Mert, amit az f 0 felhasznál, nem alkot prefix-mentes kódrendszert Molnár Bálint, Benczúr András 6

7 lf,l p f, Az információ nem növekedés törvénye Hax - etrögzítjük, P(x) U az univerzáli s TuringGép bem enet: 0 U f,p x az összes lehetséges kódravesszük az összeget l(p) 2, azoptim álisfv., f,p,két kód,a kódokhossza am elyika legrövidebb kódhos s zú p meghatározásáhozszükséges Molnár Bálint, Benczúr András 7

8 Az információ nem növekedés törvénye P(x) xet kiszámító függvény leírása (bináriskódja/indexe) l f0 2 konstans 2 * p 0, 1 az lehetséges x-et összes, előállító vesszük kódra az összeget l( p ) Molnár Bálint, Benczúr András 8

9 Az információ nem növekedés törvénye Hax figyelem be, amely előállítjax P(x) 2 C P x x log x x C x P(x) 1 x - etrögzítjük,m os tcs aka legrövidebb program okat x log x, m ajdnemm indenx re, l. x 1,, m ajdnemm indenx re, x,x N vegyük - et. (harmonikus sor) Molnár Bálint, Benczúr András 9

10 Az információ nem növekedés törvénye f 0 univerzális T-gép segítségével definiáljuk egy bináris string univerzális valószínűségét ( M(x)) U(i,p) = T i (p). Pénzfeldobással állítsuk elő a T-gép menetét (input) és állítsa elő az x-el kezdődő stringet Def: Annak a valószínűsége, hogy egy pénzfeldobási sorozatra az x-el kezdődő stringet kapjuk kimenetként legyen M(x)) Molnár Bálint, Benczúr András 10

11 Az információ nem növekedés törvénye A pénzfeldobási sorozat legyen az univerzális a priori valószínűség, ebből a Bayes szabály segítségével extrapolálható a valószínűség. És ez legyen ez a valószínűségi eloszlás Annak a valószínűsége, hogy x-et 1 követi: M(x1)/[(M(x0) + M(x1))] Nem jó, mert. Nem egyértelmű, hogy mire vezetett a pénzfeldobás Molnár Bálint, Benczúr András 11

12 Prefix Kolmogorov bonyolultság Csak prefix-mentes függvényeket használunk. f: N N, Ha az f értelmezve van p-n és q-n, akkor egyik sem prefixe a másiknak (p,q N) (Kraft egyenlőtlenség: {p 1,,} prefix-mentes rendszer (prefix-mentes kódfa), akkor : Molnár Bálint, Benczúr András 12 i0 2 l p i 1

13 Prefix Kolmogorov bonyolultság Ha f prefix-mentes, akkor a C f (x) értelmezhető. Létezik optimális g 0 :, prefix-mentes fv., amire f prefix-mentes fv. k f konstans C g0 (x) C f (x) + k f ui. létezik univerzális felsoroló fv. Tetszőleges () h: : parciális rekurzív függvény, h p : prefix-mentes fv. Idő- tér konstansnak tekintve, futtatjuk a kiértékelést, (átlósan), és ha találtunk értelmezett helyen értelmezett értéket, akkor az tartozik a kódhoz, ha a következő prefixe az előzőnek, akkor kihagyjuk Molnár Bálint, Benczúr András 13

14 Prefix Kolmogorov bonyolultság T p prefix-mentes T-gép véletlen sorozatok k bit hosszú helyen, 2 -k valószínűséggel áll meg Molnár Bálint, Benczúr András 14

15 Prefix Kolmogorov bonyolultság i0 K i0 2 x x 2 k K 1 2 x K 0 x bonyolults ág * Cg x 1 Kraft l p x : 2 valószínűs égek, g0 p x xg 0 szerinti összes - prefix - mentes Kolmogorov lehetséges kódja Molnár Bálint, Benczúr András 15

16 Prefix Kolmogorov bonyolultság g 0 -t képzeljük el T-gépnek, akkor annak a valószínűsége, hogy x-et ad éppen az a mennyiség Azaz: a megállás valószínűsége x eredménnyel. (Azok fordulnak elő nagyobb valószínűséggel, amit egyszerűbben tudunk jellemezni) Molnár Bálint, Benczúr András 16

17 Prefix Kolmogorov bonyolultság A (x), * (x) az egész számok fölött értelmezett valószínűség eloszlás. A legnagyobb bizonytalanság: az egyenletes eloszlás Tudunk-e az egész számok halmazán egyenletes eloszlást megadni? Nem! Mi a lehető legegyenletesebb eloszlás (Ami a lehető leglassabban csökken). A félig kiszámítható ( semi ) eloszlások között a lehető legegyenletesebb eloszlás a (x), * (x) Félig kiszámítható: nem tudom megmondani, de tetszőlegesen jól közelítem a pontos értéket Molnár Bálint, Benczúr András 17

18 Prefix Kolmogorov bonyolultság Ha p(x) félig kiszámítható eloszlás, akkor c konstans, hogy p(x)< c(x) (nem tud (x)- nél gyorsabban nőni). Majoráló eloszlásnak nevezik ezt a tulajdonságot. (algoritmikus tanulás hátterében ez van.) Probléma: nem tudjuk kiszámolni a (x), csak közelítő értékkel dolgozhatunk Molnár Bálint, Benczúr András 18

19 Feltételes prefix (Kolmogorov) bonyolultság C K x k p : f0p x és l p k x gp f0p x p prefix -mentes kód l p 2 log2 k k x nx, l x n, l x 2log2 n l x 1 2log 2l x l x 1 K x C x 2 log C x k Kolmogorov prefix bonyolultság Emlékeztet ő : Feltételes f C g C x, p f 2 0 g 0 : N y x C f y x kf K y x K x A, x A - nak Van értelme : prefix -bonyolultság. p -ben prefix mentes y x (feltétele 2 N 2 s K. bonyolultság) optimális Molnár Bálint, Benczúr András 19

20 Feltételes prefix (Kolmogorov) bonyolultság Shannon - entrópia x,yrendezett párra : x,y Cx,y Cxy C ugyanez K K x,y C y x Cx túl Ez az addítiv x,y Kx Ky x 2log Kx x,y Kx K y x,k x addítiv Kolmogorov l nagy * * : g0x * x Kx x lehet v an esetében : H bonyolults x x-nek tanúja xy tulajdonsá g nem teljesül, ha tudnám az x bonyolults ágát, 2, H H ágra : de K - ra akkor konstans erejéig : Molnár Bálint, Benczúr András 20

21 Összenyomhatatlanság K(x)l(x) véletlenszerű string

22 Matematikai kitérő Molnár Bálint, Benczúr András 22

23 Matematikai kitérő Molnár Bálint, Benczúr András 23

24 Matematikai kitérő Molnár Bálint, Benczúr András 24

25 Matematikai kitérő Molnár Bálint, Benczúr András 25

26